EP1996996A2 - Method for the selection of functions with the aid of a user interface, and user interface - Google Patents

Method for the selection of functions with the aid of a user interface, and user interface

Info

Publication number
EP1996996A2
EP1996996A2 EP07726487A EP07726487A EP1996996A2 EP 1996996 A2 EP1996996 A2 EP 1996996A2 EP 07726487 A EP07726487 A EP 07726487A EP 07726487 A EP07726487 A EP 07726487A EP 1996996 A2 EP1996996 A2 EP 1996996A2
Authority
EP
European Patent Office
Prior art keywords
input
output mode
user interface
user
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP07726487A
Other languages
German (de)
French (fr)
Inventor
Thomas Hempel
Roman Vilimek
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aumovio Germany GmbH
Original Assignee
Continental Automotive Technologies GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Technologies GmbH filed Critical Continental Automotive Technologies GmbH
Publication of EP1996996A2 publication Critical patent/EP1996996A2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143—Touch sensitive instrument input devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the invention relates to a method for selecting functions using a user interface.
  • Cut filters multimodal Benut ⁇ allow inputs to a technical system using different input devices or Eingabemodali- activities.
  • the technical system may be, for example, the on-board computer of a vehicle, a personal computer, an aircraft or a production facility.
  • mobile devices such as PDAs, mobile phones or gaming consoles multimodal user interface.
  • input modalities for example, manual input, voice input and input can be distinguished by gestures, head or eye movements. Keyboards, switches, touch screens, mice, graphics tablets, microphones for voice input, eye trackers, etc. are all suitable as input devices in practice. ⁇ ..
  • An example of a multimodal user interface is an interface that allows that both voice input and ma ⁇ Nuelle input.
  • the input of the user thus takes place by means of two different input modalities, and with it also different input devices.
  • the user interface is ⁇ turn information to the user. This may in turn have different Ausgabemoda ⁇ ltechniken done (visual output, audio output, haptic feedback, ).
  • Ausgabemoda ⁇ ltechniken done visual output, audio output, haptic feedback, .
  • the user selects functions of the respective technical system, which may also be executed the same.
  • the output gives the user feedback on his choices and the choices made by him.
  • a textual Göfrach- screen by representing the selectable functions with pictograms. This is going as before ⁇ known as graphical user interfaces of personal computers.
  • pictograms Due to the pictograms, the user does not know which terms he can use as a voice command since several terms or synonyms are possible.
  • today's speech recognition systems require as small a number of different terms as possible for a high recognition rate of speech input. For this reason, today's user interfaces providing voice input for selecting functions are designed according to the "say-you-you-see" principle. The selection of valid voice commands is displayed textually on a screen. This quickly leads to a textual overload, which is not desirable for manual input.
  • This object is functions by the method for selection of radio using a user interface and the user interface ⁇ and the vehicle cockpit and the Computerpro ⁇ program according to the independent claims. Further developments of the inventions are defined in the dependent claims.
  • a user selects using the Benut ⁇ cut imagine functions of a technical system. Infor ⁇ mation representing the functions and / or confirm their appointment.
  • the information is output in a first output mode in a first form optimized for a first input modality or a first input device. Furthermore, the information is displayed in a second mode output in a second occurrence, the op for a second input method or a second input device ⁇ is timiert.
  • the method offers the advantage that the first and the second output mode can be optimized according to the respective requirements of the input modalities or input devices. Thus, at any time for each input modality or for each input device maximum support of the user when performing the operation can be guaranteed.
  • the user interface changes from the first output mode to the second output mode as soon as it recognizes that the user wants to change from the first input modality to the second input modality or from the first input device to the second input device or has already done so.
  • the user interface recognizes the change because the user has pressed a "push-to-talk" key or spoken a keyword.
  • This development allows the user to easily switch from manual input to voice input.
  • the first input modality allows manual input and the second input modality allows input by eye movements.
  • the information is output in the first output mode as pictograms and in the second output mode as text on a screen.
  • the screen can be kept as clear as possible and as detailed as necessary at any time.
  • the information is optimized by the respective characteristics for the respective input modality.
  • the pictograms provide a clear and easy-to-read visual representation.
  • the pictograms are replaced by texts representing the keywords required by the speech input system.
  • the screen only has a high text load if the verbalization of the functions is actually needed. Input errors by the speech recognizer not known, synonymous to the language commands terms can be significantly minimized.
  • the icons that are displayed in the first output mode, reduced, or in the second Ausga ⁇ configuration mode is next to or below the text shown changed.
  • the information is output non-verbally in the first output mode and verbally audibly to the user in the second output mode.
  • the information is output as pictograms.
  • the distances or the dimensions of the pictograms here are greater in the second output mode than in the first output mode.
  • the user interface has means to the procedural ⁇ ren execute.
  • the vehicle cockpit has means to perform the procedure.
  • the computer program executes the procedure as soon as it is executed in a processor.
  • FIG. 1 shows a schematic representation of the input and output
  • FIG. 2 shows a screen output in a first output mode
  • FIG. 3 shows a screen output in a second output mode .
  • Figure 1 shows a schematic representation of the input and output ⁇ output according to a first embodiment.
  • a user 2 interacts with a user interface 1.
  • the Interakti ⁇ on via a first input device 11 and a second input device 12.
  • the first input device 11 may, for example, a mouse and the second input device 12 to a microphone for voice input used, act. Accordingly, the first input device 11 falls un ⁇ ter a first input modality 21, here the manual entranc ⁇ be, and the second input device 12 at a second input ⁇ modality 22, in this voice input.
  • the first input unit 11 and the second input device 12 may also belong to the same input modality and nevertheless have different characteristics so that a dynamic change of the output mode ben as described below is beneficial.
  • the user selects 2 functions of a technical system to which the user interface ⁇ 1 is connected.
  • the user interface 1 outputs information to these, which transmits the radio represent, present for selection or even confirm their choice.
  • the information may be arranged in any manner, such as windows, menus, buttons, icons and pictograms in the context of a graphical output via a screen or a projection display; they can also be output acoustically, as non-verbal signals or in the form of verbal speech output.
  • the information can also be transferred haptically to the body of the user. For example, as shown in Fig. 1, in a first output mode 41, pictograms are output as a first expression 31 of the information, whereas in a second output mode 42, a speech is output as a second expression 32 of the information.
  • FIG. 2 and FIG. 3 each show a first output mode and a second output mode according to a second exemplary embodiment.
  • a screen 3 is shown, on which the information output is shown.
  • the first output mode according to FIG. 2 is optimized for manual input.
  • the manual entry can be done by so-called "soft keys", turn-push button, switch, keyboard, mouse, graphics tablet o. ⁇ . be enabled.
  • the information in the first output mode shown in a first expression as shown in the figure ER- clearly by icons 51, 52, 53, 54, 55.
  • the Pikto ⁇ programs 51, 52, 53, 54, 55 allow the shortcut the manual input by the respective symbol an intuitive and easy-to-find representation of the respective function for the user.
  • the icon 51 contains the known symbol for playing a multimedia file.
  • the Pik ⁇ togramme 52 and 53 are known from the same context.
  • titles of multimedia contents are represented by texts 61, 62, 63, 64, 65.
  • a scroll bar 80 makes it possible to scroll down in the indicated list.
  • the control of the scroll bar 80 is effected by selecting the icons 54 and 55.
  • the aim of the first output mode shown in FIG. 2 is therefore to prevent a textual overload of the screen 3. avoid and allow the user an intuitive navigation through the functions of the respective technical system.
  • FIG. 4 shows a second output mode in the second embodiment.
  • the second output mode is for
  • the user interface changes from the first to the second output mode, for example, when the user wants to switch from manual input to voice input or has already done so.
  • the user interface detects this example by a spoken keyword, or pressing a "push-to-talk" button, or operating ei ⁇ ner other suitable means (eg. As by means of gestures, LOOK-, movement control).
  • the icons 51, 52, 53, 54, 55 are either completely blanked out, reduced or grayed out or moved into the background in some other way.
  • the second output mode is the in ⁇ formations in a second occurrence of which explicitly verbalized the voice commands and displays which may be known ER within the voice input through the user interface.
  • these are the voice commands 71, 72, 73, 74, 75 associated with the known functions of the respective icons 51, 52 53, 54, 55.
  • the texts 61, 62, 63, 64, 65 are in figure 3 fatty Darge ⁇ represents, whereby the user interface to the user linstrument signaled that the respective multimedia content on the per ⁇ ips text can be selected as a voice command.
  • texts which represent voice commands may also be changed by changing the color or font size or by underlining u. ⁇ . be highlighted.
  • the Benut ⁇ different cut point between manual input and an input by eye movements which are recorded by an eye-tracker. If you enter with eye movements, the icons are enlarged or displayed at longer intervals, as the user can not interact with the user interface as accurately as with a manual input device due to the lower resolution of the eye tracker.
  • the information is output not visually, but acoustically. Again, a distinction can be made between manual input and voice input. In case of manual input such as a nonverbal acoustic signal in the form of a click is sufficient to confirm a user's selection, whereas in voice input ⁇ be a verbal voice output is desirable to confirm the user's selection.
  • the user interface can visually output information in the first output mode, but acoustically or haptically in the second output mode. In this way, by suitable choice of the output modality of the respective input modality or the respective input device can be taken into account.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

The invention relates to a method in which the output of a multimode user interface is optimized according to the currently used input procedure or the currently used input device, thus allowing pictograms to be displayed on a screen during manual input, for example, said pictograms then being replaced by texts visualizing spoken commands when switching to voice input. The output is thus kept as concise as possible and as detailed as necessary at any time, resulting in increased comfort for the user. The multimode user interface is suitable for vehicle cockpits, personal computers, and all types of mobile terminals.

Description

Beschreibungdescription

Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle und BenutzerschnittstelleMethod for selecting functions using a user interface and user interface

Die Erfindung betrifft ein Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle. Multimodale Benut¬ zerschnittstellen erlauben Eingaben in ein technisches System mithilfe unterschiedlicher Eingabegeräte bzw. Eingabemodali- täten. Bei dem technischen System kann es sich etwa um den Bordcomputer eines Fahrzeugs, einen Personalcomputer, ein Flugzeug oder eine Produktionsanlage handeln. Weiterhin wei¬ sen auch mobile Endgeräte wie PDAs, Handys oder Spiele- Konsolen multimodale Benutzerschnittstellen auf. Unter den Eingabemodalitäten lassen sich etwa manuelle Eingabe, Spracheingabe und Eingabe durch Gesten, Kopf- oder Augenbewegungen unterscheiden. Als Eingabegeräte eignen sich in der Praxis etwa Tastaturen, Schalter, berührungsempfindliche Bildschirme (Touchscreen) , Mäuse, Grafiktabletts, Mikrofone zur Sprach- eingäbe, Eye-Tracker u. Ä..The invention relates to a method for selecting functions using a user interface. Cut filters multimodal Benut ¬ allow inputs to a technical system using different input devices or Eingabemodali- activities. The technical system may be, for example, the on-board computer of a vehicle, a personal computer, an aircraft or a production facility. Furthermore wei ¬ sen also mobile devices such as PDAs, mobile phones or gaming consoles multimodal user interface. Among the input modalities, for example, manual input, voice input and input can be distinguished by gestures, head or eye movements. Keyboards, switches, touch screens, mice, graphics tablets, microphones for voice input, eye trackers, etc. are all suitable as input devices in practice. Ä ..

Ein Beispiel für eine multimodale Benutzerschnittstelle ist eine Schnittstelle, welche sowohl Spracheingabe als auch ma¬ nuelle Eingabe erlaubt. Die Eingabe des Benutzers erfolgt so- mit durch zwei unterschiedliche Eingabemodalitäten, und damit verbunden auch unterschiedliche Eingabegeräte. Die Benutzer¬ schnittstelle gibt ihrerseits Informationen an den Benutzer aus. Dies kann seinerseits über unterschiedliche Ausgabemoda¬ litäten (visuelle Ausgabe, akustische Ausgabe, haptisches Feedback, ...) erfolgen. Über seine Eingaben wählt der Benutzer Funktionen des jeweiligen technischen Systems aus, die gegebenenfalls auch gleich ausgeführt werden. Die Ausgabe gibt dem Benutzer Rückmeldungen zu seinen Auswahlmöglichkeiten bzw. zu der von ihm getroffenen Auswahl. Bei der Konzeption von Benutzerschnittstellen müssen die Anforderungen der Benutzer und der verwendeten Technologien berücksichtigt werden. Beispielsweise ist es für manuelle Eingabegeräte aus Sicht des Benutzers wünschenswert, eine textuelle Überfrach- tung eines Bildschirms zu vermeiden, indem die auswählbaren Funktionen durch Piktogramme repräsentiert werden. Diese Vor¬ gehensweise ist etwa von graphischen Bedienoberflächen von Personalcomputern bekannt. Sie führt jedoch im Rahmen einer Spracheingabe bei den Benutzern interindividuell zu starken Streuungen im verwendeten Vokabular: Aufgrund der Piktogramme weiß der Benutzer nicht, welche Begriffe er als Sprachbefehl verwenden kann, da mehrere Begriffe bzw. Synonyme möglich sind. Heutige Spracherkennungssysteme benötigen für eine hohe Erkennungsrate von Spracheingaben allerdings eine möglichst kleine Anzahl unterschiedlicher Begriffe. Aus diesem Grund werden heutige Benutzerschnittstellen, welche Spracheingabe zur Auswahl von Funktionen bereitstellen, nach dem "Say-what- you-see"-Prinzip gestaltet. Die Auswahl gültiger Sprachbefeh- Ie wird textuell auf einem Bildschirm dargestellt. Dies führt schnell zu einer textuellen Überfrachtung, die bei manueller Eingabe nicht wünschenswert ist.An example of a multimodal user interface is an interface that allows that both voice input and ma ¬ Nuelle input. The input of the user thus takes place by means of two different input modalities, and with it also different input devices. The user interface is ¬ turn information to the user. This may in turn have different Ausgabemoda ¬ litäten done (visual output, audio output, haptic feedback, ...). About his inputs, the user selects functions of the respective technical system, which may also be executed the same. The output gives the user feedback on his choices and the choices made by him. When designing user interfaces, the needs of users and the technologies used must be taken into account. For example, it is desirable for manual input devices from the user's point of view, a textual Überfrach- screen, by representing the selectable functions with pictograms. This is going as before ¬ known as graphical user interfaces of personal computers. However, in the context of a speech input, it results in a large degree of diversification among the users in the vocabulary used: Due to the pictograms, the user does not know which terms he can use as a voice command since several terms or synonyms are possible. However, today's speech recognition systems require as small a number of different terms as possible for a high recognition rate of speech input. For this reason, today's user interfaces providing voice input for selecting functions are designed according to the "say-you-you-see" principle. The selection of valid voice commands is displayed textually on a screen. This quickly leads to a textual overload, which is not desirable for manual input.

Es stellt sich somit die Aufgabe, ein Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle und eine Benutzerschnittstelle anzugeben, welche die Interaktion eines Benutzers mit der Benutzerschnittstelle erleichtert.It is therefore an object to provide a method for selecting functions using a user interface and a user interface, which facilitates the interaction of a user with the user interface.

Diese Aufgabe wird durch das Verfahren zur Auswahl von Funk- tionen mithilfe einer Benutzerschnittstelle und die Benutzer¬ schnittstelle sowie das Fahrzeug-Cockpit und das Computerpro¬ gramm gemäß den unabhängigen Ansprüchen gelöst. Weiterbildungen der Erfindungen sind in den abhängigen Ansprüchen definiert .This object is functions by the method for selection of radio using a user interface and the user interface ¬ and the vehicle cockpit and the Computerpro ¬ program according to the independent claims. Further developments of the inventions are defined in the dependent claims.

Bei dem Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle wählt ein Benutzer mithilfe der Benut¬ zerschnittstelle Funktionen eines technischen Systems. Infor¬ mationen repräsentieren die Funktionen und/oder quittieren deren Wahl. Die Informationen werden in einem ersten Ausgabemodus in einer ersten Ausprägung ausgegeben, die für eine erste Eingabemodalität oder ein erstes Eingabegerät optimiert ist. Weiterhin werden die Informationen in einem zweiten Aus- gabemodus in einer zweiten Ausprägung ausgegeben, die für eine zweite Eingabemodalität oder ein zweites Eingabegerät op¬ timiert ist.In the method for selecting functions using a user interface, a user selects using the Benut ¬ cut imagine functions of a technical system. Infor ¬ mation representing the functions and / or confirm their appointment. The information is output in a first output mode in a first form optimized for a first input modality or a first input device. Furthermore, the information is displayed in a second mode output in a second occurrence, the op for a second input method or a second input device ¬ is timiert.

Das Verfahren bietet den Vorteil, dass der erste und der zweite Ausgabemodus nach den jeweiligen Anforderungen der Eingabemodalitäten oder Eingabegeräte optimiert werden kann. So kann zu jedem Zeitpunkt für jede Eingabemodalität bzw. für jedes Eingabegerät eine maximale Unterstützung des Benutzers bei der Durchführung der Bedienung gewährleistet werden.The method offers the advantage that the first and the second output mode can be optimized according to the respective requirements of the input modalities or input devices. Thus, at any time for each input modality or for each input device maximum support of the user when performing the operation can be guaranteed.

Gemäß einer Weiterbildung wechselt die Benutzerschnittstelle vom ersten Ausgabemodus in den zweiten Ausgabemodus, sobald sie erkennt, dass der Benutzer von der ersten Eingabemodali- tat zur zweiten Eingabemodalität oder vom ersten Eingabegerät zum zweiten Eingabegerät wechseln möchte oder dies bereits getan hat.According to a development, the user interface changes from the first output mode to the second output mode as soon as it recognizes that the user wants to change from the first input modality to the second input modality or from the first input device to the second input device or has already done so.

Diese Weiterbildung ermöglicht eine dynamische Wahl des je- weils optimalen Ausgabemodus.This development allows a dynamic selection of the optimal output mode.

In einer besonderen Weiterbildung erkennt die Benutzerschnittstelle den Wechsel daran, dass der Benutzer eine "Push-To-Talk"-Taste gedrückt oder ein Schlüsselwort gespro- chen hat.In a particular development, the user interface recognizes the change because the user has pressed a "push-to-talk" key or spoken a keyword.

Diese Weiterbildung ermöglicht dem Benutzer, auf einfache Weise von manueller Eingabe zu Spracheingabe zu wechseln.This development allows the user to easily switch from manual input to voice input.

Gemäß einer Ausführungsform erlaubt die erste Eingabemodali¬ tät manuelle Eingabe und die zweite Eingabemodalität Sprach¬ eingabe .According to an embodiment allows the first Eingabemodali ¬ ty manual input and the second input method language ¬ input.

In einer anderen Ausführungsform erlaubt die erste Eingabemo- dalität manuelle Eingabe und die zweite Eingabemodalität eine Eingabe durch Augenbewegungen. Gemäß einer Weiterbildung werden die Informationen im ersten Ausgabemodus als Piktogramme und im zweiten Ausgabemodus als Text auf einem Bildschirm ausgegeben.In another embodiment, the first input modality allows manual input and the second input modality allows input by eye movements. According to a development, the information is output in the first output mode as pictograms and in the second output mode as text on a screen.

Diese Weiterbildung bietet den Vorteil, dass der Bildschirm zu jedem Zeitpunkt so übersichtlich wie möglich und so detailliert wie nötig gehalten werden kann. Die Informationen werden durch die jeweiligen Ausprägungen für die jeweilige Eingabemodalität optimiert. Während der manuellen Eingabe er- möglichen die Piktogramme eine übersichtliche und schnell zu erfassende visuelle Darstellung. Während der Spracheingabe hingegen werden die Piktogramme durch Texte ersetzt, welche die vom Spracheingabesystem benötigten Schlüsselwörter darstellen. Als Folge weist der Bildschirm nur dann eine hohe Textlast auf, wenn die Verbalisierung der Funktionen auch tatsächlich benötigt wird. Eingabefehler durch dem Spracherkenner nicht bekannte, zu den Sprachbefehlen synonyme Begriffe, können so deutlich minimiert werden.This development offers the advantage that the screen can be kept as clear as possible and as detailed as necessary at any time. The information is optimized by the respective characteristics for the respective input modality. During manual entry, the pictograms provide a clear and easy-to-read visual representation. During speech input, on the other hand, the pictograms are replaced by texts representing the keywords required by the speech input system. As a result, the screen only has a high text load if the verbalization of the functions is actually needed. Input errors by the speech recognizer not known, synonymous to the language commands terms can be significantly minimized.

In einer besonderen Weiterbildung werden die Piktogramme, die im ersten Ausgabemodus dargestellt werden, im zweiten Ausga¬ bemodus neben oder unter dem Text verkleinert oder verändert dargestellt .In a particular development, the icons that are displayed in the first output mode, reduced, or in the second Ausga ¬ configuration mode is next to or below the text shown changed.

Dies bietet den Vorteil, dass die Piktogramme auch während der Spracheingabe noch als Ankerpunkte für die visuelle Suche durch den Benutzer dienen können.This offers the advantage that the pictograms can still serve as anchor points for the visual search by the user during voice input.

Gemäß einer Ausführungsform werden die Informationen im ers- ten Ausgabemodus nonverbal und im zweiten Ausgabemodus verbal akustisch an den Benutzer ausgegeben.According to one embodiment, the information is output non-verbally in the first output mode and verbally audibly to the user in the second output mode.

Dies bedeutet, dass eine manuelle Anwahl einer Funktion durch den Benutzer etwa durch einen Klick, also ein nonverbales a- kustisches Signal, bestätigt werden kann. Der Klick bietet ausreichend Information, da der Benutzer während der manuel¬ len Eingabe in der Regel ohnehin eine visuelle Rückmeldung erhält, welche Funktion er gerade anwählt. Während der Spracheingabe wird die Anwahl einer Funktion durch den Benutzer hingegen durch eine verbale akustische Ausgabe quittiert. Dies ist etwa dann von Vorteil, wenn der Fahrer eines Fahrzeugs eine Funktion des Bordcomputers durch ein Sprachbefehl aktiviert und dabei seinen Blick auf die Fahrbahn gerichtet hält. Durch die verbale akustische Ausgabe bekommt er eine inhaltliche Rückmeldung über die gewählte Funktion. In beiden Eingabemodalitäten wird somit gewährleis- tet, dass die ausgegebene Information so knapp wie möglich und gleichzeitig so präzise wie nötig gehalten wird.This means that manual selection of a function by the user can be confirmed by a click, ie a non-verbal acoustic signal. The click provides enough information because the user already receives visual feedback during the manuel ¬ len input usually what function it dials straight. During voice input, however, the selection of a function by the user is acknowledged by a verbal acoustic output. This is advantageous, for example, when the driver of a vehicle activates a function of the on-board computer by means of a voice command while keeping his eyes on the roadway. Through the verbal acoustic output, he receives a substantive feedback on the selected function. In both input modalities, it is thus ensured that the information output is kept as short as possible and at the same time as precise as necessary.

In einer besonderen Weiterbildung werden die Informationen als Piktogramme ausgegeben. Die Abstände oder die Abmessungen der Piktogramme sind hierbei im zweiten Ausgabemodus größer als im ersten Ausgabemodus.In a special development, the information is output as pictograms. The distances or the dimensions of the pictograms here are greater in the second output mode than in the first output mode.

Die Weiterbildung trägt dem Umstand Rechnung, dass bei manu¬ eller Eingabe etwa mit einer Maus oder einem Grafiktablett wesentlich kleinere Piktogramme, also Icons, Buttons etc. auch in geringem Abstand untereinander durch den Benutzer zielsicher angewählt werden können. Bei Verwendung von Eye- Tracking hingegen ist eine vergleichbar genaue Eingabe des Benutzers nicht möglich, weshalb die Abstände bzw. die Abmes- sungen der Piktogramme entsprechend größer gewählt werden müssen. Dabei kann berücksichtigt werden, dass die Auflösung des Eye-Trackers zum Rande des Bildschirms hin abnimmt, somit der Abstand zwischen den Piktogrammen zum Rande des Bildschirms hin zunehmen muss.The development takes into account the fact that with manual input, for example with a mouse or a graphics tablet, much smaller pictograms, that is to say icons, buttons, etc., can also be selected in a targeted manner by the user. On the other hand, when eye tracking is used, it is not possible to enter the user with comparable precision, which is why the distances and / or the dimensions of the pictograms must be selected to be correspondingly larger. It can be taken into account that the resolution of the eye tracker decreases towards the edge of the screen, so that the distance between the icons has to increase towards the edge of the screen.

Die Benutzerschnittstelle verfügt über Mittel, um das Verfah¬ ren auszuführen. Das Fahrzeug-Cockpit verfügt über Mittel, um das Verfahren auszuführen. Das Computerprogramm führt das Verfahren aus, sobald es in einem Prozessor abgearbeitet wird. Im Folgenden wird die Erfindung anhand von Ausführungsbei¬ spielen näher erläutert, die in den Figuren schematisch dargestellt sind. Im Einzelnen zeigt:The user interface has means to the procedural ¬ ren execute. The vehicle cockpit has means to perform the procedure. The computer program executes the procedure as soon as it is executed in a processor. In the following, the invention will be explained in more detail with reference to Ausführungsbei ¬ games, which are shown schematically in the figures. In detail shows:

Figur 1: eine schematische Darstellung der Ein- und Ausgabe,FIG. 1 shows a schematic representation of the input and output,

Figur 2: eine Bildschirmausgabe in einem ersten Ausgabemo¬ dus,FIG. 2 shows a screen output in a first output mode ;

Figur 3: eine Bildschirmausgabe in einem zweiten Ausgabemo¬ dus .FIG. 3 shows a screen output in a second output mode .

Figur 1 zeigt eine schematische Darstellung der Ein- und Aus¬ gabe gemäß einem ersten Ausführungsbeispiel. Ein Benutzer 2 interagiert mit einer Benutzerschnittstelle 1. Die Interakti¬ on erfolgt über ein erstes Eingabegerät 11 und ein zweites Eingabegerät 12. Bei dem ersten Eingabegerät 11 kann es sich beispielsweise um eine Maus und bei dem zweiten Eingabegerät 12 um ein Mikrofon, welches zur Spracheingabe verwendet wird, handeln. Dementsprechend fällt das erste Eingabegerät 11 un¬ ter eine erste Eingabemodalität 21, hier die manuelle Einga¬ be, und das zweite Eingabegerät 12 unter eine zweite Eingabe¬ modalität 22, hier die Spracheingabe. Wie bereits in der Ein¬ leitung angesprochen, sind alternativ oder ergänzend beliebi- ge andere Eingabegeräte und Eingabemodalitäten möglich. Ins¬ besondere können das erste Eingabegerät 11 und das zweite Eingabegerät 12 auch derselben Eingabemodalität angehören und dennoch so unterschiedliche Charakteristika aufweisen, dass ein dynamischer Wechsel des Ausgabemodus wie unten beschrie- ben vorteilhaft ist.Figure 1 shows a schematic representation of the input and output ¬ output according to a first embodiment. A user 2 interacts with a user interface 1. The Interakti ¬ on via a first input device 11 and a second input device 12. In the first input device 11 may, for example, a mouse and the second input device 12 to a microphone for voice input used, act. Accordingly, the first input device 11 falls un ¬ ter a first input modality 21, here the manual entranc ¬ be, and the second input device 12 at a second input ¬ modality 22, in this voice input. As mentioned already in the line A ¬ alternatively or additionally arbitrary ge other input devices and input modalities are possible. Ins ¬ particular, the first input unit 11 and the second input device 12 may also belong to the same input modality and nevertheless have different characteristics so that a dynamic change of the output mode ben as described below is beneficial.

Mithilfe seiner Eingaben wählt der Benutzer 2 Funktionen eines technischen Systems aus, an welche die Benutzerschnitt¬ stelle 1 angeschlossen ist. Wie eingangs erwähnt, sind hier beliebige technische Systeme denkbar, vom Fahrzeug-Computer bis zur Multimedia-Konsole. Um die Auswahl der Funktionen durch den Benutzer 2 zu unterstützen, gibt die Benutzerschnittstelle 1 Informationen an diesen aus, welche die Funk- tionen repräsentieren, zur Auswahl präsentieren oder auch ihre Wahl quittieren können. Die Informationen können in beliebiger Art gestaltet sein, etwa als Fenster, Menüs, Buttons, Icons und Piktogramme im Kontext einer grafischen Ausgabe ü- ber einen Bildschirm oder ein Projektionsdisplay; sie können auch akustisch ausgegeben werden, als nonverbale Signale oder in Form von verbaler Sprachausgabe. Drittens können die Informationen auch haptisch auf den Körper des Benutzers übertragen werden. Beispielsweise werden, wie in Figur 1 gezeigt, in einem ersten Ausgabemodus 41 als eine erste Ausprägung 31 der Informationen Piktogramme ausgegeben, wogegen in einem zweiten Ausgabemodus 42 als eine zweite Ausprägung 32 der Informationen Sprache ausgegeben wird.Using his inputs, the user selects 2 functions of a technical system to which the user interface ¬ 1 is connected. As mentioned above, any technical systems are conceivable here, from the vehicle computer to the multimedia console. In order to support the selection of the functions by the user 2, the user interface 1 outputs information to these, which transmits the radio represent, present for selection or even confirm their choice. The information may be arranged in any manner, such as windows, menus, buttons, icons and pictograms in the context of a graphical output via a screen or a projection display; they can also be output acoustically, as non-verbal signals or in the form of verbal speech output. Third, the information can also be transferred haptically to the body of the user. For example, as shown in Fig. 1, in a first output mode 41, pictograms are output as a first expression 31 of the information, whereas in a second output mode 42, a speech is output as a second expression 32 of the information.

Figur 2 und Figur 3 zeigen jeweils einen ersten Ausgabemodus und einen zweiten Ausgabemodus gemäß einem zweiten Ausführungsbeispiel. Es ist jeweils ein Bildschirm 3 dargestellt, auf welchem die ausgegebenen Informationen dargestellt sind. Der erste Ausgabemodus gemäß Figur 2 ist hierbei für manuelle Eingabe optimiert. Die manuelle Eingabe kann hierbei etwa durch so genannte "Soft Keys", Dreh- Drücksteller, Schalter, Tastatur, Maus, Grafiktablett o. Ä. ermöglicht werden. Gemäß Figur 2 werden im ersten Ausgabemodus die Informationen in einer ersten Ausprägung dargestellt, wie aus der Figur er- sichtlich durch Piktogramme 51, 52, 53, 54, 55. Die Pikto¬ gramme 51, 52, 53, 54, 55 erlauben im Kontext der manuellen Eingabe durch das jeweilige Symbol eine intuitive und leicht aufzufindende Repräsentation der jeweiligen Funktion für den Benutzer. Beispielsweise enthält das Piktogramm 51 das be- kannte Symbol zum Abspielen einer Multimedia-Datei. Die Pik¬ togramme 52 und 53 sind aus dem gleichen Kontext bekannt. Weiterhin sind Titel von Multimedia-Inhalten durch Texte 61, 62, 63, 64, 65 dargestellt. Ein Rollbalken 80 ermöglicht es, in der angedeuteten Liste nach unten zu spulen. Die Steuerung des Rollbalkens 80 erfolgt durch Anwahl der Piktogramme 54 und 55. Ziel des in Figur 2 gezeigten ersten Ausgabemodus ist es somit, eine textuelle Überladung des Bildschirms 3 zu ver- meiden und dem Benutzer eine intuitive Navigation durch die Funktionen des jeweiligen technischen Systems zu ermöglichen.FIG. 2 and FIG. 3 each show a first output mode and a second output mode according to a second exemplary embodiment. In each case, a screen 3 is shown, on which the information output is shown. The first output mode according to FIG. 2 is optimized for manual input. The manual entry can be done by so-called "soft keys", turn-push button, switch, keyboard, mouse, graphics tablet o. Ä. be enabled. According to Figure 2, the information in the first output mode shown in a first expression, as shown in the figure ER- clearly by icons 51, 52, 53, 54, 55. The Pikto ¬ programs 51, 52, 53, 54, 55 allow the shortcut the manual input by the respective symbol an intuitive and easy-to-find representation of the respective function for the user. For example, the icon 51 contains the known symbol for playing a multimedia file. The Pik ¬ togramme 52 and 53 are known from the same context. Furthermore, titles of multimedia contents are represented by texts 61, 62, 63, 64, 65. A scroll bar 80 makes it possible to scroll down in the indicated list. The control of the scroll bar 80 is effected by selecting the icons 54 and 55. The aim of the first output mode shown in FIG. 2 is therefore to prevent a textual overload of the screen 3. avoid and allow the user an intuitive navigation through the functions of the respective technical system.

Figur 4 zeigt einen zweiten Ausgabemodus im zweiten Ausfüh- rungsbeispiel . Der zweite Ausgabemodus ist hierbei fürFIG. 4 shows a second output mode in the second embodiment. The second output mode is for

Spracheingabe optimiert. Die Benutzerschnittstelle wechselt vom ersten in den zweiten Ausgabemodus etwa dann, wenn der Benutzer von manueller Eingabe zu Spracheingabe wechseln möchte oder dies bereits getan hat. Die Benutzerschnittstelle erkennt dies etwa durch ein gesprochenes Schlüsselwort oder das Drücken einer "Push-To-Talk"-Taste, oder das Bedienen ei¬ ner anderen geeigneten Einrichtung (z. B. mittels Gesten-, Blick-, Bewegungssteuerung) . Im zweiten Ausgabemodus werden die Piktogramme 51, 52, 53, 54, 55 entweder gänzlich ausge- blendet, verkleinert oder ausgegraut oder auf andere Art in den Hintergrund gerückt. Der zweite Ausgabemodus gibt die In¬ formationen in einer zweiten Ausprägung aus, welche die Sprachbefehle explizit verbalisiert und darstellt, welche im Rahmen der Spracheingabe durch die Benutzerschnittstelle er- kannt werden können. Im Einzelnen sind dies die Sprachbefehle 71, 72, 73, 74, 75, welche den bekannten Funktionen der jeweiligen Piktogramme 51, 52 53, 54, 55 zugeordnet sind. Auch die Texte 61, 62, 63, 64, 65 sind in Figur 3 fett darge¬ stellt, wodurch die Benutzerschnittstelle dem Benutzer signa- lisiert, dass die jeweiligen Multimedia-Inhalte über den je¬ weiligen Text als Sprachbefehl ausgewählt werden können. Alternativ können Texte, welche Sprachbefehle repräsentieren, auch durch Änderung der Farbe oder Schriftgröße oder durch Unterstreichung u. Ä. hervorgehoben werden.Voice input optimized. The user interface changes from the first to the second output mode, for example, when the user wants to switch from manual input to voice input or has already done so. The user interface detects this example by a spoken keyword, or pressing a "push-to-talk" button, or operating ei ¬ ner other suitable means (eg. As by means of gestures, LOOK-, movement control). In the second output mode, the icons 51, 52, 53, 54, 55 are either completely blanked out, reduced or grayed out or moved into the background in some other way. The second output mode is the in ¬ formations in a second occurrence of which explicitly verbalized the voice commands and displays which may be known ER within the voice input through the user interface. Specifically, these are the voice commands 71, 72, 73, 74, 75 associated with the known functions of the respective icons 51, 52 53, 54, 55. The texts 61, 62, 63, 64, 65 are in figure 3 fatty Darge ¬ represents, whereby the user interface to the user lisiert signaled that the respective multimedia content on the per ¬ weiligen text can be selected as a voice command. Alternatively, texts which represent voice commands may also be changed by changing the color or font size or by underlining u. Ä. be highlighted.

In einem dritten Ausführungsbeispiel unterscheidet die Benut¬ zerschnittstelle zwischen manueller Eingabe und einer Eingabe durch Augenbewegungen, welche durch einen Eye-Tracker registriert werden. Bei Eingabe durch Augenbewegungen werden Pikto- gramme vergrößert oder auch in größeren Abständen dargestellt, da der Benutzer aufgrund der geringeren Auflösung des Eye-Trackers nicht so exakt mit der Benutzerschnittstelle in- teragieren kann wie mit einem manuellen Eingabegerät. In einem vierten Ausführungsbeispiel werden die Informationen nicht visuell, sondern akustisch ausgegeben. Auch hier kann wiederum zwischen manueller Eingabe und Spracheingabe unter- schieden werden. Bei manueller Eingabe genügt etwa ein nonverbales akustisches Signal in Form eines Klicks, um eine Auswahl des Benutzers zu bestätigen, wogegen bei Spracheinga¬ be eine verbale akustische Sprachausgabe wünschenswert ist, um die Auswahl des Benutzers zu bestätigen. Dies kann etwa darin begründet liegen, dass der Benutzer die Spracheingabe in einem Fahrzeug vornimmt und seinen Blick auf die Straße gerichtet halten möchte. Darum benötigt er eine inhaltliche Rückmeldung, welcher Sprachbefehl erkannt wurde. Im Fall der manuellen Eingabe kann hingegen davon ausgegangen werden, dass der Benutzer bereits visuell wahrgenommen hat, welche Funktion er ausgewählt hat, so dass als akustische Ausgabe ein Klick genügt.In a third embodiment, the Benut ¬ different cut point between manual input and an input by eye movements which are recorded by an eye-tracker. If you enter with eye movements, the icons are enlarged or displayed at longer intervals, as the user can not interact with the user interface as accurately as with a manual input device due to the lower resolution of the eye tracker. In a fourth embodiment, the information is output not visually, but acoustically. Again, a distinction can be made between manual input and voice input. In case of manual input such as a nonverbal acoustic signal in the form of a click is sufficient to confirm a user's selection, whereas in voice input ¬ be a verbal voice output is desirable to confirm the user's selection. This may be due, for example, to the fact that the user wishes to make the speech input in a vehicle and to keep his eyes on the road. Therefore, he needs a substantive feedback, which voice command was recognized. In the case of manual input, on the other hand, it can be assumed that the user has already visually perceived which function he has selected, so that one click suffices as the acoustic output.

Weiterhin ist es möglich, dass die Benutzerschnittstelle im ersten Ausgabemodus visuell Informationen ausgibt, im zweiten Ausgabemodus jedoch akustisch oder haptisch. Auf diese Art kann durch geeignete Wahl der Ausgabemodalität der jeweiligen Eingabemodalität oder dem jeweiligen Eingabegerät Rechnung getragen werden. Furthermore, it is possible for the user interface to visually output information in the first output mode, but acoustically or haptically in the second output mode. In this way, by suitable choice of the output modality of the respective input modality or the respective input device can be taken into account.

Claims

Patentansprüche claims 1. Verfahren zur Auswahl von Funktionen mithilfe einer Benutzerschnittstelle (1), - bei dem ein Benutzer (2) mithilfe der Benutzerschnittstelle (1) Funktionen eines technischen Systems wählt,1. A method for selecting functions using a user interface (1), - in which a user (2) uses the user interface (1) to select functions of a technical system, - bei dem Informationen die Funktionen repräsentieren und/oder ihre Wahl durch den Benutzer (2) quittieren,in which information represents the functions and / or confirms their choice by the user (2), - bei dem die Informationen in einem ersten Ausgabemodus (41) in einer ersten Ausprägung (31) ausgegeben werden, die für eine erste Eingabemodalität (21) oder ein erstes Eingabege¬ rät (11) optimiert ist,- in which the information is output in a first output mode (41) in a first form (31), which advises a first input method (21) or a first Eingabege ¬ (11) is optimized, - bei dem die Informationen in einem zweiten Ausgabemodus- where the information in a second output mode (42) in einer zweiten Ausprägung (32) ausgegeben werden, die für eine zweite Eingabemodalität (22) oder ein zweites Eingabegerät (12) optimiert ist.(42) in a second form (32) which is optimized for a second input modality (22) or a second input device (12). 2. Verfahren nach Anspruch 1,2. The method according to claim 1, - bei dem die Benutzerschnittstelle (1) vom ersten Ausgabemo- dus (41) in den zweiten Ausgabemodus (42) wechselt, sobald sie erkennt, dass der Benutzer (2) von der ersten Eingabemodalität (21) zur zweiten Eingabemodalität (22) oder vom ersten Eingabegerät (11) zum zweiten Eingabegerät (12) wechseln möchte oder dies bereits getan hat.in which the user interface (1) changes from the first output mode (41) to the second output mode (42) as soon as it detects that the user (2) has changed from the first input modality (21) to the second input modality (22) or from the first input mode (21) first input device (11) wants to switch to the second input device (12) or has already done so. 3. Verfahren nach Anspruch 2,3. The method according to claim 2, - bei dem die Benutzerschnittstelle (1) den Wechsel daran er¬ kennt, dass der Benutzer (2) eine "Push-To-Talk"-Taste ge¬ drückt oder ein Schlüsselwort gesprochen hat.- In which the user interface (1) the change he knows ¬ that the user (2) has a "push-to-talk" button ge ¬ expresses or has spoken a keyword. 4. Verfahren nach Anspruch 1,4. The method according to claim 1, - bei dem die erste Eingabemodalität (21) manuelle Eingabe und die zweite Eingabemodalität (22) Spracheingabe erlaubt.in which the first input modality (21) allows manual input and the second input modality (22) voice input. 5. Verfahren nach Anspruch 1,5. The method according to claim 1, - bei dem die erste Eingabemodalität (21) manuelle Eingabe und die zweite Eingabemodalität (22) eine Eingabe mit Hilfe von Augenbewegungen erlaubt. - In which the first input modality (21) manual input and the second input modality (22) allows an input by means of eye movements. 6. Verfahren nach Anspruch 4,6. The method according to claim 4, - bei dem die Informationen im ersten Ausgabemodus (41) als Piktogramme und im zweiten Ausgabemodus (42) als Text auf einem Bildschirm (3) ausgegeben werden.- In which the information in the first output mode (41) as pictograms and in the second output mode (42) are output as text on a screen (3). 7. Verfahren nach Anspruch 6, bei dem die im ersten Ausgabemodus (41) dargestellten Piktogramme im zweiten Ausgabemodus (42) neben oder unter dem Text verkleinert oder verändert dargestellt werden.7. The method of claim 6, wherein the pictograms shown in the first output mode (41) in the second output mode (42) are shown reduced or changed next to or below the text. 8. Verfahren nach Anspruch 4, bei dem die Informationen im ersten Ausgabemodus (41) nonverbal und im zweiten Ausgabemodus (42) verbal akustisch an den Benutzer (2) ausgegeben werden.8. The method of claim 4, wherein the information in the first output mode (41) non-verbally and in the second output mode (42) verbally acoustically output to the user (2). 9. Verfahren nach Anspruch 5,9. The method according to claim 5, - bei dem die Informationen als Piktogramme ausgegeben werden, - bei dem die Abstände zwischen den Piktogrammen oder deren- in which the information is displayed as pictograms, - in which the distances between the pictograms or their Abmessungen im zweiten Ausgabemodus (42) größer sind als im ersten Ausgabemodus (41).Dimensions in the second output mode (42) are greater than in the first output mode (41). 10. Benutzerschnittstelle (1) mit Mitteln, um ein Verfahren nach einem der vorangegangenen Ansprüche auszuführen.A user interface (1) having means for carrying out a method according to any one of the preceding claims. 11. Fahrzeug-Cockpit mit Mitteln, um das Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.11. Vehicle cockpit with means to carry out the method according to one of claims 1 to 9. 12. Computerprogramm, welches das Verfahren nach einem der12. Computer program, which the method according to one of Ansprüche 1 bis 9 ausführt, sobald es in einem Prozessor ab¬ gearbeitet wird. Claims 1 to 9 executes as soon as it is processed in a processor ¬ .
EP07726487A 2006-03-10 2007-02-22 Method for the selection of functions with the aid of a user interface, and user interface Withdrawn EP1996996A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006011288A DE102006011288A1 (en) 2006-03-10 2006-03-10 Method for selecting functions using a user interface and user interface
PCT/EP2007/051729 WO2007104635A2 (en) 2006-03-10 2007-02-22 Method for the selection of functions with the aid of a user interface, and user interface

Publications (1)

Publication Number Publication Date
EP1996996A2 true EP1996996A2 (en) 2008-12-03

Family

ID=38066709

Family Applications (1)

Application Number Title Priority Date Filing Date
EP07726487A Withdrawn EP1996996A2 (en) 2006-03-10 2007-02-22 Method for the selection of functions with the aid of a user interface, and user interface

Country Status (5)

Country Link
US (1) US20090077493A1 (en)
EP (1) EP1996996A2 (en)
CN (1) CN101484866A (en)
DE (1) DE102006011288A1 (en)
WO (1) WO2007104635A2 (en)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9104294B2 (en) 2005-10-27 2015-08-11 Apple Inc. Linked widgets
US7752556B2 (en) 2005-10-27 2010-07-06 Apple Inc. Workflow widgets
US9436951B1 (en) 2007-08-22 2016-09-06 Amazon Technologies, Inc. Facilitating presentation by mobile device of additional content for a word or phrase upon utterance thereof
EP2008193B1 (en) 2006-04-05 2012-11-28 Canyon IP Holdings LLC Hosted voice recognition system for wireless devices
US8510109B2 (en) 2007-08-22 2013-08-13 Canyon Ip Holdings Llc Continuous speech transcription performance indication
US8869027B2 (en) 2006-08-04 2014-10-21 Apple Inc. Management and generation of dashboards
US9973450B2 (en) 2007-09-17 2018-05-15 Amazon Technologies, Inc. Methods and systems for dynamically updating web service profile information by parsing transcribed message strings
US8954871B2 (en) 2007-07-18 2015-02-10 Apple Inc. User-centric widgets and dashboards
US20090021486A1 (en) * 2007-07-19 2009-01-22 Apple Inc. Dashboard Surfaces
US9053489B2 (en) 2007-08-22 2015-06-09 Canyon Ip Holdings Llc Facilitating presentation of ads relating to words of a message
US8335829B1 (en) * 2007-08-22 2012-12-18 Canyon IP Holdings, LLC Facilitating presentation by mobile device of additional content for a word or phrase upon utterance thereof
DE102008009445A1 (en) * 2008-02-15 2009-08-20 Volkswagen Ag Method for writing and speech recognition
DE102008025124B4 (en) * 2008-05-26 2024-10-31 Volkswagen Ag Display system for a vehicle and operating method for a display system of a vehicle
US11487347B1 (en) * 2008-11-10 2022-11-01 Verint Americas Inc. Enhanced multi-modal communication
EP2362186A1 (en) * 2010-02-26 2011-08-31 Deutsche Telekom AG Operating device for electronic device functions in a motor vehicle
CN102654818B (en) * 2011-03-03 2016-03-30 汉王科技股份有限公司 A kind of keyboard display method of touch-screen electronic equipment and device
DE102011015693A1 (en) * 2011-03-31 2012-10-04 Volkswagen Aktiengesellschaft Method for providing graphical user interface (GUI) for operating navigation system in vehicle, involves selecting voice modes of GUI by control keys whose positions are independent or dependent on graphical objects of GUI
USD724101S1 (en) * 2012-04-05 2015-03-10 Welch Allyn, Inc. Patient monitoring device with graphical user interface
KR102095765B1 (en) 2012-10-19 2020-04-01 삼성전자주식회사 Display apparatus and method for controlling the same
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9842511B2 (en) * 2012-12-20 2017-12-12 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for facilitating attention to a task
US9934523B1 (en) 2013-03-05 2018-04-03 Square, Inc. On-device directory search
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
USD707254S1 (en) * 2013-03-14 2014-06-17 Microsoft Corporation Display screen with graphical user interface
US10909590B2 (en) 2013-03-15 2021-02-02 Square, Inc. Merchant and item ratings
USD788152S1 (en) * 2013-03-15 2017-05-30 Square, Inc. Display screen or portion thereof with a graphical user interface
USD791144S1 (en) * 2014-08-21 2017-07-04 Mitsubishi Electric Corporation Display with graphical user interface

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5367315A (en) * 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
US6078323A (en) * 1998-04-09 2000-06-20 International Business Machines Corporation Method and system for rapidly accessing graphically displayed toolbar icons via toolbar accelerators
US6779060B1 (en) * 1998-08-05 2004-08-17 British Telecommunications Public Limited Company Multimodal user interface
DE19948794A1 (en) * 1999-10-07 2001-05-10 Rfi Elektronik Gmbh Information processing device for motor vehicle consists of hand-held computer which controls mobile telephone and GPS device
DE19959702A1 (en) * 1999-12-10 2001-06-21 Daimler Chrysler Ag Display and control unit
US6643721B1 (en) * 2000-03-22 2003-11-04 Intel Corporation Input device-adaptive human-computer interface
DE10062669A1 (en) * 2000-12-15 2002-06-20 Bsh Bosch Siemens Hausgeraete Input device for central control unit of program-controlled domestic appliance has unique tactile or audible feedback signals corresponding to button position, functions or menus
DE10121392A1 (en) * 2001-05-02 2002-11-21 Bosch Gmbh Robert Device for controlling devices by viewing direction
WO2003078930A1 (en) * 2002-03-15 2003-09-25 Mitsubishi Denki Kabushiki Kaisha Vehicular navigation device
US7325238B2 (en) * 2003-03-21 2008-01-29 Microsoft Corporation Interface for determining the source of user input
DE60325901D1 (en) * 2003-04-07 2009-03-05 Nokia Corp PRACHGESTERER INPUT FOR AN ELECTRONIC DEVICE WITH A USER INTERFACE
DE10339314B3 (en) * 2003-08-27 2005-04-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method for display control of different information in a vehicle and opto-acoustic information unit
US20050209858A1 (en) * 2004-03-16 2005-09-22 Robert Zak Apparatus and method for voice activated communication
US20070011609A1 (en) * 2005-07-07 2007-01-11 Florida International University Board Of Trustees Configurable, multimodal human-computer interface system and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2007104635A3 *

Also Published As

Publication number Publication date
US20090077493A1 (en) 2009-03-19
DE102006011288A1 (en) 2007-09-13
CN101484866A (en) 2009-07-15
WO2007104635A3 (en) 2009-02-19
WO2007104635A2 (en) 2007-09-20

Similar Documents

Publication Publication Date Title
EP1996996A2 (en) Method for the selection of functions with the aid of a user interface, and user interface
EP2223046B1 (en) Multimode user interface of a driver assistance system for inputting and presentation of information
EP3508968A1 (en) Human-machine interface and method for operating a human-machine interface
EP2756380B1 (en) Method and device for displaying information and for operating an electronic device
EP3077892B1 (en) Motor vehicle control apparatus with touch-sensitive input panel
EP3966063B1 (en) Method and operating system for detecting a user input for a device of a vehicle
WO2024179862A1 (en) Multimodal vehicle operating system with adaptive feedback
DE102008026030B4 (en) Information and assistance system and a method for its control
EP2030828B1 (en) Multimodal operating system and method to operate components and functions in a vehicle
DE102009058146B4 (en) Method and device for multimodal context-sensitive operation
DE102013016196B4 (en) Motor vehicle operation using combined input modalities
EP3966064B1 (en) Method for operating an operating system in a vehicle and operating system in a vehicle
DE102009059869A1 (en) Method for providing user interface for control device utilized with e.g. driver assistance system in motor vehicle, involves releasing indicator after detection of touching of touch-sensitive surfaces
DE102009030263A1 (en) Operating method for a menu-based operating and information system of a vehicle
EP2766210B1 (en) Method for providing an operating device in a vehicle and operating device
Roider Natural multimodal interaction in the car-generating design support for speech, gesture, and gaze interaction while driving
DE102005014774A1 (en) Procedure for input preview and user interface with input preview
DE102006055252B4 (en) Arrangement and method for multimodal selection of objects in telecommunication applications
EP3108333B1 (en) User interface and method for assisting a user in the operation of a user interface
Vilimek et al. Multimodal interfaces for in-vehicle applications
DE102019210008A1 (en) Method for operating a control system and control system
DE102019129396A1 (en) Graphical user interface, means of transportation and method for operating a graphical user interface for a means of transportation
DE102019131944A1 (en) Method for controlling at least one display unit, motor vehicle and computer program product
DE102019129395A1 (en) Graphical user interface, means of transportation and method for operating a graphical user interface for a means of transportation
DE102004032701A1 (en) A method of efficiently entering characters into a mobile communication device and a mobile communication device configured for such input

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LI LT LU LV MC NL PL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL BA HR MK RS

RIN1 Information on inventor provided before grant (corrected)

Inventor name: HEMPEL, THOMAS

Inventor name: VILIMEK, ROMAN

R17D Deferred search report published (corrected)

Effective date: 20090219

RIC1 Information provided on ipc code assigned before grant

Ipc: G06F 3/048 20060101ALI20090303BHEP

Ipc: G06F 3/038 20060101AFI20090303BHEP

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20090820