JPH10116144A - グラフィカル・ユーザ・インターフェースにおけるポインタの音声サポートされたナビゲーション方法及び装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】グラフィカル・ユーザ・インターフェースにお
いて、ポインタの音声制御ナビゲーションの方法。 【解決手段】ポインタ装置の音声コマンド入力による個
々の位置状態の細かさはそれぞれのアプリケーション・
ウインドウに適合可能で、その位置状態は、音声コマン
ド入力の絶対座標又は相対座標の座標系で表される。操
作のグラフィカル・ユーザ・インターフェースのコピー
・イメージが実際のユーザ・インターフェースの手前に
又は側に与えられ、プロクシ・ポインタ装置がそのコピ
ー・イメージ上に表示され、コピー・イメージだけが個
別の位置状態を含み、音声入力コマンドはそのコピー・
イメージにだけ転送される。そのコピーにおけるポイン
タ装置のナビゲーションは、実際のユーザ・インターフ
ェースのコマンドに転送され、変換される。プロクシ・
ポインタで生じた操作事象は、実際のユーザ・インター
フェースにそれぞれの操作を生じさせる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、アプリケーション
・プログラムのグラフィカル・ユーザ・インターフェー
スにおけるマウス・ポインタ或いはポインタ・タブレッ
トのようなポインタ装置の、音声制御入力コマンドによ
るナビゲーションに関するものである。特に、本発明
は、そのようなポインタの音声制御ナビゲーションのた
めの方法及び装置に関するものである。

【０００２】

【従来の技術】コンピュータ操作の簡易性に対する増大
する要求によって、コンピュータのオペレーティング・
システムにおけるアプリケーションの操作或いはオペレ
ーティング・システムそのものの操作のためのグラフィ
カル・ユーザ・インターフェース（ＧＵＩ）が発展し
た。コンピュータの操作に関して技術的に未熟なユーザ
或いは身体的にハンデキャップを負ったユーザを支援す
る強力な音声認識システムの開発によって、操作性の更
なる改良が得られている。従って、そのような認識装置
によって、必要な制御コマンドが認識され、それぞれの
制御コマンドに変換される。ＩＢＭ社による音声型口述
システム（ＶＴＤ：Voice Type Dictation）のような利
用可能な数多くの音声認識システムが存在する。この製
品は、多くの特許の主題になっており、例えば、本譲受
人に譲渡された「音声認識システム（Speech Recogniti
on System）」と題する米国特許第４,７１８,０９４号
は、音声認識の更に詳細な部分に言及している。ＶＴＤ
は、話し手に従属したソフトウエア・モジュール及び話
し手に無関係のソフトウエア・モジュールより成り、特
に、マクロ・エディタを提供する。主プログラムは、特
定の時間に１つのアプリケーションしかサービスし得な
い音声認識エンジンである。実際のアクティブ・アプリ
ケーション・ウインドウは色付きフレームのＶＴＤ自身
の手段によってマークされる。「音声制御」と呼ばれる
ウインドウから、ユーザは現在利用可能なすべてのコマ
ンドを集めることができる。

【０００３】ＶＴＤの第１の特徴は、事前開発されたア
プリケーション・プログラムがＶＴＤの音声認識エンジ
ンと対話することを可能にするプログラミング・インタ
ーフェース（ＡＰＩ）であり、従って、新たなアプリケ
ーション・プログラムの開発に先立って音声入力の統合
化を可能にする。ＶＴＤの第２の特徴は上記のマクロ・
エディタであり、それは、１つのマクロニム（ｍａｃｒ
ｏｎｙｍ）を発生することによって複数のアクションを
実行させる特有のマクロ（コマンド）を、ユーザが特別
に創作することを可能にするものである。

【０００４】ＶＴＤを使用することによって、発声され
たワードはコマンドとして解釈及び実行される（いわゆ
る「コマンド・モード」）か、或いはテキスト・ドキュ
メントのワードとして認識される（いわゆる「ディクテ
ーション・モード」）。基本のコンピュータのハードウ
エア次第で、そのディクテーション・システムはほぼ実
時間で認識プロセスを遂行することができる。即ち、そ
の認識されたワードはわずかな遅延だけでスクリーン上
に表示される。

【０００５】音声認識システムに対するアプリケーショ
ンの代表的な範囲は、一方の側におけるテキスト・ドキ
ュメントの音波入力及び他方の側におけるコンピュータ
・システムのアプリケーション・プログラムの音声支持
された制御である。アプリケーション・プログラムの音
声制御操作の１つの特定の要件は、ポインタをそのＧＵ
Ｉ上に表されたそれのビューポート内で無制限に位置決
めする能力である。テキスト・ドキュメントの音波入力
の場合、それぞれのファイルを後処理するために、その
入力テキストをファイルとして記憶するか、或いはワー
ド処理システムのような他のアプリケーションにおける
グラフィカル・ユーザ・インターフェースの中間バッフ
ァ記憶装置を介してその入力データを転送する特定のデ
ィクテーション・アプリケーションが存在する。

【０００６】アプリケーションを音声制御処理するため
には、一般に、既存のアプリケーション・プログラム自
体の修正を必要とすることなく、アプリケーション・プ
ログラムをそれぞれの音声認識装置用に改変すること
を、可能にする、いわゆるマクロ・インターフェースが
設けられる。前述のマクロ・インターフェースによっ
て、例えば、アプリケーション・プログラムのプログラ
ム・コマンド又はそれぞれのプログラム・メニュー項目
がユーザによって発声されたワード・シーケンスと関連
付けられる。アプリケーション・プログラムのウインド
ウ・システムを操作する際に、例えば、プログラム・フ
ァイルをオープンするためには、或いは標準的なエディ
タをスタートさせるためには、一般に、マクロが事前定
義される。

【０００７】しかし、前述のマクロ・インターフェース
によって既存のアプリケーション・プログラムを音声制
御操作に適応させるためには、幾つかの制限が課せられ
る。そのようなインターフェースの最善の使用法は、ワ
ード・シーケンスの関連によるプログラム・コマンド又
はプログラム・メニュー項目の操作である。従って、
「最小化（ｍｉｎｉｍｉｚｅ）」、「最大化（ｍａｘｉ
ｍｉｚｅ）」、及び「クローズ（ｃｌｏｓｅ）」のよう
な一般的なウインドウ・コマンドの操作が実用的であ
り、音声認識システムの定義済みマクロによってサポー
トされる。

【０００８】音声入力コマンドによってポインタ・ベー
スのプログラム・オペレーションを代用することは依然
として煩わしいことである。これは、特に、マウス・ポ
インタの移動によってアプリケーション・ウインドウの
或ポイントにポインタを位置決めする場合に云えること
である。この種の操作は、数多くのアプリケーション・
プログラムの操作にとって、例えば、グラフィカル・エ
ディタ、アノテーション・ツール、及び表計算プログラ
ムにとって必要な要件である。

【０００９】上記の問題に対する既知の解決法は、キー
ボードの矢印キーを介してマウス・ポインタの位置決め
を行うアプリケーション・プログラムである。音声コマ
ンドをそれらの矢印キーに割り当てることによって、マ
ウス・ポインタは動かされる。その既知の方法は、この
種のプログラム・オペレーションのユーザ・フレンドリ
性及び速度があまり満足し得るものでないという欠点が
ある。

【００１０】もう１つの既知の方法は、アプリケーショ
ン・プログラムのオペレーションに対する音声入力及び
マウス・ナビゲーションを組み合わせた使用法である。
その方法は、勿論、マウス操作に慣れていないユーザの
ためのものであるが、ハンディキャップを負ったユーザ
にとっては、音声入力はコンピュータ・システムへの情
報入力の唯一の方法であるけれども、それは今のところ
そのようなユーザにとって適用可能なものではない。

【００１１】

【発明が解決しようとする課題】従って、本発明の目的
は、グラフィカル・ユーザ・インターフェースにおい
て、音声コマンド入力によってのみ制御されるポインタ
のためのナビゲーション方法及び装置を提供することで
ある。

【００１２】

【課題を解決するための手段】この目的は、請求項１の
特徴及び請求項７の特徴によって解決される。本発明の
基本概念は、ポインタ装置に対する個別的な位置状態の
スペース（量子化）を与えることである。ポインタ装置
は、音声コマンド入力によりそれらの個別の位置を介し
てナビゲートされ得るだけである。特に、そのポインタ
のナビゲーションはそれぞれのアプリケーション・プロ
グラムに無関係である。

【００１３】本発明の第１実施例によれば、個々の位置
状態の細かさはそれぞれのアプリケーション・ウインド
ウに適合可能である。別の実施例では、音声コマンド入
力が絶対座標又は相対座標に基づいている座標系によっ
て表される。

【００１４】本発明の好適な実施例では、操作のグラフ
ィカル・ユーザ・インターフェースのコピー・イメージ
が実際のユーザ・インターフェースの手前に又は側に与
えられ、プロクシ・ポインタ装置がそのコピー・イメー
ジ上に表示される。従って、コピー・イメージだけが個
別の位置状態を含み、音声入力コマンドはそのコピー・
イメージにだけ転送される。そのコピーにおけるポイン
タ装置のナビゲーションは、実際のユーザ・インターフ
ェースにおけるそれぞれのコマンドに転送され、そして
変換される。従って、プロクシ・ポインタによって生じ
た操作事象は、実際のユーザ・インターフェースにおい
てそれぞれの操作を生じさせる。

【００１５】

【発明の実施の形態】本発明の２つの現実コンセプトが
図１に示される。左側には、独立した音声ナビゲーショ
ン・ツールが示され、右側には、宛先アプリケーション
のビューポートの直接的操作の方法が示される。

【００１６】宛先アプリケーションの直接プログラミン
グの第１の方法は、コンピュータ・キーボードにおける
矢印キーを作動するマクロを介した音声コマンドの生成
である。そのために、唯一の制限は、宛先アプリケーシ
ョンが矢印キーを介してポインタ・ナビゲーションをサ
ポートしなければならないことである。その実施方法の
利点はＶＴＤ−ＡＰＩコールを必要としないことであ
る。矢印キーの操作のためのそれぞれのマクロは一回だ
けは作成されなければならず、矢印キーもサポートする
他のアプリケーションに適用可能である。

【００１７】第２の方法は、アプリケーションの開発段
階においてＶＴＤ−ＡＰＩの助けにより所望の音声機能
を実施することである。それによって、新たなアプリケ
ーションの各実施は新たなプログラミング努力を必要と
する。従って、アプリケーションのソース・コードが利
用可能でなければならない。

【００１８】もう１つの方法は、宛先アプリケーション
のマクロ・プログラミングと適合プログラミングとの結
合である。すべての音声コマンドに対して、メニュー項
目又はボタンが作成される。

【００１９】独立した音声制御ナビゲーション・ツール
に関する第２のコンセプトに対して、次のような実施方
法が提供可能である。

【００２０】ナビゲーション・ツールの第１実施例で
は、そのナビゲーション・ツールは、宛先アプリケーシ
ョンのビューポートに直接に座標格子のようなナビゲー
ション援助ユーティリティを描く。マウス・ポインタは
直接に制御されるか又は透過に見られるであろう。マウ
ス・ポインタを使用しない場合、音声ナビゲーション時
にしか使用されない新たなポインタを生成することが適
している。

【００２１】第２実施例では、ナビゲーションツール
は、ナビゲーション・サポートのためのすべてのグラフ
ィック・エレメントを含む透過のウインドウとして宛先
アプリケーション上に重畳される。前述の実施例におけ
るように、マウス・ポインタ又はそのアプリケーション
に特有の新たなポインタが利用可能である。

【００２２】第３実施例では、ナビゲーション・ツール
は宛先アプリケーションのウインドウ内容のコピーを作
成し、それによって、任意の位置において任意のサイズ
でウインドウを表示することを可能にされる。そのウイ
ンドウ内には、そのアプリケーション特有の新たなポイ
ンタを設けることが可能である。そのポインタはそれぞ
れのナビゲーション・コマンドと同期して実時間で移動
可能であり、或いはそれは或選択された位置に、その選
択が完了した後、表示される。

【００２３】本発明の前述の実施例及び実施方法は、上
記のコンセプトを利用する他の実施例を当業者が見る限
りでは単に例示的なものであることに留意して欲しい。

【００２４】独立したツールの実施方法は、前述のアプ
リケーション特有の解決方法に比べて幾つかの利点を有
する。ナビゲーション・ツールは一度開発される必要が
あるだけであり、任意のアプリケーション・プログラム
に適用可能である。従って、それは、共通のマウス・ナ
ビゲーションの他に自立的代替解決法として使用可能で
ある。しかし、ＶＴＤ−ＡＰＩは絶対に必要である。

【００２５】図２は本発明によるポインタ・ナビゲーシ
ョン・ツールに対する代表的なスクリーン状況を示す。
スクリーンの左側には、アプリケーション・プログラム
の現在のページ１が示され、そこでは、マウス操作が想
定されている。スクリーンの右側には、本発明の音声ナ
ビゲーション・ツールを表す小さいウインドウ２が示さ
れる。このナビゲーション・ツールは、素早く且つユー
ザ・フレンドリに遂行し得る音声制御のコマンド入力を
通して、ユーザが左側におけるアプリケーション・プロ
グラムにおいてマウス位置をナビゲートすることを可能
にする。このナビゲーション・ツールは座標系３を含
み、そこでは、マウス・ポインタがその系の交点４にお
いてナビゲートされ得る。その座標系は矩形の座標格子
によって表される。その座標格子はｘ軸及びｙ軸におけ
る目盛より成る。音声ナビゲーション・ツール・ウイン
ドウの左下部分に示されたマウス・ポインタ５のナビゲ
ーションは、ナビゲーション・コマンドという手段が、
このナビゲーション・コマンドが音声によって、例え
ば、マイクロフォン及び図示のアプリケーションの背景
において実行される音声認識システムという手段によっ
て入力される相対座標又は絶対座標を定義するにより達
成される。この実施例では、その音声ナビゲーション・
ツールのウインドウはそれぞれのアプリケーション・プ
ログラムのウインドウの側に表示される。その音声ナビ
ゲーション・ツールのウインドウはそのアプリケーショ
ン・プログラムのページの一部分又は全ページを示す。
これは通常のウインドウ操作によって制御可能である。

【００２６】本発明の音声ナビゲーション・ツールを使
用することによるポインタ装置のナビゲーションは、ア
プリケーション・プログラムのウインドウにおけるポイ
ンタ装置の移動に変換される。音声ナビゲーション・ツ
ールにおいて示された座標格子の細かさはマウス・ポイ
ンタのそれぞれの予測された操作に適合可能である。
又、座標格子の存在を放棄することも可能である。音声
ナビゲーション・ツールの存在の修正はすべて音声入力
によって達成可能である。

【００２７】音声入力のないアプリケーションの一般的
な状況では、ユーザは、ＧＵＩのスクリーン上に描かれ
たそれぞれのアイコンにおけるマウス・ポインタのダブ
ル・クリックによってアプリケーション・プログラムを
呼び出す。そのプログラムを呼び出すと、ユーザは、一
般に、アプリケーション・プログラムのウインドウを移
動させるか、又はそのウインドウのサイズを変更する。
そこでユーザはポインタをメニュー・バーにおける項目
に移動し、更なるダブル・クリックによってメニュー項
目を選択する。ユーザは、ファイルをロードしたい場
合、表示されたウインドウ内のそれぞれのファイル名を
選択しなければならず、そして「ＯＫ」ボタン上でクリ
ックすることによってその選択を確認する。ファイルを
ロードした後、ユーザはそのファイルの画像の中に矩形
を入れたいものと仮定する。このために、ユーザはそれ
ぞれのアイコンを選択し、ウインドウにおける所望のロ
ケーションにポインタを配置する。その矩形はマウス・
ボタンが押し下げられている間拡大され、そして所望の
サイズ及び位置が得られた時、マウス・ボタンは解放さ
れる。

【００２８】上記のプロシージャは種々の種類のアクシ
ョンを含んでいる。入力装置としてポインタ（例えば、
コンピュータ・マウス）を使用することによって或いは
キーボードを使用することによってユーザにより遂行さ
れるこれらのアクションは、音声制御に関する次のよう
な５つのクラスのアクションに分割可能である。 １．アプリケーション・ウインドウの外観に関するアク
ション； ２．キーボードによる英数字記号の入力； ３．アクション又はアプリケーション・プログラムの呼
出； ４．対話ウインドウに対する反作用； ５．アプリケーションのビューポート内でのポインタの
ナビゲーション

【００２９】これらのアクションに対して、キーボード
又はマウスの使用は非常に類似しているけれども、それ
ぞれの音声コマンドは相互に大変異なっている。ウイン
ドウ及びアプリケーション（クラス１）の操作に関する
アクション（コマンド）は既に音声型口述システム（Ｖ
ＴＤ）によってサポートされている。しかし、ＶＴＤの
それぞれの機能はユーザ・フレンドリではなく、マウス
制御と同等のパフォーマンスを得るためには長時間のト
レーニング・フェーズを必要とする。従って、その既存
の機能は、ハンディキャップを負った人のような別の解
決法を必要とするユーザにとっては単なる関心事に過ぎ
ない。

【００３０】現在のところ未解決の問題は、例えば、ア
プリケーション・プログラムのビューポートにおける、
或いはＩＢＭ ＯＳ／２のプレゼンテーション・マネー
ジャのようなオペレーティング・システムのＧＵＩにお
けるポインタ装置の位置決めである。更に詳しく云え
ば、ユーザは、アプリケーション・プログラム又はオペ
レーティング・システムが定義し得ないアプリケーショ
ン・ウインドウにおける任意のポイントの選択に関心が
ある。

【００３１】音声コマンドのみによる格子量子化を含む
宛先ウインドウにおいてポインタをナビゲートするため
の種々の方法が図３乃至図８に示される。ポインタ（カ
ーソル）を位置決めするための第１の方法は、方向毎の
コマンド、例えば、固定長アップ、固定長ダウン、又は
固定長左である（図３）。固定長は、十分に正確にカー
ソルを移動させるために必要な解決法を与えるために
は、十分に精細でなればならない。例えば、テキストを
入力するためのエディタ・ウインドウでは、最小長は１
カーソル位置である。グラフィックス・アプリケーショ
ン・プログラムではそれと対照的に、最小長は約０.５
−２mm である。

【００３２】方向性のコマンドが前置詞「ｔｏｗａｒｄ
ｓ」と結合される場合、ポインタは発声された方向に関
してビューポートの境界に位置決めされる。ポインタを
連続的に移動させる「ｕｐｗａｒｄｓ」又は「ｄｏｗｎ
ｗａｒｄｓ」のような更なるコマンドが与えられる。コ
マンド「ｓｔｏｐ」が発声される場合、ポインタは所望
の方向に一定の速度で移動する。

【００３３】グラフィカル・アプリケーション・プログ
ラムの場合、ポインタの許容し得るスペースの量子化を
表す格子は最小長を見るには望ましい。ＶＴＤにおける
エディタのようなワード・プロセッサの場合、最小長を
記号によって表すことが可能である。

【００３４】カーソルの移動速度を改良するために、図
４による実施例では、格子の細かさは、予測される移動
長に関してユーザにより適応可能である。その仮想格子
の格子距離は測定可能なものであり、「最小長ｘ（ｍｉ
ｎｉｍｕｍ ｌｅｎｇｔｈｘ）」又は「二倍の細かさ
（ｄｏｕｂｌｅ ｇｒａｎｕｌａｒｉｔｙ）」のような
音声コマンドによって調整可能である。簡単な方向性コ
マンドが、所望の方向における最小長に従ってポインタ
の移動を生じさせる。

【００３５】格子の一定の細かさのままで移動速度を改
良する別の実施例が図５に示される。そこでは、「右へ
ｘステップ（ｘ ｓｔｅｐｓ ｒｉｇｈｔ）」のような
特定のコマンドによって更に高い速度が得られる。即
ち、１つのコマンドのみによって複数の連続したステッ
プがカバーされる。

【００３６】前述の実施例は相対座標に基づく移動に関
するものであり、一方、図６に示された次のような実施
例は絶対座標に基づいている。これによって、座標系
（格子）はアプリケーションのビューポートの上に重畳
され、ポインタの現在位置はそれのそれぞれのｘ、ｙ座
標によって表わされる。上記方法におけるように、格子
の最小長は、それぞれのアプリケーションに特に依存し
たセンシティブな量である。この方法は一定の速度でポ
インタを位置決めすることを可能にする。特に、その速
度は、ユーザが座標をそれぞれの格子点に速く割り当て
る能力に依存する。従って、大した苦労もなくそれを達
成するにためには、十分に大きい最小長を選択すること
が有効である。

【００３７】図７には、ビューポートが複数のセクショ
ン、即ち、各々が同じサイズの象限に細分割される更な
る実施例が示される。上述の実施例とは対照的に、宛先
ポイントは格子の交点ではなく、それらのセクションの
それぞれの中心である。従って、指定されたカーソル位
置は、選択されたセクタが同じ数のセクションによって
与えられ、従って、既知のズーム操作のように所望の位
置までの移動を可能にするという複数の連続ステップに
よって得られる。その実施例の特有の利点は、ユーザが
如何なる調節も必要とすることなく任意の精度でもって
ポインタを位置決めできることである。

【００３８】図６におけるように、上記の実施例は絶対
座標によっても使用可能である。これは図８に示され、
そこでは、象限「１１」がズーミングのために選択され
る。絶対座量の場合、位置変化はポインタの現在位置に
依存しない。ポインタの現在位置と宛先位置との間に大
きな距離がある場合、ユーザはその距離を見積もる必要
がないのでこの実施例が望ましい。

【００３９】本発明は、ポインタ・ナビゲーションの他
の既知の技法、特に、ペン・ベースのコンピューティン
グ、タッチ・スクリーン、レーザ・ポインタ、又はデー
タグローブの使用と組み合わせても遂行可能であること
は強調できる点である。特に、音声及びタッチ・スクリ
ーンの組合せはキオスク情報システムの分野では特に関
心のあるものである。

【００４０】次に、図９を参照して、本発明の音声ナビ
ゲーション・ツールの機能的特徴を更に詳細に検討する
ことにする。そのナビゲーション・ツールを開始する
と、最初の必要なステップは、それぞれのウインドウを
識別するためにターゲット・ウインドウを選択すること
であり、それは次のような３つの操作ステップによって
達成され得る。 １．選択はマウス又はタッチ・スクリーンのような物理
的入力媒体によって達成可能である。 ２．ターゲット・ウインドウは音声コマンドの助けによ
って選択可能である。その場合、それぞれのウインドウ
の名前が定義されているものと仮定して、その名前がシ
ステムに入れられる。 ３．音声ナビゲーション・ツールを反復的に呼び出すこ
とによる選択。これによって、ターゲット・ウインドウ
はスクリーン全体によって表される。ユーザは音声入力
毎にポインタをターゲット・アプリケーション上に位置
決めしなければならず、音声作動されたマウス・クリッ
クによってそのアプリケーションを選択する。この後、
アプリケーション・プログラムは反復ループから戻り、
ターゲット・ウインドウ・セクションにおいて作業す
る。

【００４１】それぞれのオペレーティング・システムに
特有のそれぞれのターゲット・アプリケーションの識別
の決定及びターゲット・ウインドウの大きさ及びプレゼ
ンテーション座標を決定するための識別の決定は、それ
ぞれのオペレーティング・システムに特有のそれぞれの
アプリケーション・プログラム・インターフェース・コ
ールによって得られる。ターゲット・ウインドウから音
声ナビゲーション・ツール・ウインドウに表示スペース
のコピーを転送するために、及びターゲット・ウインド
ウの表示スペースを直接に操作するために、ＯＳ／２の
下でのその表示スペースはこのスクリーン・サービスに
おいて表示されたアプリケーションのウインドウ内容を
含む記憶領域によって定義される。

【００４２】表示された座標格子に関して、それの表示
は、事前調整されたカラー値によって、その座標格子の
目盛に対するライン幅を修正することができる。その音
声ナビゲーション・ツールは、例えば、ポインタの実際
の位置をＸ−Ｙ座標値として示すステータス・ウインド
ウを与える。それらのパラメータがステータス・ウイン
ドウに示されない場合、可能な修正が表示されるこの位
置において新たなウインドウがオープンされなければな
らない。考え得るパラメータは、（上記のパラメータを
除いて）次のようなものである。 − ターゲット・ウインドウ内容に対する拡大係数； − 例えば、全スクリーン表示、ターゲット・ウインド
ウの手前の表示、又はターゲット・ウインドウの側の表
示としてのナビゲーション・ツールのウインドウの自動
位置決め； − ユーザ・インターフェースのサービスにおいて音声
ナビゲーション・ツール・ウインドウを新たな位置に配
置するための音声ナビゲーション・ツールの反復呼出； − 座標システムのオン／オフ切替； − 座標格子のオン／オフ切替； − それぞれのナビゲーション方法の選択。

【００４３】ソフトウエア・プログラムとしての本発明
の例示的実施を、擬似コードとして与えられる以下のよ
うなプログラム・スキームに関して説明することにす
る。 snt(window_handle, representation_mode) /* ナビゲーションが生じるアプリケーションのウインドウ処理 */ /* ナビゲーション・モード: OVERLAY | EXTRA_WINDOW */ { snt_window_displayed = FALSE; repeat { get_speech_command(&speech_command) /* ブロッキング */ if ( snt_window_displayed == FALSE ) { /* 新しいアプリケーション・ウインドウをグラブ及び表示する */ get_window_size(&x_size, &y_size); get_window_bitmap(&window_bitmap); add_grid(&window_bitmap, grid_parameter, x_size, y_size); if ( representation_mode == OVERLAY ) { display_snt_overlay_window(window_handle, window_bitmap); } else { display_snt_separate_window(window_bitmap); } snt_window_displayed = TRUE; snt_mouse_x = 0; snt_mouse_y = 0; display_snt_mouse(); /* マウス位置をユーザに示す */ } /* endif */ if ( speech_command == MOUSE_POSITIONING_COMMAND ) { switch_speech_command { case RIGHT(x): snt_mouse_x += x; break; case UP(y): snt_mouse_y += y; break; case POS(x, y): snt_mouse_x = x; snt_mouse_y = y; break; ... case BOTTOM_LEFT: snt_mouse_x = 0; snt_mouse_y = 0; } /* 終了スイッチ */ display_snt_mouse(); } /* endif */ if ( speech_command == GRID COMMAND ) { add_grid(window_bitmap, new_grid_parameter, x_size, y_size); } /* endif */ if ( speech_command == MOUSE_CLICK_COMMAND ) { switch_speech_command { case LEFT_MOUSE_CLICK: send_mouse_event(window_handle, snt_mouse_x, snt_mouse_y, event) } /* 終了スイッチ */ break; ... } /* 終了スイッチ */ /* マウス・クリックはプログラム実行を導く */ /* ｓｎｔウインドウを除去してアプリケーショ */ /* ン・ウインドウのリフレッシュを可能にする */ remove_snt_window(); snt_window_displayed = FALSE; } /* endif */ } until ( speech_command == STOP_SNT ) } /* ｓｎｔプログラムを終了する */

【００４４】そのルーチンを通して、座標格子がアプリ
ケーション・ウインドウに重畳され、ポインタに対する
許容し得る領域のそれぞれの量子化が与えられる。ポイ
ンタは図３乃至図８に関連して前述したコマンドに従っ
て移動可能である。

【００４５】本発明の好適な実施例が図１０に示され
る。この実施例では、音声ナビゲーション・ツール・ウ
インドウ１０がアプリケーション・ウインドウ（図示さ
れていない）を完全にカバーする。従って、この第２の
方法は、音声ナビゲーション・ツールをアプリケーショ
ン・プログラムに完全に統合することをユーザに提案す
る。ユーザは表示された座標格子１１に基づいて音声コ
マンドによりマウス・ポインタをナビゲートする。その
結果生じるポインタのナビゲーションは、そのナビゲー
ション・ツールの座標格子におけるポインタ記号１２の
移動によって連続的に表示される。アプリケーション・
プログラムの出力ウインドウの側に音声ナビゲーション
・ツールの出力ウインドウを表示する場合、ナビゲーシ
ョン・ツールにおけるマウス・ポインタ・ナビゲーショ
ンはアプリケーション・プログラム・ウインドウにおけ
るマウス・ポインタの同じ移動を生じさせる。

【００４６】音声ナビゲーション・ツールは以下のよう
なナビゲーション方法をサポートする。 − 絶対座標、例えば、'１５,７'（この場合、第１数
字はＸ座標を指定し、第２座標はＹ座標を指定する）を
入れる； − マウス・ポインタの実際の入力位置に関連する座標
値、例えば、'３より上,７より下'を入れる； − '中央'、'右端'、又は'左下'のような格子の特定の
ポイントを入れる。

【００４７】マウス・ポインタの位置決めの後、マウス
・キーの操作は、以下のような操作ステップがサポート
される音声入力によって達成される。 − それぞれのマウス・キーの参照符、例えば、'左ク
リック,右クリック'によるシングル・クリック又はダブ
ル・クリック； − マウス・キーのキー・ストローク、例えば、'左押
下,右解放' − 左及び右マウス・キーの同時作動、例えば、'左・
右クリック'

【００４８】音声ナビゲーション・ツールを介した音声
入力によって制御されるマウス操作は、基本のアプリケ
ーション・プログラムにおけるそれぞれのマウス操作事
象を生じさせ、アプリケーション・ウインドウにおける
マウス・ポインタの実際の入力位置におけるマウスの物
理的操作と同じ効果を有する。アプリケーション・プロ
グラムの操作の結果は、音声ナビゲーション・ツール・
ウインドウにおけるアプリケーション・ウインドウの新
しいコピーとして適切に可視的である。ナビゲーション
・ツールの機能が最早必要ない時、音声ナビゲーション
・ツールはそれぞれの音声入力コマンドによって終了さ
せられる。

【００４９】操作されるべきアプリケーション・プログ
ラムの特定の要件に関しては、ナビゲーション・ツール
の数多くのパラメータが音声入力によって指定可能であ
る。例えば、座標格子の細かさは、アプリケーション・
プログラム・ウインドウにおけるマウス・ポインタの位
置決めに対する照準精度を最適化するために調整可能で
ある。以下のパラメータは音声ナビゲーション・ツール
の実行時にも修正可能である。 − 座標目盛のラベル − 座標格子の細かさ − 座標格子の表示又は無表示 − 座標格子のカラー又はグレー・スケール − アプリケーション・プログラム・ウインドウのそれ
ぞれの部分切取り − アプリケーション・プログラム・ウインドウの表示
された部分切取りの拡大係数

【００５０】音声認識の分野では知られているように、
一般に、制御コマンドの発声ワード・シーケンスへの割
当を、音声ナビゲーション・ツールがユーザ特有に調整
することは可能である。

【００５１】まとめとして、本発明の構成に関して以下
の事項を開示する。

【００５２】（１）グラフィカル・ユーザ・インターフ
ェースにおけるポインタの音声サポートされたナビゲー
ションのための方法にして、前記ユーザ・インターフェ
ースにおけるポインタに対する個別の位置状態を与える
ステップと、前記位置状態に関して、音声コマンドによ
って前記ポインタをナビゲートするステップと、を含む
ことを特徴とする方法。 （２）前記位置状態の細かさがスケーリング可能である
ことを特徴とする上記（１）に記載の方法。 （３）前記位置状態は、絶対座標又は相対座標に基づい
て前記音声コマンドにより前記ポインタをナビゲートす
る座標システムによって表されることを特徴とする上記
（１又は上記（２）に記載の方法。 （４）前記位置状態は、固有の格子位置における前記音
声コマンドによって前記ポインタをナビゲートする座標
格子によって表されることを特徴とする上記（３）に記
載の方法。 （５）前記ポインタの現在の位置状態を表す可視的座標
格子を与えるグラフィカル・ユーザ・インターフェース
のコピーを前記ユーザ・インターフェースにおいて表示
することを特徴とする上記（４）に記載の方法。 （６）前記グラフィカル・ユーザ・インターフェースの
コピーを前記ユーザ・インターフェースの手前又は側に
表示することを特徴とする上記（５）に記載の方法。 （７）グラフィカル・ユーザ・インターフェースにおけ
るポインタの音声制御ナビゲーションのための装置にし
て、前記ポインタに対する個別の位置状態を与える前記
グラフィカル・ユーザ・インターフェースのコピーを生
成するための手段と、前記グラフィカル・ユーザ・イン
ターフェースにおけるポインタの現在の位置状態を表す
プロクシ・ポインタを生成するための手段と、前記コピ
ーを前記プロクシ・ポインタと共に表示するための手段
と、前記位置状態に関して音声コマンドによって前記プ
ロクシ・ポインタをナビゲートするための手段と、前記
プロクシ・ポインタのナビゲーションに関して前記位置
状態を制御するための手段と、を含む装置。 （８）前記プロクシ・ポインタによって生じたそれぞれ
の操作に関して、前記グラフィカル・ユーザ・インター
フェースにおける操作事象を生成するための手段を具備
したことを特徴とする上記（７）に記載の装置。 （９）前記グラフィカル・ユーザ・インターフェースに
おける操作事象を前記コピーにおいて直接に表示するた
めの手段を具備したことを特徴とする上記（８）に記載
の装置。 （１０）前記コピー内に座標格子を表示するための手段
を具備したことを特徴とする上記（７）乃至（９）の１
つに記載の装置。 （１１）前記グラフィカル・ユーザ・インターフェース
のサイズに関して前記座標格子をスケーリングするため
の手段を具備したことを特徴とする上記（１０）に記載
の装置。 （１２）前記座標格子の交点を介して前記プロクシ・ポ
インタをナビゲートするための手段を具備したことを特
徴とする上記（１０）又は（１１）に記載の装置。

【００５３】

【発明の効果】本発明によって、グラフィカル・ユーザ
・インターフェースにおいて、音声コマンド入力によっ
てのみ制御されるポインタのためのナビゲーション方法
及び装置が得られる。

【図面の簡単な説明】

【図１】本発明による音声制御ポインタ・ナビゲーショ
ンの概念的構造を示す概略図である。

【図２】それぞれのアプリケーション・ウインドウのコ
ピーがそのアプリケーション・ウインドウのそばに表示
される場合の本発明の第１実施例を示す。

【図３】座標格子上でのポインタの音声制御ナビゲーシ
ョンの実施例の１つを示す。

【図４】座標格子上でのポインタの音声制御ナビゲーシ
ョンの実施例の１つを示す。

【図５】座標格子上でのポインタの音声制御ナビゲーシ
ョンの実施例の１つを示す。

【図６】座標格子上でのポインタの音声制御ナビゲーシ
ョンの実施例の１つを示す。

【図７】座標格子上でのポインタの音声制御ナビゲーシ
ョンの実施例の１つを示す。

【図８】座標格子上でのポインタの音声制御ナビゲーシ
ョンの実施例の１つを示す。

【図９】本発明のナビゲーション・ツールの機能を示す
フローチャートである。

【図１０】アプリケーション・ウインドウのコピーがそ
のアプリケーション・ウインドウの前に表示される場合
の図１に従った本発明の第２実施例を示す。

【符号の説明】

１ 現在のページ ２ ウインドウ ３ 座標系 ４ 交点 ５ マウス・ポインタ

フロントページの続き (72)発明者 ビクトル・シュワブ ドイツ国フォルツハイム、ステッティナ ー・ストラッセ ５

Claims (12)

【特許請求の範囲】
1. 【請求項１】グラフィカル・ユーザ・インターフェース
   におけるポインタの音声サポートされたナビゲーション
   のための方法にして、 前記ユーザ・インターフェースにおけるポインタに対す
   る個別の位置状態を与えるステップと、 前記位置状態に関して、音声コマンドによって前記ポイ
   ンタをナビゲートするステップと、 を含むことを特徴とする方法。
2. 【請求項２】前記位置状態の細かさがスケーリング可能
   であることを特徴とする請求項１に記載の方法。
3. 【請求項３】前記位置状態は、絶対座標又は相対座標に
   基づいて前記音声コマンドにより前記ポインタをナビゲ
   ートする座標システムによって表されることを特徴とす
   る請求項１又は請求項２に記載の方法。
4. 【請求項４】前記位置状態は、固有の格子位置における
   前記音声コマンドによって前記ポインタをナビゲートす
   る座標格子によって表されることを特徴とする請求項３
   に記載の方法。
5. 【請求項５】前記ポインタの現在の位置状態を表す可視
   的座標格子を与えるグラフィカル・ユーザ・インターフ
   ェースのコピーを前記ユーザ・インターフェースにおい
   て表示することを特徴とする請求項４に記載の方法。
6. 【請求項６】前記グラフィカル・ユーザ・インターフェ
   ースのコピーを前記ユーザ・インターフェースの手前又
   は側に表示することを特徴とする請求項５に記載の方
   法。
7. 【請求項７】グラフィカル・ユーザ・インターフェース
   におけるポインタの音声制御ナビゲーションのための装
   置にして、 前記ポインタに対する個別の位置状態を与える前記グラ
   フィカル・ユーザ・インターフェースのコピーを生成す
   るための手段と、 前記グラフィカル・ユーザ・インターフェースにおける
   ポインタの現在の位置状態を表すプロクシ・ポインタを
   生成するための手段と、 前記コピーを前記プロクシ・ポインタと共に表示するた
   めの手段と、 前記位置状態に関して音声コマンドによって前記プロク
   シ・ポインタをナビゲートするための手段と、 前記プロクシ・ポインタのナビゲーションに関して前記
   位置状態を制御するための手段と、 を含む装置。
8. 【請求項８】前記プロクシ・ポインタによって生じたそ
   れぞれの操作に関して、前記グラフィカル・ユーザ・イ
   ンターフェースにおける操作事象を生成するための手段
   を具備したことを特徴とする請求項７に記載の装置。
9. 【請求項９】前記グラフィカル・ユーザ・インターフェ
   ースにおける操作事象を前記コピーにおいて直接に表示
   するための手段を具備したことを特徴とする請求項８に
   記載の装置。
10. 【請求項１０】前記コピー内に座標格子を表示するため
    の手段を具備したことを特徴とする請求項７乃至請求項
    ９の１つに記載の装置。
11. 【請求項１１】前記グラフィカル・ユーザ・インターフ
    ェースのサイズに関して前記座標格子をスケーリングす
    るための手段を具備したことを特徴とする請求項１０に
    記載の装置。
12. 【請求項１２】前記座標格子の交点を介して前記プロク
    シ・ポインタをナビゲートするための手段を具備したこ
    とを特徴とする請求項１０又は請求項１１に記載の装
    置。