JPH0363089B2 - - Google Patents

Description

【発明の詳細な説明】 発明の背景 発明の分野 この発明は一般的には、コンピユータにおける
データ入力および操作のための装置の分野に関
し、より特定的には、オペレータの手の仕草およ
び位置に基づいてコンピユータにデータを入力し
かつコンピユータによつて規定された仮想目標を
操作するための装置および方法に関する。

先行技術の説明 コンピユータのための入力装置は、キーボー
ド、デイジタイザ、ジヨイステイツク、マウス、
トラツクボールおよびライトペンなどのような装
置を含んでいる。これらの入力装置の１つの機能
は、コンピユータのデイスプレイスクリーン上で
カーソルを２次元で位置決めすることである。こ
のカーソルが一旦所望の位置に位置決めされる
と、コンピユータはオペレーシヨンを実行するよ
うに命じられる。カーソル位置決めおよびオペレ
ーシヨン選択のプロセスは、各オペレーシヨンを
実行するために別々の動作が要求されるので、個
別的なオペレーシヨンである。たとえば、マウス
を用いれば、表面に沿つてマウスを移動させるこ
とによつてカーソル位置決めが実行される一方
で、オペレーシヨン選択は、マウスまたは独立し
たキーボードのいずれかの上に配置されたキーを
押すことによつて実行される。装置を作動させる
ために要求される手の動きはコンピユータのデイ
スプレイスクリーンによつて与えられる視覚的な
フイードバツクに対応していないので、そのよう
な入力装置のオペレーシヨンをマスタすることは
しばしば困難である。

データをコンピユータに入力するためにグロー
ブ入力装置（glove input device）が用いられて
いる。G.Grimesに対して1983年11月８日に発行
されかつ“デイジタルデータ入力グローブインタ
ーフエイス（Digital Data Entry Glove
Interface）”と題された米国特許第4414537号は、
そのようなグローブ入力装置について説明してい
る。Grimesの特許は、指の関節の曲げを検出す
るセンサ、手の種々の部分間の接触を検出するセ
ンサおよび手の配向を検出するセンサを備えたグ
ローブを開示している。Grimesの装置は、英数
字の指話文字を表わす静的な手の位置の確認に適
している。

発明の概要 描かれた好ましい実施例に従うと、この発明
は、オペレータの手の仕草および位置に従つてコ
ンピユータによつて規定された仮想目標を操作す
る装置および方法を提供している。そのような操
作は、オペレータの手の動きを特定するある位置
に従つてコンピユータによつて規定された仮想目
標に対してカーソルまたはオペレータの手の他の
表示を位置決めすること、およびオペレータの手
の動きを特定するある仕草に従つてこれらの仮想
目標上で動作させることを含んでいる。この発明
は、手に結合されて手の動きを特定する仕草を検
出する仕草感知手段と、少なくとも一部分におい
て手に結合されて手の動きを特定する位置を検出
する手の位置感知手段と、仕草感知手段および手
の位置感知手段からデータを受取りかつオペレー
タの手の動きに従つて仮想目標を操作するように
コンピユータに命じるようにされた信号処理手段
とを含んでいる。

この発明の一実施例において、仕草感知手段
は、オペレータの手の指の曲げの程度に応答する
センサが取付けられたグローブアセンブリを含ん
でいる。これらの曲げセンサは、可撓性のプリン
ト回路基板上に装着されかつ内部および外部グロ
ーブ間に挾まれる。センサをアドレスするデコー
デイング回路もまた、可撓性のプリント回路基板
上に装着され、さらに可撓性のプリント回路基板
を介してセンサへおよび取外し可能なケーブルを
介してコンピユータへ電気的に結合されている。
手の位置感知手段は、グローブアセンブリに取付
けられた可動超音波トランスミツタと、３つの
別々の一定間隔離れて配置された超音波受信ユニ
ツトを含む静止レシーバと、トランスミツタから
３つのレシーバへのパルス化された超音波信号の
遅延時間を測定してオペレータの手の空間的な位
置を示す制御回路とを含んでいる。信号処理手段
は、ソフトウエアで具体化され、さらにオペレー
タの手の位置に従つてコンピユータのデイスプレ
イスクリーン上で手の形状のカーソルを位置決め
し、曲げセンサの出力信号に応答してオペレータ
の手の仕草を確認し、かつオペレータの手の仕草
および動きによつて表わされるコマンドに従つて
コンピユータによつて規定される仮想目標を操作
するルーチンを含んでいる。

この発明は、オペレータの手の静的なおよび動
的な仕草および手の空間的な位置を判断すること
ができるコンピユータデータ入力および操作装置
と方法とを含んでいる。入力装置として、この発
明は特に、グローブの形状に対応しかつ空間にお
けるグローブの動きに応答してスクリーン上を移
動するダイナミツクカーソルを有する図式または
記号プログラミング言語への使用に適している。
この発明は、オペレータの手の物理的な仕草が、
コンピユータのデイスプレイスクリーン上に表示
される仮想目標上の概念的に類似したおよび容易
に認識可能な機能またはオペレーシヨンを実現す
るために用いられるような記号プログラミング言
語のためのベースを提供している。

明細書において説明された特徴および利点は必
ずしもすべてを含んでいるとは限らず、特に、図
面、明細書および特許請求の範囲を考慮すると多
くの付加的な特徴および利点は当業者にとつて明
白であろう。さらに、明細書に用いられた用語は
読みやすくするためおよび教示する目的で主に選
択されており、この発明の主題の輪郭を描きまた
は制限し、そのような発明の主題を必然的に決定
している特許請求の範囲を主張するために選択さ
れているものではないということに注意すべきで
ある。

好ましい実施例の詳細な説明 図面の第１図ないし第１３図は、例示のみの目
的でこの発明の種々の好ましい実施例を描いてい
る。当業者は、以下の議論から、ここに説明され
た構成および方法の他の実施例がここに説明され
た発明の原理から離れることなく用いられるとい
うことを容易に認識するであろう。

第１図において、この発明の好ましい実施例
が、その予定された使用の態様において、すなわ
ちコンピユータデータ入力および操作装置１０と
して描かれている。この装置１０は、コンピユー
タ１６に電気的に結合されたインターフエイス回
路１４にさらに電気的に結合されたグローブアセ
ンブリ１２と、インターフエイス回路１４に電気
的に結合された位置感知レシーバアセンブリ１８
と、コンピユータ１６によつて実行されるソフト
ウエアとを含んでいる。このグローブアセンブリ
１２は、オペレータの指の曲げおよび他の手の仕
草を検出するセンサを含んでおり、さらにグロー
ブアセンブリ１２の空間的な位置を検出するため
に用いられる超音波トランスデユーサ１７をも含
んでいる。位置感知レシーバアセンブリ１８は、
好ましくはコンピユータ１６のモニタ２２の頂部
を横切りかつ一方の側部を下に延びていくＬ字形
状のフレーム２０を含んでいる。３つの超音波ト
ランスデユーサ２４は、フレーム２０の角および
両端に配置されておりかつオペレータと向い合つ
ている。

動作において、グローブアセンブリ１２は、オ
ペレータの手の上に着用され、さらにコンピユー
タ１６のデイスプレイスクリーン２８上にカーソ
ル２６またはグローブアセンブリの他の表示を位
置決めするために用いられる。グローブアセンブ
リ１２の空間的な位置は、グローブアセンブリの
トランスデユーサ１７を介して超音波信号を伝送
し、位置感知レシーバアセンブリ１８のトランス
デユーサ２４によつてその信号を受信し、かつ伝
送トランスデユーサ１７から受信トランスデユー
サ２４の各々への信号の遅延時間を測定すること
によつて判断される。装置１０のソフトウエア部
分は、遅延時間データを直交座標に変換し、それ
に応じてデイスプレイスクリーン２８上にカーソ
ル２６を表示するようにコンピユータ１６に命令
する。したがつて、デイスプレイスクリーン２８
の平面に平行な平面におけるグローブアセンブリ
１２による動きは、カーソル２６による対応する
動きをもたらしている。デイスプレイスクリーン
２８に向うおよびデイスプレイスクリーン２８か
ら離れるグローブアセンブリ１２による動きは、
カーソル２６のサイズを変えることによつて表わ
され得る。

グローブアセンブリ１２はまた、コンピユータ
１６にコマンドを入力するために用いられる。以
下に詳細に説明されるように、グローブアセンブ
リ１２は、オペレータの手の仕草に応答するいく
つかのセンサを含んでいる。装置１０のソフトウ
エア部分は、グローブアセンブリ１２のセンサか
ら仕草を示すデータを受取りかつ解釈し、さらに
認識された仕草に従つてコンピユータ１６にコマ
ンドを入力する。これらのコマンドは、コンピユ
ータ１６によつて作り出されかつデイスプレイス
クリーン２８上に表示された仮想目標の操作に関
連している。

第２図、第３図、第４図、第５図および第６図
において、グローブアセンブリ１２の好ましい実
施例が描かれている。第５図に示された、内部グ
ローブに取付けられた回路を保護する外部グロー
ブ３０は、装置をよりはつきりと描くために、第
２図、第３図、第４図および第６図には示されて
いない。グローブアセンブリ１２の構成部分は、
内部グローブ３２に接着されまたは他の方法で固
定され、この内部グローブ３２はオペレーシヨン
期間中にオペレータの手の上に着用される。描か
れた実施例において、グローブアセンブリのセン
サおよび電気的構成要素は、可撓性のプリント回
路基板３４にはんだ付けされかつ可撓性のプリン
ト回路基板３４によつて電気的に相互接続され、
この基板３４はそれ自体内部グローブ３２に接着
されまたは他の方法で固定されている。可撓性の
プリント回路基板３４は、各指の背面に沿つて配
置されかつ手の背面に沿つて配置された中央部分
３８から延びる５つの細長い部分３６を含んでい
る。好ましくは、内部グローブ３２は、様々な大
きさの手に適応しかつ使用中の良好な密着を維持
する伸縮自在に編まれたナイロンのような材料か
ら構成されている。外部グローブ３０は、グロー
ブアセンブリ１２の構成要素を覆いかつ保護し、
グローブアセンブリの美しさを改善している。好
ましくは、外部のグローブ３０は、木綿のような
軽く丈夫な材料から形成されている。

グローブアセンブリ１２は、５つの曲げセンサ
４０を含んでおり、その各々は１本の指の中央の
関節に向い合つて内部グローブ３２の背面上に配
置されている。曲げセンサ４０は好ましくは、各
指の曲げの程度をアナログ的に表わす信号を与え
るタイプのものである。第５図および第６図に示
されているように、曲げセンサ４０は、その一端
に光源４４を備えかつその他端に感光性検出器４
６を備えた内部反射性壁を有する可撓管４２を含
んでいる。光源４４は好ましくは赤外線発光ダイ
オードであり、感光性検出器４８は好ましくはフ
オトトランジスタである。可撓管４２は、可撓性
のプリント回路基板３４に接着されまたは他の方
法で固定され、光源４４および感光性検出器４６
の電気的導線は、可撓性のプリント回路基板の適
当な導電性プレースにはんだ付けされる。感光性
検出器４６上に衝突する光の量および感光性検出
器を介して流れる対応する電流の量は、可撓管４
２の曲げの大きさに依存している。第５図に示さ
れるように指が延ばされたときに、可撓管４２は
一般に真直ぐになりかつ光源４４からの最大量の
光が感光性検出器４６上に衝突する。第６図に示
されるように指が曲がつた位置まで曲げられると
きに、可撓管４２の中央はほとんど締付けられ、
これは感光性検出器４６は伝送される光の量を制
限している。したがつて、曲げセンサ４０は、オ
ペレータの指の曲げを示すアナログ信号を与えて
いる。

グローブアセンブリ１２はケーブル５２を介し
てインターフエイス回路１４に電気的に接続さ
れ、ケーブル５２は好ましくはコネクタ５４によ
つて可撓性のプリント回路基板３４に着脱自在に
装着された平坦なリボンケーブルである。このケ
ーブル５２はまた、グローブアセンブリ１２の構
成要素に電力および接地信号を供給する。

上述のように、グローブアセンブリ１２は、グ
ローブアセンブリの空間的な位置を決定するため
に用いられる超音波信号を伝速する超音波トラン
スデユーサ１７を含んでいる。この超音波トラン
スデユーサ１７は、可撓性のプリント回路基板３
４の中央部分領域３８における適当な導電性トレ
ースにはんだ付けされ、さらにケーブル５２を介
してインターフエイス電子回路１４に電気的に接
続されている。好ましくは、超音波トランスデユ
ーサ１７をドライブするためのトランスおよびト
ランジスタを含む構成要素５５がまた、グローブ
アセンブリ１２に含まれかつ可撓性プリント回路
基板３４に装着されている。オペレータの手によ
つて起こりうる超音波信号の遮りを防ぐために、
３つの可撓性伝送管５６，５８および６０は、超
音波信号をグローブアセンブリの異なる部分に導
くために利用されている。伝送管５６および５８
は超音波トランスデユーサ１７からグローブアセ
ンブリの人指し指に向つて延びており、伝送管５
６は指の付根で終わつており伝送管５８は指の先
端近くまで延びている。伝送管６０は第４図に示
されるようにグローブアセンブリの側部を取り巻
いて超音波トランスデユーサ１７から延びてい
る。伝送管の各々は、超音波トランスデユーサ１
７によつて伝送された超音波信号を伝えかつこれ
らの信号を開放された端部から外へ放射する。伝
送管は、手の仕草が超音波信号の位置感知レシー
バアセンブリ１８への伝送を妨げないことを保証
している。たとえば、オペレータの人指し指が、
第５図に示されるようにデイスプレイスクリーン
２８を指しているときに、伝送管５８の一端から
放射されている超音波信号は受信トランスデユー
サ２４に到達するであろう。オペレータの人指し
指が、第６図に示されているように下方に曲げら
れるときに、伝送管５６の一端から放射されてい
る超音波信号は受信トランスデユーサ２４に到達
するであろう。手の平をデイスプレイスクリーン
２８に向けながらオペレータの手が位置決めされ
たときに、伝送管６０の一端から放射される超音
波信号は受信トランスデユーサ２４に到達するで
あろう。

第７図、第８図および第９図に描かれたような
より広範囲に構成される他のグローブアセンブリ
８０は、仕草の確認のための付加的なデータを提
供している。グローブアセンブリ８０の可撓性プ
リント回路基板および種々の電子構成要素は、明
白にするために示されてはいないが、もちろん含
まれていてもよい。グローブアセンブリ８０は各
指に対する２つの曲げセンサ８０と、親指と人指
し指との間の曲げセンサ８４と、人指し指と中指
との間の曲げセンサ８６と、手の平を横切る曲げ
センサ８８とを含み、これらはすべて内部グロー
ブ９０に固定されている。曲げセンサ８２は、各
指の中央の関節および付根の関節に対向して配置
されている。曲げセンサ８４は、人指し指に対す
る親指の横方向の動きに応答する一方で、曲げセ
ンサ８６は、中指に対する人指し指の横方向の動
きに応答する。手の平を横切つて配置された曲げ
センサ８８は、親指を小指に接触させるなどの仕
草を検出するのに有用である。

曲げセンサに加えて、グローブアセンブリ８０
はまた、回転、ピツチおよび偏揺れの３つの回転
軸に対するグローブアセンブリの配向を示すデー
タを与える手の配向センサ９２を含んでいる。配
向センサ９２は、３−軸加速度計、水銀ポテンシ
ヨメータのアレイまたはバブルゲージのような
種々の方法で実現され得る。

スクリーンカーソル２６の２次元位置決めを命
令するためのグローブアセンブリ１２の空間位置
決めの使用に変わるものとして、手首の動きが用
いられてもよい。たとえば、手首の前方へのおよ
び後方への曲げはスクリーンカーソル２６の垂直
位置決めを示すことができる一方で、手首の左お
よび右の曲げはスクリーンカーソルの水平位置決
めを示すことができる。このために、４つの付加
的な曲げセンサ９４が手首の関節を取囲む位置で
グローブアセンブリ８０の内部グローブに固定さ
れる。

第１０図は、他の図面に描かれたグローブに用
いられる光学曲げセンサの実施を詳細に描いてい
る。センサ４０は、可撓管１１２から構成され、
この可撓管１１２は、開放された端部１１４およ
び１１６と、可撓管１１２の中の反射性内壁１１
８と、一端１１４に配置された光源４４とを有し
ている。感光性検出器４６または光学フアイバの
ような光伝送装置が、管１１２の端部１１６に配
置され、これにより可撓管１１２が曲げられたと
きに直接光線および反射された光線の結合の強度
が検出される。

可撓管４０は、ゴム、プラスチツク、織物の材
料、または他の適当な可撓性の材料から製造され
る一方で、内壁１１８は、アルミニウム塗料また
は他の適当な反射性材料でコーテイングされても
よく、またはいくつかの場合には未処理のままに
されていてもよい。

その曲げられていない位置において、管１１２
は一般に真直ぐである。この位置において、光源
４４から放射された光は感光性検出器４６に衝突
する。管１１２が曲げられたときに、受取られた
光は直接光線および反射光線の結合されたもので
ある。感光性検出器４６に到達する光の量は、管
１１２の弾性に従つて光のすべてが遮られまたは
反射される位置に到達するまで減少するであろ
う。

一実施例において、感光性検出器４６は、光の
強度に従つてその抵抗を変化させる。光経路上の
折曲げられたチユーブ１１２および検出器４６の
感光性の組合わされた効果は、曲げられたときに
その電気抵抗（または他の特性）を変化させる装
置をもたらしている。検出器４６は、フオトトラ
ンジスタ、フオトシリコン制御整流器、フオトセ
ルまたは信号を他の位置に伝えるフアイバであつ
てもよい。一般に検出器４６は、光の強度に応答
して変化する出力パラメータを有するどのような
構成要素であつてもよい。

第１１図は、光学曲げセンサ１２４の他の実施
例を描いている。センサ１２４は、２つの端部１
２８および１３０と、反射性内壁１３２とを有す
る可撓管１２６から構成されている。内壁１３２
は、２つの異なる長手方向の色領域…赤１３４お
よび緑１３６から構成されている。光源１３８
は、たとえば発光ダイオードまたは赤外線放射器
であるが、管の一端に配置されかつ感光性検出器
１４０は、たとえばフオトトランジスタである
が、他方の端部１３０に配置されている。

第１２図は、第１１図に長手方向に示された管
の断面図である。

光学曲げセンサ１４２の他の実施例は第１３図
に描かれている。示されたセンサは、可撓管１４
４内に、３つの異なる長手方向の色領域…赤１４
８、緑１５０および黄色１５２から構成された反
射性内壁１４６を有している。第１２図のセンサ
における２つの異なる色領域および第１３図のセ
ンサにおける３つの異なる色領域は、管の反対側
の端部における感光性検出器に到達する光の強度
を、表面から同じ色の光源が反射されたかまたは
異なる色の光源が反射されたかに従つて修正させ
る。

これらの実施例の各々において、光源は、管の
壁上に彩色された壁領域が存在するときに、同じ
数の同様の色の光源から構成される。これらの多
数の光源は、種々の時間間隔でオンおよびオフに
パルス化され、さらに管の反対側の端部における
検出器の出力パラメータは対応する時間間隔中に
サンプリングされる。この態様で、情報は装置が
曲げられている程度のみならず曲げの方向の判断
をも行なわせる。装置の曲げの方向に関して得る
ことができる精度は一般に、複数の彩色された光
源および対応して彩色された壁の数が大きくなる
に従つて増大するであろう。１色、２色および３
色の特殊な場合についてのみ描かれたが、どのよ
うな所望の数も選択され得る。

第１４図は、曲げセンサが個人が身に付けてい
るボデイスーツに装着される曲げセンサの他の応
用例を描いている。この態様で、関節および手足
の位置を電気的に測定するための情報が得られ、
またはそれらの速度、加速度または他のパラメー
タに関する情報を得ることができるであろう。セ
ンサからの信号は物理的療法、コンピユータアニ
メーシヨン、リモート制御またはマン／マシンイ
ンターフエイスにおける応用のために処理されて
もよい。光学曲げセンサはデイジタルまたはアナ
ログスイツチとして用いられてもよい。

【図面の簡単な説明】

第１図は、この発明に従うコンピユータデータ
入力および操作装置を組入れたコンピユータの全
体的な斜視図である。第２図は、この発明に従つ
て構成されたグローブアセンブリの一実施例の背
面図である。第３図は、第２図のグローブアセン
ブリの側面図である。第４図は、第２図のグロー
ブアセンブリの手の平の側の図である。第５図
は、指が延ばされた配向を有している、第２図の
グローブアセンブリの１つの指の詳細な断面図で
ある。第６図は、指が曲げられた配向を有してい
る、第２図のグローブアセンブリの１つの指の詳
細な断面図である。第７図は、この発明によるグ
ローブアセンブリの他の実施例の背面図である。
第８図は、第７図のグローブアセンブリの側面図
である。第９図は、第７図のグローブアセンブリ
の手の平の側の図である。第１０図は、曲げセン
サの一実施例の長手方向の断面図である。第１１
図は、曲げセンサの他の実施例の長手方向の断面
図である。第１２図は、第１１図に示された構造
を介する断面図である。第１３図は、第１１図に
示された構造を介する他の断面図である。第１４
図は、この発明の他の応用例を示す斜視図であ
る。 図において、１０はコンピユータデータ入力お
よび操作装置、１２はグローブアセンブリ、１４
はインターフエイス回路、１６はコンピユータ、
１７，２４は超音波トランスデユーサ、１８は位
置感知レシーバアセンブリ、２０はＬ字形状フレ
ーム、２２はモニタ、２８はデイスプレイスクリ
ーン、３０は外部グローブ、３２は内部グロー
ブ、３４はプリント回路基板、４０は曲げセン
サ、４２，５６，５８，６０は可撓管、４４は光
源、４６は感光性検出器を示す。

Claims (1)

1. 【特許請求の範囲】 １ コンピユータプログラムと通信しかつ相互作
   用するために用いられる仮想目標がその上に表示
   される形式のコンピユータデイスプレイを制御す
   る装置であつて、 使用者の体の一部分に密接して配置され、使用
   者の体の関連する部分の曲げを感知する曲げ感知
   手段と、 前記曲げ感知手段および前記コンピユータデイ
   スプレイに結合されて、前記体の一部分の曲げを
   エミユレートするカーソルを表示するカーソル表
   示手段とを備え、前記カーソルは、前記仮想目標
   に相互作用的に作用して、前記使用者と前記コン
   ピユータプログラムとの間の通信および相互作用
   を許容することができる、制御装置。 ２ 前記曲げ感知手段は、前記体の一部分の曲げ
   の程度を感知する、特許請求の範囲第１項記載の
   装置。 ３ 前記カーソル表示手段は、前記体の一部分の
   曲げ程度を描くカーソルを表示する、特許請求の
   範囲第２項記載の装置。 ４ 前記曲げ感知手段は、使用者の手の曲げを感
   知する、特許請求の範囲第１項記載の装置。 ５ 前記曲げ感知手段は、前記使用者の手の指の
   曲げを感知する、特許請求の範囲第４項記載の装
   置。 ６ 前記曲げ感知手段は、前記使用者の手の曲げ
   の程度を感知する、特許請求の範囲第５項記載の
   装置。 ７ 前記カーソル表示手段は、前記使用者の手の
   曲げの程度を表示する、特許請求の範囲第６項記
   載の装置。 ８ 前記曲げ感知手段は、使用者の手に着用され
   た手袋に配置される、特許請求の範囲第７項記載
   の装置。 ９ 前記カーソル表示手段は、前記使用者の手の
   指の曲げを反映する手の表現を表示する、特許請
   求の範囲第８項記載の装置。 １０ 前記デイスプレイ装置に対する前記使用者
   の手の位置を感知する位置感知手段をさらに備え
   る、特許請求の範囲第９項記載の装置。 １１ 前記カーソル表示手段は、前記位置感知手
   段に結合されかつ前記デイスプレイに対する前記
   使用者の手の位置を表示する、特許請求の範囲第
   １０項記載の装置。 １２ コンピユータプログラムと通信しかつ相互
   作用するために用いられる仮想目標がその上に表
   示される形式のコンピユータデイスプレイを制御
   する装置であつて、 使用者の体の一部分に密接して配置され、使用
   者の体の関連する部分の曲げを感知する曲げ感知
   手段と、 前記使用者の体の一部分の位置を感知する位置
   感知手段と、 前記曲げ感知手段および前記位置感知手段に結
   合され、前記使用者の体の一部分の位置および曲
   げをエミユレートするカーソルを表示するカーソ
   ル表示手段とを備え、前記カーソルは、前記使用
   者の体の一部分の位置および曲げに従つて前記仮
   想目標に機能または演算を実行し、前記使用者と
   前記コンピユータプログラムとの間の通信および
   相互作用を許容することができる、制御装置。