JPH03186979A - ニューロコンピュータを用いた手の姿勢認識方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 人間とコンピュータとの間を対象とするヒユーマンイン
ターフェースにおいて、手の姿勢や状態を認識する方式
に関し、 手の姿勢や状態を一般化して許容範囲の広い認識システ
ムを実現し、又、手の姿勢や状態の修正追加に対しても
簡単に行える手の姿勢認識方式を提供することを目的と
し、 手の姿勢や状態を測定する手の姿勢測定部とその手の姿
勢、状態を一般化して記憶するニューロコンピュータを
用いた姿勢記憶部と、上記手の姿勢測定部からのデータ
からその姿勢、状態を認識する姿勢認識部を持ち、予め
、人力された手の色々な姿勢、状態に基づいて、上記姿
勢記憶部で記憶したニューラルネットワークの結合重み
によって、新たに入力される手の色々な姿勢、状態を認
識するように構成する。

〔産業上の利用分野〕

本発明は、人間とコンピュータとの間のヒユーマンイン
ターフェース（マンマシンインターフニス）において、
人間がコンピュータに指示する時の方法に関する。

最近のコンピュータの高性能化と、高機能化に伴い、人
間とコンピュータとをっなくインターフェース（ヒユー
マンインターフェースとか　マンマシンインターフェー
スと呼ばれる）、が非常に重用視されてきている。

現在、この間をっなくインターフェースとしては、キー
ポーＦ、マウス、タブレントなどが代表的であるが、人
間にとって非常に操作しずらく、人間の方がそのインタ
ーフェースに慣れようと努力しているのが現状である。

例えば、コンピュータに数字を入力しようとする時は、
キーボードから数字を入力しなければならない。

この数字の入力を、例えば、手の指を三本立てて「３を
人力する」というのがより自然である。

又、カーソルを少し動かずとき、マウスを机の上の平面
上で指示するより、人指し指を立てたら上に　中指を立
てたら下に・・、と指示できるほうが煩わしくない。

このようなことが、ヒユーマンインターフェスマンマシ
ンインターフェースとして必要であり、その技術が要求
されている。

この要求に対して、近年、手の姿勢、状態を測定できる
データグローブという手袋が開発されている。そこで、
このデータグローブを用いて手の姿勢や状態を測定し、
今どんな姿勢なのかを認識することで、人間が何を要求
しているのかコンピュータに通知することができるよう
になる。

これ心こより、非常に人間らしい、また煩わしくなく分
かす易いヒユーマンインターフェース、マンマシンイン
ターフェースが実現できるごとになる。従って、このデ
ータグローブによる効果的な手の姿勢認識方式が必要と
される。

〔従来の技術と発明が解決しようとする課題〕第３図は
従来のヒユーマンインターフェースマンマシンインター
フェースを説明する図である。

従来のヒユーマンインターフェース、マンマシンインタ
ーフェースとしては、本図に示したように、−船釣には
、キーボードやマウス、クブレント等が中心であった。

従って、人間は、これらの装置のみでコンピュタに指示
するしかなかった。数字を人力するにも、動きを指示す
るにも５位置を教えるにも、コンピュータに理解し易い
装置で与えるしがなく、それを操作する人間に理解し易
いような装置は存在しなかった。

それは、手の姿勢、状態を測定する方法が困難であった
という重要な問題点があった。然し、それを測定するデ
ータグローブという装置が最近開発され、これを通用し
ようとする動きがある。

３亥データグローフ゛については、例えば、（１）　”
データグローブ　２型　操作マニュアル”トキュメント
データ二８月２５日、　１９８９．２．２版。

ＶＰＬｒｉＦ究所刊、　　Ｉ”ＤＡＴＡＧＬＯＶＥ　Ｍ
ＯＤＥＬ　２０ｐｅｒａｔｉｏｎ　　Ｍａｎｕａｌ″、
Ｄｏｃｕｍｅｎｔ　ｄａｔｅ　：　Ａｕｇｕｓｔ　２５
．１９８９．Ｖｅｒｓｉｏｎ　２．２．Ｃｏｐｙｒｉｇ
ｈｔ：　　１９８９　ｂｙ　ＶＰＬ　Ｒｅ５ｅａｒｃｈ
　　Ｉｎｃ、） （２）“データグローブ　プログラム作成者用ツールキ
ント　プロゲラ作威者用ガイド”、ドキュメントデータ
：　１９８９年６月、１．３版、シムグラフィックス工
業会社刊、　　（”Ｄａｔａ　Ｇｌｏｖｅ　”　Ｐｒｏ
ｇｒａｍｍｅｒｓ　Ｔｏｏｌｋｉｔ、Ｐｒｏｇｒａｍｍ
ｅｒｓ　Ｇｕｒｄｅ”、Ｄｏｃｕｍｅｎｔ　ｄａｔｅ：
　Ｊｕｎｅ　１９８９．Ｖｅｒｓｉｏｎ　１．３．Ｃｏ
ｐｙｒｉｇｈｔ：　］９８９　ｂｙ　ＳｉｍＧｒａｐｈ
ｉｃｓ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｃｏｒｐｏｒａｔｉ
ｏｎ　）等がある。

これらの文献に示されている方法は、データグローブか
らの多くの姿勢を示す角度データに対して、プログラム
でそのデータを場合分けして認識しようとするものであ
る。

従って、そのシステムを作成しなければならないし、ま
た他の姿勢２状態を識別したいという要求がシステム作
成後発生した場合、また新しく認識システムを作り変え
直すという煩わしさがあった。例えば、小指を立てた時
は、今の人力を取り消す命令に新しく登録したいとか１
人指し指と中指を立てた時、２を示すとしたが、親指と
人差指を立てた時に変更したい、などには、すべてシス
テムを再設計する必要があった。

又、プログラムで解析的に作成してしまうと、特定の人
に対しては認識できるが、人が変わってしま・うと認識
できなくなるとい・う欠点が生してしまう可能性もあっ
た。

即ち、従来技術では、手の姿勢、状態を認識するシステ
ムをプログラムで構築しているために、特定の姿勢、状
態にしか適用できない。従って、手の姿勢、状態の変更
や追加に対して再構築しなければならず、又、異なる姿
勢、状態に対してプログラムで場合分けしているため、
４９通った姿勢状態に対して、違う認識をしてしまう可
能性があり、これを解決するため再び、プログラムを構
築し直すなど非常に多くの工程を必要とする問題があっ
た。

本発明は上記従来の欠点に鑑み、様々な手の姿勢、状態
を認識できるように、この姿勢、状態を一般化し許容範
囲の広い認識システムを実現すると共に、修正、追加に
対しても非常に簡単に行うことができる手の姿勢認識方
式を提供することを目的とするものである。

〔課題を解決するための手段］ 第１図は、本発明の詳細な説明する図であり、（ａ）は
システム構成例を示し、（ｂ）はニューラルネットワー
ク学習装置、認識装置の槽底例を示し、（ｃ）はニュー
ラル・ホン１〜ワークの入出力特性を示し、（ｄ）はニ
ューラル・ネタ１〜ワークの構造例を示している。

上記の問題点は下記の如く（こ構成したニューロコンビ
エータを用いた手の姿勢認識方式によって解決される。

人間とコンピュータとの間を対象とするヒユーマンイン
ターフェースにおいて、 手の姿勢や状態を測定する手の姿勢測定部１とその手の
姿勢、状態を一般化して記憶するニューロコンピュータ
を用いた姿勢記憶部２と上記手の姿勢測定部１からのデ
ータからその姿勢、状態を認識する姿勢認識部３を持ち
。

予め、入力された手の色々な姿勢、状態に基づいて、上
記姿勢記憶部２で記憶したニューラル・ネントワークの
結合重みによって、新たに入力される手の色々な姿勢、
状態を認識するように構成する。

〔作用〕

即ち、本発明によれば、「ニューロコンピュータを用い
た手の姿勢認識装置」は、第１図（ａ）に示したように
、「手の姿勢測定装置」と、「ニューロコンピュータ学
習、認識装置」からなる。又、「ニューロコンピュータ
学習、認識装置」は、「ニューラル・不ントワーク学留
装置」と、「結合の重み記憶部」と、「認識装置」から
なり、以下に示すように作用する。

■　手の姿勢測定装置 手の姿勢測定装置は、データグローブを中心にして手の
姿勢、状態を測定するために、光ファイバーを使用して
測定する。（前述の文献（１）　、　（２）を参照） 具体的には、指の第一関節と第二関節の角度が測定でき
、五本の指に対して十個のデータが得られる。各関節間
の角度が、「グー」の状態で九十度、「パー」の状態で
０度となる。

先ず、学習のときに認識してほしい姿勢のバクーンを幾
つか発生させ、次に示すニューロコンピュータ学習５認
識装置に通知する。すべての姿勢。

状態を学習の後、ある姿勢のデータを、認識装置に通知
すると、その姿勢に対する認識が結果として得ることが
できるようになる。

新しい姿勢、状態の追加や、認識の変更に対しては、再
びその姿勢、状態の学習を行うことで簡単に実現するこ
とができる。

次番こ、「ニューロコンピュータ学習、認識装置」内の
三装置に対して説明する。（第１図（ｂ）参照） ■　ニューラルネットワーク学習装置 ０ ニューラルネットワーク学習装置は学習パターン保持部
と、ニューラルネットワーク実行部と２重み更新部から
なる。学習パターン保持部では入カバターンと、それに
対する望ましい出カバターン（教師信号）を保持してい
る。

ハンクブロパゲーソヨン法を適用するニューラルネット
ワークは、多層ネットワークである。

各層は多くのユニットで構成されており、各層のユニッ
ト間は、互いにある重みで結合されている。

このネットワークに人カバターンと、望ましい出カバタ
ーン（教師信号）の組を与えることによって、ネットワ
ークの重みを学習させることができる。

学習は以下の様に進められる。ニューラルネットワーク
に成る入カバクーンを与え、出力を得る。その出力が正
しくなければ正しい（望ましい）出力値を該ニューラル
ネットワークに教える。

すると、ニューラルネットワークは正しい出力と実際の
出力値の差が減少するように、該ニューラルネットワー
クの内部構造（結合の強さ−重み）を調整する。これを
何度も繰り返すことによって、該ニューラルネットワー
クは、成る入出力関係を満たす様な重みを、自動的ムこ
学習していくのである。この学習アルゴリズムをバンク
プロパゲーション法という。

このようにして学習したニューラルネットワークを用い
ると、学習させた入カバターンについては教示した正し
い出力を返すが、更に学習させていない入カバターンに
ついても学習した入出カバターンを補間した出カバター
ンを返すことができる。これが、ニューラルネットワー
クの大きな特徴となっている。

以下に、この学習を行うニューラルネットワーク学習装
置（第１図（ｂ）参照）について述べる。

ニューラル・才、ットワーク学習装置は、前述のように
、学習パターン保持部と、ニューラルネットワーク実行
部と１重め更新部からなる。

（１）学習パターン保持部 入カバターンと、それに対する望ましい出カバターン（
教師信号）を保持している。

（２）ニューラルネットワーク実行部 多層のネットワーク構造になっている。各層は多くのユ
ニットで構成されており、各ユニット間には、各々結合
の重みＷが定義される。

各ユニットは以下に示すようにしてネットワクの出力値
を計算する。

あるユニットが複数のユニットから入力を受けた場合、
その総和に該ユニットの閾（ａＯを加えたものが、入力
値ｎｅｔになる。（第１図（ｃ）参照）即ち、ユニソｌ
−Ｕ　ｉの入力ｎｅＪ　は、ｎｅｔ　Ｈ−ΣＷ；ｉｏｊ
　＋（Ｅｌ。

Ｗｌ、、：　　ユニットＵＪからユニットＵ３への結合
の重み ○ｊ　：　ユニン１−Ｕｊの出力 Ｏｌ：　ユニットＵ、の閾値 ユニットの出力値はこの入力の総和ｎｅｔ　ｔこ、活性
化関数を適用して計算される。該活性化関数には微分可
能な非線型関数である、例えば、ｓｉｇｍｏｉｄ関数を
もちいると、ユニン１−Ｕ、の出力値Ｏ８は、 ３ になる。

バンクプロパゲーション法で用いるネツワークは、−船
釣には多層のネットワークであるが、ここでは通常よく
用いられる、第１図（ｄ）に示すような３層のネットワ
ークの場合についてのべる。

３つの層は入力層、隠れ層、出力層と呼ばれており、各
層は多くのユニットで構成される。隠れ層の各ユニット
は、入力層のすべてのユニットと結合している。出力層
の各ユニットは、入力層と隠れ層のすべてのユニットと
結合している。そして、各層内での結合は無い。

人力層の各ユニットには、ネットワークへの入力データ
が与えられる。

従って、隠れ層の各ユニッ）Ｕ、の出力値ｈ４は、 ｎｅｔｊ　　−ΣｗＪｋｄ、＋　　ｅＪ■ ４ ｄ、：に番目の人カニニットの出力値 ）１ｊ’ｊ番目の隠れユニットの出力値ｗＪｋ：に番目
の人力ユニットと、ｊ番目の隠れユニット間の結合の重
み ■、；ｊ番目の隠れユニッ１〜の闇値 また。出力層の各ユニットの出力値。、は、上記の式よ
り、 １　　　＋　　ｅｘｐ　　（−ｎｅｔ　　＋　　）ｈ、
＋：ｊ番目の隠れユニットの出力値ｏＨｓｉ番目の出カ
ニニットの出力値 Ｗｉｊ’ｊ番目の隠れコーニントと、ｉ番目の出カニニ
ット間の結合の重み ○、：】番目の出力ユニットの閾値 となる。

（３）重め更新部 ネットワークの出力が、望ましい出力になるように、ネ
ットワークの重みを変える部分である。

あるパターンｐを与えた時の実際の出力値（ｏｐ、）と
、望ましい出力値（ｔ＋、ｉ）の平均２乗誤差Ｅ。

をとる。

■ ＢＰ−（ｔ　ｐｉ　　　Ｏｐｔ）” 上記、あるパターンｐを学習させるためには、この誤差
を減らずように、ネットワーク中のすべての重みを変え
る。

・出力層についての学習規則（上記の誤差を滅ら為の学
習規則） １）隠れ層のユニットＵＪ−出力層のユニットＵ、の間
の重みの変化Δｗ８．（ｎ）は、△ｗｉｊ　（ｎ　）　
＝　ｙｙΣδ、（ｈ　ｐｊ　　＋　ｔｒ△ＷｆＪ（ｎｌ
） １１）入力層のユニットＵ、−出力層のユニットＵ、の
間の重みの変化Δｗ、ｋ（ｎ）は、ΔＷｉｈ　（ｎ）　
＝ηΣδｐｉ　ｄ　ｐｈ　　＋ｒｘ△Ｗ、ｋ（ｎｌ） ここで、ｎ：学習回数 α：モーメンタム（上記、ｓｉｇｍｏｉｄ関数の滑らか
さ） δｐｔ−（ｊｐ；−Ｏｐ４＞　　（Ｏｐ、（１〜ｏｐ、
）〕・隠れ層についての学習規則 入力層のユニットＵｋ−隠れ層のユニットＵｊの間の重
みの変化△ｗＪｋ（ｎ）は、 Δｗ　＝ｗ　（ｎ　）　＝　ηΣδｐｊ　ｈ　ｐｊ　　
＋　αΔＷｊｋ（ｎｌ） δ、、ｔ＝　ｈｐｊ　（１−ｈ、ｊ）Σδい１Ｗｉｊで
求められる。

上記の平均２乗誤差Ｅ、を滅らずように、上記重み変化
ΔＷｉｊ、　　△Ｗ８６．Δｗｊｋを計算して、ニュー
ラルネットワークに与えることで、学習が行われる。

上記の各入力層、隠れ層、出力層での各ユニットの出力
値を与える式、或いは、出力層、ｌ！！れ層での学習規
則の式の導出過程の詳細については、例えば、ｒＰＤＰ
モデル“認知科学とニューロン回路網の探索”、Ｄ、Ｅ
、ラメルバー１−、Ｊ、Ｌ、マクレランド、　ＰＤＰリ
サーチグループ著、せ利俊−監訳、平成元年２月２７日
、産業図書株式会社、初版列」に詳しいので、ここでは
、結果のみについて示す７ のみとする。

■　結合の重み記憶部 重み記憶部では、上記ニューラルネットワークの各ユニ
ット間の重みを、任意の学習段階で保存する。

■　認識装置 認識装置は、上記重み記憶部に保存しであるニューラル
ネットワークの重みをロードし、上記学習時とは異なる
入カバターンを与えると、各ユニットの重みによって定
まる該ニューラルネットワークの出力を計算する。以上
のように学習したネットワークを用いると、学習させた
入カバターンについては、上記教示した正しい出力を返
すが、更に学習させていない入カバターンについても学
習した人出カバターンを元にしたような出カバターンを
返すように機能する。

以上説明したように本方式では、ニューラルネットワー
クを用いて手の姿勢、状態の＊数のパターンを学習させ
ることによって、該姿勢、状態を一般化した、学習済の
該ニューラル・ネットワ８ −クの重みを、重み記憶部に保存する。従って、特＠、
（少し曲がった。伸びた等）が同じである姿勢、状態を
１つのネットワークの重みとして保存しておくことが可
能となる。また特徴の異なる姿勢、状態についても、別
のネッｌ−ワークの重みとして記憶しておくことも可能
である。

手の姿勢、状態を認識する場合は、先ず、重み記憶部に
ある学習済のネットワークの重みをニョ一うル・ネット
ワークにロードする。こうして学習させたネットの重み
を用いると、入力の手の姿勢や状態の関節データを指定
することで、その姿勢、状態が何を示すのか認識するこ
とができる。

更に、新しく登録したい姿勢、状態に対しても、又、す
でに学習しである姿勢、状態を変更したい場合でも、そ
の姿勢、状態を学習しなおすことで、簡単に認識させる
ことが可能となる。

〔実施例］ 以下本発明の実施例を図面によって詳述する。

前述の第１図は本発明の詳細な説明する図であり、第２
図は本発明の一実施例を示した図であって、ニューラル
ネットワーク学習装置２０を用いて、データグローブか
ら出力される関節データに基づいて、手の姿勢、状態を
学習させて、該学習終了時のニューラルネットワークを
構成している各ユニット間の結合重みを結合重み記憶部
に記憶しておき、核子の姿勢、状態を認識する場合には
、該結合重み記憶部２】に記憶されている学習済みの結
合重みをニューラルネットワークにロートし、該データ
グローブから出力される新たな関節データを認識する手
段が本発明を実施するのに必要な手段である。尚、企図
を通して同し符号は同し対象物を示している。

以下、第１図を参照しながら、第２図によって、本発明
のニューロコンビエータを用いた手の姿勢認識方式を説
明する。

先ず、」二記システムにおいて、手の姿勢７状態をニュ
ーラルネットワークに学習させる必要がある。例えば、
数字を表すために、指の立っている数を数字として学習
する。人差指だけの時が「］Ｊ、更に、中指が立つと「
２」、薬指が立つと「３」、小指が立って「４」、すべ
て開いて「５」というように、すべてのパターンに対し
て少しずつ感化したデータを、手の姿勢測定装置１で、
例えば、１０パターン測定する。１０パターン用意する
のは、人が変わった時Ｇこも認識が正常に行われるよう
に、より多くのパターンを学習しておくためである。

手の姿勢、ａ′態を学習する場合の学習方法を第２図に
示す。ニューロコンビニーりに学習するさせる場合、ニ
ューラルネットワークに教示する学習パターンが、例え
ば、 入カニ関節角度（８４，２０，２３，３９，２９）第２
関節（１４，７９，８２，２Ｌ　４３）第１関節親人中
薬小 指指指指指 のとき、出カニこの時の姿勢−数字の「２」であるとす
る。

認識したいパターン（例えば１人差指と中指を立てる）
をニューラルネットワークに入力する２ま ために、第１図（ｂ）に示したニューラルネットワーク
学習装置２０において、上記、手の姿勢測定装置１から
出力された２″を示す学習パターンをビットパターン（
例えば、’００００１０”）に変換して教師信号（認識
パターンと同し）とする。

そして、そのビットパターンをニューラルネットワーク
の入力Ｘ　（教師信号）とする。この時の上記手の姿勢
測定装置ｌから出力された２″を示す関節角をニューラ
ルネットワークネットの入力Ｙ（学習パターン）とする
。これによって、ニューラルネットワークは、入力Ｙの
時に教師パターンＸに近い認識パターン（２進数）を出
力するようなネットワークの結合重みを出力する。

複数の姿勢、状態を学習させたい場合は、第２図で示し
たような学習パターンＹを複数パターン学習させる。学
習の終了したニューラル・ホン１−ワークの重みは、上
記結合の重め記憶部２１に保持しておき、保持したニュ
ーラル・ネントワークを使って姿勢を認識したい場合に
、該結合重みをニューラル・ネントワークにロードする
。

２ 学習した後、手の姿勢測定装置（データグローブ）１か
らの手の姿勢、状態を入力すれば、それに対応する認識
結果（「１」〜「５」）を得ることができる。

又、親指と人差指で丸を作り、「ＯＫ」を示すことにす
るという追加においては、その状態のデータを、例えば
、１０パターン再び学習させる。

このパターンを学習した後には、結合重み記憶部に該ニ
ューラルネットワークの結合重みが保持されるので、認
識時にはこの状態も正常に認識することが可能になる。

〔発明の効果〕

以上説明したように、手の姿勢、状態を認識するのに、
ニューロコンピュータを使用することにより、手の姿勢
、状態を一般化して記憶することが可能となり、従って
様々な環境下でそれ乙こ適した姿勢、状態を認識するこ
とが可能となる。これにより、ヒユーマンインターフェ
ースにおいて、より人間らしい表現でコンピュータに指
示を与えることかできるシステムが構築でき、その認識
の変更、追加に対しても容易に行えることができる。

従って、インターフェースシステム作成のための工数の
減少と、より人間に近づいたヒユーマンインターフェー
スを提供することができる効果がある。

【図面の簡単な説明】

第１図は本発明の詳細な説明する同 第２図は本発明の一実施例を示した間 第３図は従来のヒユーマンインターフェース、マンマシ
ンインターフェース、を説明する図。 である。 図面において、 １は手の姿勢測定装置、又は、データグローフ又は、姿
勢測定部 ２はニューロコンピュータを用いた認識記憶部２０はニ
ューラルネットワーク学習装置。 ２００はニューラルネットワーク実行部２０１　は学習
パターン保持部 ２０２は重み更新部。 ２１ば結合の重み記憶部 ３は認識部、叉は、認識装置 をそれぞれ示す。 ５

Claims (1)

1. 【特許請求の範囲】 人間とコンピュータとの間を対象とするヒューマンイン
   ターフェースにおいて、 手の姿勢や状態を測定する手の姿勢測定部（１）と、 その手の姿勢、状態を一般化して記憶するニューロコン
   ピュータを用いた姿勢記憶部（２）と、上記手の姿勢測
   定部（１）からのデータからその姿勢、状態を認識する
   姿勢認識部（３）を持ち、予め、入力された手の色々な
   姿勢、状態に基づいて、上記姿勢記憶部（２）で記憶し
   たニューラルネットワークの結合重みによって、新たに
   入力される手の色々な姿勢、状態を認識することを特徴
   とするニューロコンピュータを用いた手の姿勢認識方式
   。