JPH0451372A - ニューロコンピュータを用いた動作認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［概要］ 人間の３次元的で時系列的な１一つの動作を検出して動
作のもつ意味を認識するニューロコンピュータを用いた
動作認識装置に関し、 手話等の多種多様で個人差をもつ動作を正確に認識する
ことを目的とし、 データグローブ等から得られた１動作の時系列データか
ら学習データを生成して時系列データ処理構造を有する
ニューロコンピュータを学習させてネットワーク結合の
重みを求め、この重みを動作認識用のニューロコンピュ
ータに移植した後にデータグローブから得られた１動作
の時系列信号を入力して何の動作かを認識するように構
成する。

［産業上の利用分野］ 本発明は、手話等における３次元的な動きを時系列的に
検出して１つの動作のもつ意味を認識するニューロコン
ピュータを用いた動作認識装置に関する。

人間とコンピュータとのマンマシンインタフェースにお
いて、人間からコンピュータへ情報を入力する手法とし
ては代表的なものとしてキーボードやマウスであるが、
これよりも機械を使わず人間の動作によってコンピュー
タに語りかけるほうがより自然であり、最近大変重要視
されてきている。

また最近、人間の手の形状、３次元位置を検出できるデ
ータグローブ、或いは人間のからだ全体の形状を検出で
きるボディスーツというセンサが開発されいる。従って
、これらのセンサーを用いることにより、人間の体の形
状、或いは動作を検出し、人間が今どういう動作をし、
何を言いたいのかを理解する装置ができれば極めて便利
である。

この装置によって例えば手話の認識が可能となり、手話
を話す方と手話の分からない方とのコミュニケーション
を実現する。また、体の不自由な方が、この動作はこう
いう意味があると決めることにより、他の人に意思を告
げることができるなどが可能となる。更にまた、より自
然な人間にとって無理のないマンマシンインタフェース
を実現できる。

［従来の技術］ 従来のマンマシンインタフェースは、キーボード、マウ
ス、タブレットなどであり、これら操作装置を人間が使
うことでのみコンピュータに指示できる。しかし、これ
らの装置に慣れるには時間がかかり、また、使い易いも
のではない。

一方、人間同志のコミュニケーションにあっては、相手
の動きからも今回をしているか、何をしたいのか等を理
解できるが、マンマシンインタフェースとして人間の動
きを認識して理解するものは、まだ世にあられれていな
い。

人間の形態を認識する方法として、手話における指文字
を例にとってみると、まず指の曲げ角度及び手のひねり
角度を検出し、この検出情報を使って手の形状を符号化
する規則を作り、この規則に基づいて検出情報に対し主
成分分析、クラスター分析を活用して手の形態を分類し
、認識するという方法である。しかし、この方法では認
識率が５４％程度と実用認識レベルに至っていない。そ
こで、人間の形態を認識するためには、人間自身が、人
間の形態を符号化するために細かく規則を設定し、分類
し、認識するという方法が取られている。

［発明が解決しようとする課題］ しかし、人間自身が形態を符号化するための規則を設定
し、分類する作業は大変面倒であり、なおかつ柔軟性に
欠け、人が変われば、符号化規則を設定し直すか、変更
、追加といったことをしなければならない。

そこで人間の神経細胞構造を似せて作ったニューラルネ
ットワークを使用したニューロコンピュータを動作認識
に使用することが考えられる。

ところが動作認識には時間というものを考慮しなければ
ならず、それにはある時間間隔で動作を区切り、そのと
きの人間の形態データを収集し、それを時系列的に合わ
せたものが動作であるという仮定をたてなければならな
い。今までのニューロコンピュータは時間を考えていな
いため、動作を認識するためには、時系列データを扱え
るネットワーク構造に変換しなければならない。そのた
めには、ニューラルネットワーク自身をリカレント機能
を持つものにし、過去の履歴を保持できるようなものと
する必要がある。

第１２図はりカレント機能を実現する従来のニューラル
ネットワーク構成を示し、通常のニューラルネットワー
クを構成する入力層２２、かくれ層２４及び出力層２６
に加え、入力層２２と並列に新たにコンテキスト層２８
が設けられる。コンテキスト層２８はかくれ層２４と同
じ数のユニットを備え、全ユニットがかくれ層２４のユ
ニットの１つ１つに結合され、かくれ層２２の出力値を
コピーすることができる（１９８８年ＩＩ月Ｃａ＋ｎｅ
ｇｉｅＭｅｌｌｏｎ　Ｕｎｉｖｅｒｓｉｔｙ　　発行論
文　ｊ　ＥＮＣＯＤＩＮＧＳＥＱＵＥＮＴＩＡＬ　５Ｔ
ＲＩＩＣＴＵＲＥ　ＩＮ　ＳＩＭＰＬＥ　ＲＥＣＵＲＲ
ＥＮＴＮＨＷＯＲＫＳ　Ｊ参照）。

リカレント型ニューラルネットワークのアルゴリズムは
、次のようになる。

［時刻ｔ　＝　１　］ 最初の時刻１−１でデータが入力層２２に入り、このと
きコンテキスト層２８の出力値は０にセットされており
、 入力層−コンテキスト層２８千入力層２２としてかくれ
層２４及び出力層２６が動作する。

ここでコンテキスト層２８と入力層２２を合せて大入力
層という。

ネットワーク出力が得られたら最終的に、かくれ層２４
の出力値をコンテキスト総２８にそのままコピーする。

［時刻ｔ−２］ 次の時刻ｔ＝２で次のデータが入力層２２に入り、前回
のかくれ層２４の出力値をコピーしているコンテキスト
層２８と加えた大入力層の出力に基づくネットワーク動
作が行われる。

以後の時系列データの入力については時刻ｔ２（！ｌ：
同じ処理となる。勿論、１つの動作を現わす時系列デー
タの入力が終了して次に他の動作の時系列データが入力
する際には、コンテキスト層２８は再び０にセットされ
る。

しかし、第１２図のりカレント型ニューラルネットワー
クにあっては、過去の履歴を保持できる機能を有するが
、同時に過去の履歴を忘れ易く、ごく最近のデータに大
きく依存しやすい問題点が１．２ 指摘されており、時系列的に得られたデータの収集して
合わせたものとしての動作認識に問題を残している。

本発明は、このような従来の問題点に鑑みてなされたも
ので、手話等の多種多様で個人差をもつ動作を正確に認
識できるニューロコンピュータを用いた動作認識装置を
提供することを目的とする。

また本発明は、従来のりカレント型ニューラルネートワ
ークのもつ過去の履歴を忘れ安く最近のデータに依存し
易い問題を解決して認識率を向上できるニューロコンピ
ュータを用いた動作認識装置を提供することを目的とす
る。

［課題を解決するための手段］ 第１図は本発明の原理説明図である。

本発明は、コンピュータ等への指示を人間の動作で与え
るシステムにおいて、 手、指、腕等の人間の３次元的且時系列的な動きを測定
して時系列測定データとして出力する動作測定部１−０
と 動作測定部１０から得られた１動作を示す入力時系列デ
ータとこの入力時系列データに対する教師信号から成る
学習データを生成する学習データ生成部１４と、学習デ
ータ生成部］４の学習データを使用してネットワークの
結合の重みを学習させる時系列データ処理構造を有する
第１ニューロコンピュータｉ　６−１−を備えた動作学
習部１−２と；動作学習部１−２による学習が済んだ状
態で前記第１ニューロコンピュータ１．６−１がら得ら
れたネットワークの結合の重みを記憶する重み記憶部１
８と； 時系列データ処理構造を有する第２のニューロコンピュ
ータ１６−２を備え、重み記憶部１８に記憶されたネッ
トワークの結合の重みを第２ニューロコンピュータ１６
−２に設定した後に動作測定部１０からの時系列データ
を入力して動作を認識する動作認識部２０と； を設けたことを特徴とする。

ここで、動作学習部１２に設けられた時系列データ処理
構造を有する第１ニューロコンピュータ１６−１は、 １又は複数の時系列データを並列的に順次入力する複数
ユニットを備えた入力層２２と；入力層２２の全てのユ
ニットと結合するユニットを複数備えたかくれ層２４と
； かくれ層２４の全てのユニットと結合されるユニットを
複数備えた出力層２６と； 人力層２２と並列に設けられ、かくれ層２４と同じ数の
ユニットを備えると共にユニットの全てをかくれ層２４
のユニットの１つ１つに結合したコンテキスト層２８と
； を備える。

その学習時のアルゴリズムは、 ■最初の時系列入力パターンによる重み学習時にはコン
テキスト層２８のユニットに出力値Ｏをセットし、入力
層２２にコンテキスト層２８を加えた層を入力層として
重み学習を実行し、■２番目以降の時系列入力パターン
による重み学習時には、前回のかくれ層２４の出力値に
所定の履歴係数を乗算した値をコンテキスト層２８にコ
ピーして同様に重み学習を実行する。

また動作認識部２０の時系列データ処理構造を有する第
２ニューロコンピュータ１６−２は、第１ニューロコン
ピュータと同様に、入力層２２、かくれ層２４、出力層
２６、コンテキスト層２８を備え、そのアルゴリズムは
、 ■動作測定部１０からの最初の時系列データの入力時に
はコンテキスト層２８のユニットに出力値０をセットし
、入力層２２にコンテキスト層２８を加えた層を入力層
として動作し、 ■２番目以降の時系列データの入力時には、前回のかく
れ層２４の出力値に所定の履歴係数を乗算した値をコン
テキスト層２８にコピーして同様に動作する。

一方、動作学習部１２に設けた学習データ生成部１４は
、 １動作当りの時系列データを正規化する第１手段と； 第１手段で得られた正規化時系列データにより認識され
る動作を示す教師信号を生成する第２手段と； バックプロパゲーション法による重み学習に使用する学
習パラメータを設定する第３手段と；第１乃至第３手段
で得られた正規化時系列データ、教師信号、学習パラメ
ータを学習データとして格納する第４手段と； を備える。ここで前記第３手段は、バックプロパゲーシ
ョン法に使用する学習パラメータとしてラニングレート
α及びモーメンタムηの多値を設定する。

更に本発明の動作測定部１０は、人間の時系列的な動作
を検出する複数のセンサを備えたデータグローブ又はボ
ディスーツを使用する。

［作用］ このような構成を備えた本発明によれば次の作用が得ら
れる。

まず、コンピュータに指示を与えるときに面倒な操作器
具は必要とせず、人間の動作を検出するためにデータグ
ローブやボディースーツを着用して動作を入力し、従っ
て、操作方法を取得する必要は全くない。

動作の測定により得られた時系列データは動作学習部に
送られ、時系列処理構造を有するニューロコンピュータ
に動作測定部から送られてくるデータの組で成る時系列
データが、何の動作かを学習すせる。ニューロコンピュ
ータは入出カバターンを与えるだけで、そのデータの特
長を自動的に抽出し、分類するという自己組織化の能力
を持っている。つまり、ニューロコンピュータを用いる
ことで、人間自身が、分類規則を作って与え、分類する
という非常に面倒臭い過程がなくなる。また、ニューロ
コンピュータは、学習していないデータに対しても柔軟
に対応できることから、人が変われば、規則を設定し直
さなければならないことがなくなる。

動作認識の学習が済むと、学習結果から得られたネット
ワークの結合の重みを取出し、動作認識用のニューロコ
ンピュータに移植する。動作認識用のニューロコンピュ
ータも時系列データ処理構造により過去の履歴を保持で
き、１時刻のデータのみを見て今回をしたかを認識する
のではなく、過去の動作、即ち、今までの１時刻ごとの
データの積み重ねを考慮しながら、今のデータと照らし
合わせ、最終的に何の動作かを判断する。

このようなニューロコンピュータを用いた動作認識によ
れば、学習によって確立された内部構造（ネットワーク
の結合の重み）を保持するで、学習済みデータに対する
認識結果の保証は勿論のこと、学習していないデータに
対してもそれなりの答を出すことができ、柔軟性に富む
。

更に本発明の時系列データ処理構造を有するニューロコ
ンピュータにあっては、隠れ層の出力値をコンテキスト
層にそのままコピーするのではなく、ある履歴係数をか
け１時刻前の影響を少なくし、ごく最近のデータに依存
し易いという問題を解決する。

［実施例］ 第２図は本発明の一実施例を示した実施例構成図である
。

第２図において、本発明のニューロコンピュータを用い
た動作認識装置は動作測定部１−０、動作学習部１−２
、重み記憶部及び動作認識部２０で構成される。動作測
定部１−０は手、指、腕等の人間的な３次元的な動きを
ある一定時間毎に測定して時系列データとして出力する
測定機能を有する。

具体的には第３図に示すように複数のセンサを備えたデ
ータグローブやボディスーツ等の人体の動作部分に装着
できるものを使用し、手話等における手の動きを、例え
ばデータグローブのセンサで一定時間毎に検出して時系
列データとして出力する。例えばデータグローブを使用
して手話の際の動きを測定した場合には、１０本の指の
曲げ角度、３次元的な位置座標（ｘ、　ｙ、　　ｚ）　
、手のひねり角度等が一定時間毎に並列的に検出されて
順次−連の並列データで成る時系列データとして出力さ
れる。

再び第２図を参照するに、動作学習部１２は、学習デー
タ生成部１４と時系列データ処理構造を有する第１ニュ
ーロコンピュータ１６−１で構成される。学習データ生
成部１４は動作測定部１０から得られた１つの動作を示
す入力時系列データと、この入力時系列データから認識
される動作を示す教師信号、具体的には動作パターンと
で成る学習データを各動作毎に生成する。この学習デー
タ生成部１４の詳細は第４図に示される。

第４図において、動作学習部１２に設けられた学習デー
タ生成部１−４では次の処理過程■〜■を通じて学習デ
ータを生成する。

処理過程■。

まず動作測定部１０で測定された１つの動作を示す時系
列信号を学習データとして取込む。

処理過程■： 次に生データとしての時系列学習データをニューロコン
ピュータで処理可能な正規化された０〜１の値に変換す
る。即ち生データとしては指の曲げ角度、３次元的位置
座標、手のひねり角度であるが、このようなデータでは
ニューロコンピュータで扱うことができないため、各デ
ータを正規化してＯ〜１の範囲内の値とする。これを学
習データＡとする。

処理過程■； 学習データの正規化が終了したならば１−っの動作で得
られた時系列正規化データで与えられる動作が何の動作
であるかを示す教師信号、例えば３ビツトの教師ビット
パターンを生成して加え、正規化された時系列入力デー
タと教師信号の組合せで成る学習データＢを生成する。

処理過程■； 続いて学習データＢに対しバックプロパゲーション法に
従ったニューロコンピュータの学習処理で使用する学習
パラメータの値を決め、正規化された入力時系列データ
と教師信号で成る学習データＢに学習パラメータを加え
た学習データＣを生成する。学習データとして設定する
バックプロパゲーション法における学習パラメータとし
ては、重み更新の演算に使用されるラーニングレートη
とモーメンタムαの２つとする。

第５図は第４図の学習データ生成部１４により最終的に
生成された学習データＣを１つの動作についてテーブル
データとして示したもので、入力データは時刻ｔ１〜ｔ
５の５つの時刻に分割された時系列データであり、腕の
曲げ角度１０データ、３次元位置３データ、手のひねり
角度３データで構成される。この時系列的な入力データ
については、その動作を示す教師信号、即ち教師ビット
パターン００１が設定され、更に入力データと教師信号
を用いた学習の際に使用される学習パラメータとしてラ
ーニングレートη及びモーメンタムαのそれぞれが設定
されている。

尚、第４図の学習データ生成部１４にあっては、処理過
程■〜■においては予め測定された複数の動作について
の学習データを各過程でそれぞれ生成してから次の過程
に進む処理を行うようになる。

再び第２図を参照するに、第４図に示すようにして生成
された学習データ生成部１４の学習データは第１ニュー
ロコンピュータ１６−１に与えられ、時系列入力データ
に対し予め定めた動作であることを認識できるようにネ
ットワークの結合の重みを学習させる。

第１ニューロコンピュータ１６−１は過去の履歴を保持
できるリカレント機能を持っており、従って１つの動作
を示す時系列データを入力してその集積結果から何の動
作であるかを認識することができる。

このリカレント機能を備えた第１ニューロコンピュータ
１６−１は第６図に示すネットワーク構成を有する。

第６図において、入力層２２、かくれ層２４及び出力層
２６で成る多層ネットワーク構造は通常のニューラルネ
ットワークと同じであるが、リカレント機能を持たせる
ために入力層２２と並列にコンテキスト層２８を設けて
いる。コンテキスト層２８はかくれ層２４と同じ数のユ
ニット構成を持ち、入力層２２と同様、コンテキスト層
２８のユニットの全てをかくれ層２４のユニットの１つ
１つに結合している。コンテキスト層２８は最初の時系
列データの入力時には０にセットされているが、２回目
以降の時系列データの入力時にはがくれ層２４の出力値
がコピーされており、入力層２２とコンテキスト層２８
を１つの入力層、即ち大入力層とし、かくれ層２４及び
出力層２６の処理が行われる。

このような時系列データの２番目以降におけるコンテキ
スト層２８に対する前回のかくれ層２４の出力のコピー
につき、第１２図に示した従来のりカレント型ニューラ
ルネットワークにあってはかくれ層２４の出力値をその
ままコピーしているが、本発明のりカレント型ニューラ
ルネットワークにあっては、かくれ層２４の出力値に所
定の履歴係数Ｋを乗算した値をコピーし、履歴係数Ｋを
１以下の値とすることで１時刻前の影響を少なくし、ご
く最近のデータに依存しやすいというリカレント型のニ
ューラルネットワークの問題を解決している。

第６図のネットワーク構成を持つ第１ニューロコンピュ
ータにおけるアルゴリズムは、例えば学習用の時系列デ
ータが時刻ｔ１〜ｔ５の５つに時間的に分かれて入力す
るものとすると、■最初の時刻ｔ１の時系列入力パター
ンによる重み学習時には、コンテキスト層２８の各ユニ
ットに出力値０をセットし、入力層２２にコンテキスト
層２８を加えた層を入力層（大入力層）として重み学習
を実行する。

■時刻ｔ２以降の時系列入力パターンによる重み学習時
には、前回のかくれ層２４の出力値に所定の履歴係数Ｋ
を乗算した値をコンテキスト層２８にコピーして同様に
重み学習を実行する。

勿論、１つの動作を示す時刻ｔ１〜ｔ５の時系列データ
による学習が終了して次の動作の時系列データを入力し
て学習する際には、当然にコンテキスト層２８は出力値
Ｏの状態にセットされる。

再び第２図を参照するに、動作学習部１２の学習データ
生成部１４で生成された学習データに基づき第１ニュー
ロコンピュータ１６−１の学習が実行され、教師信号と
ネットワーク出力との誤差がある値に収束したならば学
習終了を判定し、その時、第１ニューロコンピュータ１
６−１のネットワークの結合の重みを取出して重み記憶
部１８に格納する。即ち、重み記憶部１−８は動作学習
部１２で１．つの動作毎の学習が終了すると各動作毎に
得られたネットワークの結合の重みを記憶するようにな
る。

次にバックプロパゲーション法によるニューロコンピュ
ータの学習原理を説明する。

バックプロパゲーション法を適用するネットワークは、
第８図に示すように多層ネットワークであり、各層は多
くのユニットで構成されており、各ユニットは互いにあ
る重みで結合されている。

このネットワークに入力パターンと、望ましい出カバタ
ーンの組を与えることによって、ネットワークの重みを
学習させることができる。

学習は以下のように進められる。ネットワークに成る入
力パターンを与え、出力を得る。その出力が正しくなけ
れば、正しい又は望ましい出力値（教師信号）をネット
ワークに教える。すると、ネットワークは正しい出力と
実際の出力値の差が減少するように、ネットワークの内
部構造（結合の重み）を調整する。これを何度も繰り返
すことによって、ネットワークは成る入出力関係を満た
ずような重みを、自動的に学習していくのである。

この学習アルゴリズムをバックプロパゲーション法とい
う。

このようにして学習したネットワークを用いると、学習
させた入力パターンについては教示した正しい出力を返
すが、更に学習させていない入力パターンについても学
習した入出カバターンを補間した出カバターンを返す。

これが、ニューラルネットの大きな特徴となっている。

以下に、この学習原理を詳細に説明する。

まず学習対象となるニューラルネットワークは多層ネッ
トワーク構造になっている。各層は多くのユニットで構
成されており、各ユニット間には、各々結合の重みＷが
定義される。各ユニットは以下に示すようにしてネット
ワークの出力値を計算する。

第７図に示すように、あるユニットが複数のユニットか
ら入力を受けた場合、その総和に各ユニットの閾値θを
加えたものが、入力値ｎｅｔになる。

ｎｅｔ−Σｗ、、Ｏ，十〇 Ｗｔ　　・ユニットＵ　からユニットＵｌへの結合の重
み Ｏ５：ユニットＵ、の出力 ユニットの出力値はこの入力の総和ｎｅｔに、活性化関
数を適用して計算される。活性化関数には微分可能な非
線型関数であるシグモイド関数を用いると、ユニットＵ
、の出力値Ｏ１はＯｒ　＝１−／　（１−＋ｅｘｐ（−
ｎｅｔｌ）　）になる。

バックプロパゲーション法で用いるネットワークは、−
船釣には多層のネットワークであるが、ここでは通常よ
く用いられる、第８図に示すような３層のネットワーク
の場合について述べる。３つの層は入力層２２、隠れ層
２４、出力層２６と呼ばれており、各層は多くのユニッ
トて構成される。隠れ層２４の各ユニットは、入力層２
２の全てのユニットと結合している。出力層２６の各ユ
ニットは、隠れ層２４の全てのユニットと結合している
。各層内での結合は無い。

入力層２２の各ユニットには、ネットワークへの入力デ
ータが与えられる。

従って、隠れ層２４の各ユニットの出力値１〕は、ｎｅ
ｔ、＝ΣＷ　ｌ　ｋ　ｄ　ｋ＋θ＋　　　　　　　（１
）ｈ　＋　＝　１．　／　（］−＋ｅｘｐ（−ｎｅｔ、
　）　）　　　　　（２）ｄｋ　：］ｃ番目の入カユニ
ットの出力り、：ｊ番目の隠れユニットの出力値 Ｗ　１ｙ　；　ｌ（番目の入カニニットと、ｊ番目の隠
れユニット間の結合の重み θ、＝ｊ番目の隠れユニットの閾値 になる。

また、出力層の各ユニットの出力値Ｏは、前記（１）、
　　（２）式より ｎｅ　ｔ＋　−ΣＷ　＋　ｈ　ｄ　ｋ＋ΣＷ　、　、　
ｈ　＋　＋θ１　（３）ト ０、−＝　１−／　（１＋ｅｘｐ（−ｎｅｔ＋　）　）
（４）ｈｌ：ｊ番目の隠れユニットの出力値 ｏ、：ｉ番目の出カニニットの出力値 ｗ、１：ｊ番目の隠れユニットと、１番目の出カニニッ
ト間の結合の重み δ１　：１番目の出カニニットの閾値 衣にネットワークの出力が、望ましい出力になるように
、ネットワークの重みを変える。あるパターンｐを与え
た時の実際の出力値（０，、）と、望ましい出力値（ｔ
い１）の平均２乗誤差をとる。

Ｅｐ−（ｔ、ｌ−０，ｌ）２／２　　　　　（５）学習
させるためには、この誤差を減らすように、次の学習規
則に従ってネットワーク中の全ての重みを変える。

［出力層についての学習規則］ ■隠れ層のユニット−出力層のユニットの間の重みの変
化 ΔＷ＋＋　（ｎ）　−７７ΣδｐＨ１，１−１−αΔＷ
、、（ｎ　　１）■入力層のユニット−出力層のユニッ
トの間の重みの変化 ΔＷｌｋ　（ｎ）　＝７７Σδ１ｌｌ１１ｐｋ＋αΔＷ
、ｋ（ｎ−１）但し、ｎ：学習回数　　　　　　　　　
　（７）α；モーメンタム δ、、＝＝　（ｔｐ＋−Ｏｐ＋）　　Σδ、、Ｗ、、　
　　　　、（Ｓ）［隠れ層についての学習規則］ 入力層のユニット−隠れ層のユニットの間の重みの変化 ΔＷ、ｋ　（ｎ）　−７７Σδ、、１１．Ｉ＋αΔｗ＋
ｋ（ｎ−ｉ−）δ１”　ｂ　ｎ＋　（Ｉ　　Ｉｔ　ｐ＋
）Σδ、、Ｗ、、　　　　（Ｉｎ）以上の学習により、
重み記憶部１８ではネットワークの重みを学習終了或い
は任意の学習段階で保存する。

再び第２図を参照して次に動作認識部２０を説明する。

動作認識部２０には第２ニューロコンピューター　６−
２が設けられ、第２ニューロコンピュータ１６−２は第
６図に示した第１ニューロコンピュータ１６−１と同じ
ネットワーク自身が過去の経歴を保持できるリカレント
機能を有する。

即ち、第２ニューロコンピュータ１６−２の入力層２２
、かくれ層２４、出力層２６及びコンテキスト層２８で
成るネットワーク構成を有する。

第２ニューロコンピュータ１６−２は初期状態でネット
ワークの重みの結線は全て０であるが、動作認識に先立
ち重み記憶部１８に記憶されている動作学習部１２の学
習により得られた同じ第１ニューロコンピュータ１６−
１から取出されたネットワークの結線の重みを読出して
設定（移植）する。この重み記憶部１８に記憶されたネ
ットワークの結合の重みの第２ニューロコンピュータ１
６−２に対する移植により、第２ニューロコンピュータ
１６−２は学習データ生成部１４で生成された学習デー
タにより学習が済んだと同じネットワークの結合の重み
状態を実現することができる。

このような学習結果から得られた重み設定を受けた第２
ニューロコンピュータ１６−２による動作認識は、動作
測定部１０からある動作を示す時系列データが入力され
ると、第６図に示したと同じ構造のりカレント型のニュ
ーラルネットワークは次のアルゴリズムを実行する。

■動作測定部から最初の時刻ｔ１の時系列データ入力時
には、コンテキスト層２８のユニットに出力値Ｏをセッ
トし、入力層２２にコンテキスト層２８を加えた層を入
力層としてネットワーク動作を行う。

■時刻ｔ１以降の時系列データ入力時には前回のかくれ
層２４の出力値に所定の履歴係数Ｋを乗算した値をコン
テキスト層２８にコピーして同様にネットワーク動作を
行う。

そして順次入力する時系列データに対するネットワーク
出力は格別な意味を持たないが、最後に入力した時系列
データに対するネットワーク出力がそれまでの時系列デ
ータの集積結果としてもたらされた何の動作であるかを
示す認識された動作のビットパターンであり、この最後
に出力されたネットワーク出力のビットパターンにより
動作の認識結果を得ることができる。

第９図は本発明の動作測定部１０から得られる時系列デ
ータの具体例を示した説明図であり、この測定データに
あっては時刻ｔ＝１から時刻ｔ５までの５段階の各時刻
で検出された測定データの時系列を示しており、データ
グローブを使用して手話による手の動きを測定したもの
で、１０本の指の曲げ角度（１０データ）、３次元位置
（Ｘ。

Ｙ、Ｚの３データ）及び手のひねり角度（３データ）を
測定している。

第１０図は第９図の測定データから本発明の動作学習部
］２に設けた学習データ生成部１−４で生成された入力
時系列データと教師信号（教師ビットパターン）を示す
。即ち、時刻ｔ−１−〜ｔ＝５までの５つの時系列デー
タのそれぞれにおける測定データを入力データとして、
この入力データに対応して何の動作であるかを示す教師
ビットパターン００１を生成している。尚、実際に生成
される学習用の入力データは第１−０図に示す生データ
ではなく０〜１の範囲に正規化された値となる。

そして、この第１０図に示す学習データを使用してバッ
クプロパゲーション法に従った第１ニューロコンピュー
タ］−６−１の学習を行う。

第１１−図は第１０図の学習データを使用して第１ニュ
ーロコンピュータ１６−１−の学習を行い、その学習結
果から得られたネットワークの内部結合の重みを動作認
識部２０の第２ニューロコンピュータ１６−２に移植し
て動作測定部１０より時刻ｔ＝１〜ｔ＝５に示す同じ測
定データを時系列的に入力した場合の認識結果を示す。

この第１１−図の認識結果から明らかなように、時刻１
−］〜ｔ＝４までのネットワーク出力は不定であるが、
最後のｊ　＝　５の測定データの入力に対しネッ）・ワ
ークの出力として動作ビットパターン００１が得られ、
本発明による動作認識機能が確実に行われることが確認
されている。

［発明の効果］ 以上説明してきたように本発明によれば、より自然なコ
ンピュータ等への入力ができるマンマシンインタフェー
スを実現することができる。

また手話等の多種多様で個人差の大きい（手話等による
）手の動きを正確に認識することができ、手話のできる
人と手話のできない人の間でコミュニケーションを行う
ための有用な装置を実現できる。

更に人が代わって学習データとは動きが若干界なる動作
の時系列データを入力しても、学習済みデータの場合に
近い認識結果を得ることができ、その都度プログラムを
組み直す必要はなく高い柔軟性を有する。

【図面の簡単な説明】

第１図は本発明の原理説明図； 第２図は本発明の実施例構成図； 第３図は本発明の動作測定部の実施例構成図；第４図は
本発明の学習データ生成部の実施例構成図； 第５図は本発明の学習データ説明図； 第６図は本発明のりカレント型ニューロコンピュータ構
成図； 第７図はニューラルネットワークのユニット説明図； 第８図はニューラルネットワーク構成図；第９図は本発
明の動作測定部からのデータ説明図；第１０図は本発明
の動作学習部のデータ説明図；第１Ｊ図は本発明の動作
認識部のデータ説明図；第１−２図は従来のりカレント
型ニューラルネットワーク構成図である。 図中、 １０・ １２： １４： １８： ２０： ２２： ２４： ２６： ２８： 動作測定部 動作学習部 学習データ生成部 １：第１−ニューロコンピュータ ２：第２ニューロコンピュータ 重み記憶部 動作認識部 入力層 かくれ層 出力層 コンテキスト層

Claims (6)

【特許請求の範囲】
1. （１）コンピュータ等への指示を人間の動作で与えるシ
   ステムにおいて、 手、指、腕等の人間の３次元的な動きをある一定時間毎
   に測定して時系列データとして出力する動作測定部（１
   ０）と； 該動作測定部から得られた１動作を示す入力時系列デー
   タと該入力時系列データに対する教師信号とでなる学習
   データを生成する学習データ生成部（１４）と、該学習
   データ生成部（１４）の学習データを使用してネットワ
   ークの結合の重みを学習させる時系列データ処理構造を
   有する第１ニューロコンピュータ（１６−１）を備えた
   動作学習部（１２）と；該動作学習部（１２）による学
   習が済んだ状態で前記第１ニューロコンピュータ（１６
   −１）から得られたネットワークの結合の重みを記憶す
   る重み記憶部（１８）と； 時系列データ処理構造を有する第２のニューロコンピュ
   ータ（１６−２）を備え、前記重み記憶部（１８）に記
   憶されたネットワークの結合の重みを前記第２ニューロ
   コンピュータに設定した後に前記動作測定部（１０）か
   らの時系列データを入力して動作パターンを認識する動
   作認識部（２０）と； を備えたことを特徴とするニューロコンピュータを用い
   た動作認識装置。
2. （２）請求項１記載のニューロコンピュータを用いた動
   作認識装置に於いて、 前記動作学習部（１２）に設けられた時系列データ処理
   構造を有する第１ニューロコンピュータ（１６−１）は
   、 １又は複数の時系列データを並列的に順次入力する複数
   ユニットを備えた入力層（２２）と；該入力層（２２）
   の全てのユニットと結合するユニットを複数備えたかく
   れ層（２４）と； 前記かくれ層（２４）の全てのユニットと結合されるユ
   ニットを複数備えた出力層（２６）と；前記入力層（２
   ２）と並列に設けられ、前記かくれ層（２４）と同じ数
   のユニットを備えると共に該ユニットの全てを前記かく
   れ層（２４）のユニットの１つ１つに結合したコンテキ
   スト層（２８）と；を備え、最初の時系列入力データに
   よる重み学習時には前記コンテキスト層（２８）のユニ
   ットに出力値０をセットし、前記入力層（２２）にコン
   テキスト層（２８）を加えた層を入力層として重み学習
   を実行し、２番目以降の時系列入力パターンによる重み
   学習時には、前回のかくれ層（２４）の出力値に所定の
   履歴係数を乗算した値をコンテキスト層（２８）にコピ
   ーして同様に重み学習を実行することを特徴とするニュ
   ーロコンピュータを用いた動作認識装置。
3. （３）請求項１記載のニューロコンピュータを用いた動
   作認識装置に於いて、 前記動作認識部（２０）に設けられた時系列データ処理
   構造を有する第２ニューロコンピュータ（１６−２）は
   、 １又は複数の時系列データを並列的に順次入力する複数
   ユニットを備えた入力層（２２）と；該入力層（２２）
   の全てのユニットと結合するユットを複数備えたかくれ
   層（２４）と； 前記かくれ層（２４）の全てのユニットと結合されるユ
   ニットを複数備えた出力層（２６）と；前記入力層（２
   ２）と並列に設けられ、前記かくれ層（２４）と同じ数
   のユニットを備えると共に該ユニットの全てを前記かく
   れ層（２４）のユニットの１つ１つに結合したコンテキ
   スト層（２８）と；を備え、前記動作測定部（１０）か
   らの最初の時系列データの入力時には前記コンテキスト
   層（２８）のユニットに出力値０をセットし、前記入力
   層（２２）にコンテキスト層（２８）を加えた層を入力
   層として動作し、２番目以降の時系列データの入力時に
   は、前回のかくれ層（２４）の出力値に所定の履歴係数
   を乗算した値をコンテキスト層（２８）にコピーして同
   様に動作することを特徴とするニューロコンピュータを
   用いた動作認識装置。
4. （４）請求項１記載のニューロコンピュータを用いた動
   作認識装置に於いて、 前記動作学習部（１２）に設けた学習データ生成部（１
   ４）は、 １動作当りの時系列データを正規化する第１手段と； 該第１手段で得られた正規化時系列データにより認識さ
   れる動作を示す教師信号を生成する第２手段と； バックプロパゲーション法による重み学習に使用する学
   習パラメータを設定する第３手段と；前記第１乃至第３
   手段で得られた正規化時系列データ、教師信号、学習パ
   ラメータを学習データとして格納する第４手段と； を備えたことを特徴とするニューロコンピュータを用い
   た動作認識装置。
5. （５）請求項４記載のニューロコンピュータを用いた動
   作認識装置に於いて、 前記第３手段は、バックプロパゲーション法に使用する
   学習パラメータとしてラーニングレートα及びモーメン
   タムηの各値を設定することを特徴とするニューロコン
   ピュータを用いた動作認識装置。
6. （６）請求項１記載のニューロコンピュータを用いた動
   作認識装置に於いて、 前記動作測定部（１０）は、人間の時系列的な動作を検
   出する複数のセンサを備えたデータグローブ又はボディ
   スーツであることを特徴とするニューロコンピュータを
   用いた動作認識装置。