JPH04222014A - ニューラルネットワークを用いた手話自動翻訳装置およびその翻訳方法 - Google Patents
ニューラルネットワークを用いた手話自動翻訳装置およびその翻訳方法Info
- Publication number
- JPH04222014A JPH04222014A JP2406051A JP40605190A JPH04222014A JP H04222014 A JPH04222014 A JP H04222014A JP 2406051 A JP2406051 A JP 2406051A JP 40605190 A JP40605190 A JP 40605190A JP H04222014 A JPH04222014 A JP H04222014A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- layer
- output
- sign language
- hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Input From Keyboards Or The Like (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は、ニューラルネットワー
クを使用して、手話者が手話によって表現する単語、意
味、文章等を自動的に翻訳するニューラルネットワーク
を用いた手話自動翻訳装置およびその翻訳方法に関する
。
クを使用して、手話者が手話によって表現する単語、意
味、文章等を自動的に翻訳するニューラルネットワーク
を用いた手話自動翻訳装置およびその翻訳方法に関する
。
【０００２】
【従来の技術】従来、手話の動作を行うロボットは研究
段階として考えられているが、逆に手話者が手話によっ
て表現する単語、意味、文章等を自動的に日常語または
会話言葉に翻訳する装置はない。このような装置は、手
話を知らない一般の人と手話者との間のコミュニケーシ
ョンのためにも必要なものである。
段階として考えられているが、逆に手話者が手話によっ
て表現する単語、意味、文章等を自動的に日常語または
会話言葉に翻訳する装置はない。このような装置は、手
話を知らない一般の人と手話者との間のコミュニケーシ
ョンのためにも必要なものである。
【０００３】
【発明が解決しようとする課題】手話者が手話によって
表現する単語、意味、文章等を自動的に日常語または会
話言葉に翻訳する装置はなく、手話を知らない一般の人
と手話者との間のコミュニケーションのためにもこのよ
うな装置は必要なものである。
表現する単語、意味、文章等を自動的に日常語または会
話言葉に翻訳する装置はなく、手話を知らない一般の人
と手話者との間のコミュニケーションのためにもこのよ
うな装置は必要なものである。
【０００４】本発明は、上記に鑑みてなされたもので、
その目的とするところは、手話者が手話によって表現す
る単語、意味、文章等を手話を知らない人にわかるよう
に日常語に自動的に翻訳するニューラルネットワークを
用いた手話自動翻訳装置およびその翻訳方法を提供する
ことにある。
その目的とするところは、手話者が手話によって表現す
る単語、意味、文章等を手話を知らない人にわかるよう
に日常語に自動的に翻訳するニューラルネットワークを
用いた手話自動翻訳装置およびその翻訳方法を提供する
ことにある。
【０００５】
【課題を解決するための手段】上記目的を達成するため
、本発明のニューラルネットワークを用いた手話自動翻
訳装置は、手の各指の各関節角度を検知する第１の検知
手段と、手の位置および方向を検知する第２の検知手段
と、前記第１および第２の検知手段からの検知信号を供
給される複数のユニットからなる入力層、該入力層から
の出力信号を供給されるように結合される複数のユニッ
トからなる少なくとも１層以上の中間層および該中間層
からの出力信号を供給されるように結合される複数のユ
ニットからなり、各ユニットから手話翻訳結果が出力さ
れる出力層を有し、各隣合う層のユニット同志が固有の
重み係数をもってもれなく結合されており、前の層のユ
ニットの出力値に前記重みを乗じた値が後の層のユニッ
トに入力され、後の層のユニットは前の層のすべてのユ
ニットからの値の総和を計算し、出力関数として定義さ
れる非線形変換を施した後、次の層に出力するニューラ
ルネットワークと、該ニューラルネットワークから出力
される手話翻訳結果を言語レベルに変換する変換手段と
を有することを要旨とする。
、本発明のニューラルネットワークを用いた手話自動翻
訳装置は、手の各指の各関節角度を検知する第１の検知
手段と、手の位置および方向を検知する第２の検知手段
と、前記第１および第２の検知手段からの検知信号を供
給される複数のユニットからなる入力層、該入力層から
の出力信号を供給されるように結合される複数のユニッ
トからなる少なくとも１層以上の中間層および該中間層
からの出力信号を供給されるように結合される複数のユ
ニットからなり、各ユニットから手話翻訳結果が出力さ
れる出力層を有し、各隣合う層のユニット同志が固有の
重み係数をもってもれなく結合されており、前の層のユ
ニットの出力値に前記重みを乗じた値が後の層のユニッ
トに入力され、後の層のユニットは前の層のすべてのユ
ニットからの値の総和を計算し、出力関数として定義さ
れる非線形変換を施した後、次の層に出力するニューラ
ルネットワークと、該ニューラルネットワークから出力
される手話翻訳結果を言語レベルに変換する変換手段と
を有することを要旨とする。
【０００６】また、本発明のニューラルネットワークを
用いた手話自動翻訳方法は、計測済みの各手話翻訳結果
に対応する手の各指の各関節角度および手の位置および
方向情報の時系列データを教師信号としてニューラルネ
ットワークの入力層に供給して得られる出力層の出力信
号と理想的な出力信号との誤差を使用してニューラルネ
ットワークの各ユニット間の重みの値を変更し、手の各
指の各関節角度および手の位置および方向の入力情報に
対応する正しい手話翻訳結果を出力するようにニューラ
ルネットワークを学習させ、この学習したニューラルネ
ットワークの入力層に未知の手の各指の各関節角度およ
び手の位置および方向情報の時系列データを入力して、
該入力情報に対応する手話翻訳結果をニューラルネット
ワークの出力層から出力することを要旨とする。
用いた手話自動翻訳方法は、計測済みの各手話翻訳結果
に対応する手の各指の各関節角度および手の位置および
方向情報の時系列データを教師信号としてニューラルネ
ットワークの入力層に供給して得られる出力層の出力信
号と理想的な出力信号との誤差を使用してニューラルネ
ットワークの各ユニット間の重みの値を変更し、手の各
指の各関節角度および手の位置および方向の入力情報に
対応する正しい手話翻訳結果を出力するようにニューラ
ルネットワークを学習させ、この学習したニューラルネ
ットワークの入力層に未知の手の各指の各関節角度およ
び手の位置および方向情報の時系列データを入力して、
該入力情報に対応する手話翻訳結果をニューラルネット
ワークの出力層から出力することを要旨とする。
【０００７】
【作用】本発明のニューラルネットワークを用いた手話
自動翻訳装置では、手の各指の各関節角度と手の位置お
よび方向を検知するとともに、それぞれ複数のユニット
からなる入力層、中間層および出力層を有し、各隣合う
層のユニット同志が固有の重み係数をもってもれなく結
合されており、前の層のユニットの出力値に前記重みを
乗じた値が後の層のユニットに入力され、後の層のユニ
ットは前の層のすべてのユニットからの値の総和を計算
し、出力関数として定義される非線形変換を施した後、
次の層に出力するニューラルネットワークに前記検知信
号を供給し、該ニューラルネットワークから出力される
手話翻訳結果を言語レベルに変換する。
自動翻訳装置では、手の各指の各関節角度と手の位置お
よび方向を検知するとともに、それぞれ複数のユニット
からなる入力層、中間層および出力層を有し、各隣合う
層のユニット同志が固有の重み係数をもってもれなく結
合されており、前の層のユニットの出力値に前記重みを
乗じた値が後の層のユニットに入力され、後の層のユニ
ットは前の層のすべてのユニットからの値の総和を計算
し、出力関数として定義される非線形変換を施した後、
次の層に出力するニューラルネットワークに前記検知信
号を供給し、該ニューラルネットワークから出力される
手話翻訳結果を言語レベルに変換する。
【０００８】また、本発明のニューラルネットワークを
用いた手話自動翻訳方法では、計測済みの各手話翻訳結
果に対応する手の各指の各関節角度および手の位置およ
び方向情報の時系列データを教師信号としてニューラル
ネットワークの入力層に供給して得られる出力層の出力
信号と理想的な出力信号との誤差を使用してニューラル
ネットワークの各ユニット間の重みの値を変更し、手の
各指の各関節角度および手の位置および方向の入力情報
に対応する正しい手話翻訳結果を出力するようにニュー
ラルネットワークを学習させ、この学習したニューラル
ネットワークの入力層に未知の手の各指の各関節角度お
よび手の位置および方向情報の時系列データを入力して
、該入力情報に対応する手話翻訳結果をニューラルネッ
トワークの出力層から出力する。
用いた手話自動翻訳方法では、計測済みの各手話翻訳結
果に対応する手の各指の各関節角度および手の位置およ
び方向情報の時系列データを教師信号としてニューラル
ネットワークの入力層に供給して得られる出力層の出力
信号と理想的な出力信号との誤差を使用してニューラル
ネットワークの各ユニット間の重みの値を変更し、手の
各指の各関節角度および手の位置および方向の入力情報
に対応する正しい手話翻訳結果を出力するようにニュー
ラルネットワークを学習させ、この学習したニューラル
ネットワークの入力層に未知の手の各指の各関節角度お
よび手の位置および方向情報の時系列データを入力して
、該入力情報に対応する手話翻訳結果をニューラルネッ
トワークの出力層から出力する。
【０００９】
【実施例】以下、図面を用いて本発明の実施例を説明す
る。
る。
【００１０】図１は、本発明の一実施例に係わるニュー
ラルネットワークを用いた手話自動翻訳装置の全体構成
図である。この手話自動翻訳装置は、手話者の手の各指
の各関節角度を検知するセンサであるデータグローブ１
および手の位置および方向を検知する位置方向センサ３
を有する。
ラルネットワークを用いた手話自動翻訳装置の全体構成
図である。この手話自動翻訳装置は、手話者の手の各指
の各関節角度を検知するセンサであるデータグローブ１
および手の位置および方向を検知する位置方向センサ３
を有する。
【００１１】データグローブ１は、伸縮する布で形成さ
れた手袋に図のように光ファイバを各指に沿って取り付
けたものであり、ファイバが曲げられると、このファイ
バを通過する光の量が変化する原理を利用して、各指の
各関節角度を検知するものである。また、位置方向セン
サ３は、ある基準位置からの距離、基準方向に対する方
向を検知するものである。
れた手袋に図のように光ファイバを各指に沿って取り付
けたものであり、ファイバが曲げられると、このファイ
バを通過する光の量が変化する原理を利用して、各指の
各関節角度を検知するものである。また、位置方向セン
サ３は、ある基準位置からの距離、基準方向に対する方
向を検知するものである。
【００１２】前記データグローブ１で検知された各指の
各関節角度信号および位置方向センサ３で検知された手
の位置および方向信号は、時系列データとして入力側変
換装置５を介してニューラルネットワーク１０に供給さ
れる。
各関節角度信号および位置方向センサ３で検知された手
の位置および方向信号は、時系列データとして入力側変
換装置５を介してニューラルネットワーク１０に供給さ
れる。
【００１３】ニューラルネットワーク１０は、丸印で示
すニューロンである複数のユニットからなり、各指の各
関節角度、手の位置および方向信号が供給される入力層
７、該入力層７からの出力信号を供給されるように結合
される複数のユニットからなる少なくとも１層以上の中
間層９および該中間層９からの出力信号を供給されるよ
うに結合される複数のユニットからなり、各ユニットか
ら例えば図示のように単語１、単語２、・・・単語７の
ような手話翻訳結果が出力される出力層１１の３層から
構成され、各隣合う層のユニット同志が固有の重み係数
をもってもれなく結合されている。また、このニューラ
ルネットワーク１０において、前の層のユニットの出力
値に前記重みを乗じた値が後の層のユニットに入力され
、後の層のユニットは前の層のすべてのユニットからの
値の総和を計算し、出力関数として定義される非線形変
換を施した後、次の層に出力するようになっている。
すニューロンである複数のユニットからなり、各指の各
関節角度、手の位置および方向信号が供給される入力層
７、該入力層７からの出力信号を供給されるように結合
される複数のユニットからなる少なくとも１層以上の中
間層９および該中間層９からの出力信号を供給されるよ
うに結合される複数のユニットからなり、各ユニットか
ら例えば図示のように単語１、単語２、・・・単語７の
ような手話翻訳結果が出力される出力層１１の３層から
構成され、各隣合う層のユニット同志が固有の重み係数
をもってもれなく結合されている。また、このニューラ
ルネットワーク１０において、前の層のユニットの出力
値に前記重みを乗じた値が後の層のユニットに入力され
、後の層のユニットは前の層のすべてのユニットからの
値の総和を計算し、出力関数として定義される非線形変
換を施した後、次の層に出力するようになっている。
【００１４】ニューラルネットワーク１０からの出力信
号は、出力側変換装置１３によって言語レベルまたは聴
覚レベル情報に変換されて、ディスプレイ１５およびス
ピーカ１７に供給され、ディスプレイ１５から文字とし
て表示されるとともに、スピーカ１７から音声として出
力される。
号は、出力側変換装置１３によって言語レベルまたは聴
覚レベル情報に変換されて、ディスプレイ１５およびス
ピーカ１７に供給され、ディスプレイ１５から文字とし
て表示されるとともに、スピーカ１７から音声として出
力される。
【００１５】図１に示すニューラルネットワーク１０の
出力層１１は、７つのユニットを有し、それぞれ７つの
単語または意味を出力するようになっている。この単語
または意味の数は出力層１１のユニットの数を変えるこ
とによって自由に設定できる。手話者が手話を行った場
合に、出力層１１のあるユニットから近似的に「１」の
値が出力され、その他のユニットから近似的に「０」の
値が出力された場合、手話者がデータグローブ１によっ
て表現した単語または意味はその近似的に「１」の値が
出力されたユニットが代表する単語または意味であるこ
とを意味する。
出力層１１は、７つのユニットを有し、それぞれ７つの
単語または意味を出力するようになっている。この単語
または意味の数は出力層１１のユニットの数を変えるこ
とによって自由に設定できる。手話者が手話を行った場
合に、出力層１１のあるユニットから近似的に「１」の
値が出力され、その他のユニットから近似的に「０」の
値が出力された場合、手話者がデータグローブ１によっ
て表現した単語または意味はその近似的に「１」の値が
出力されたユニットが代表する単語または意味であるこ
とを意味する。
【００１６】以上のように構成されるニューラルネット
ワーク１０による手話自動翻訳は大別して２つのプロセ
スからなる。
ワーク１０による手話自動翻訳は大別して２つのプロセ
スからなる。
【００１７】第１のプロセスは学習プロセスである。こ
の学習プロセスでは、サンプルとして手話者が手話を行
った場合のデータグローブ１および位置方向センサ３の
出力信号を教師信号としてニューラルネットワーク１０
の入力層７に入力して得られる出力層の出力と理想的な
出力（手話者が手話によって表現した単語、意味を代表
するユニットの出力のみ「１」であり、その他のユニッ
トの出力は「０」であるような出力）との誤差を使用し
てニューラルネットワーク１０を改善し、正しいニュー
ラルネットワーク１０を構成する。このニューラルネッ
トワークの構成は、逆伝搬学習則（バックプロパゲーシ
ョン）という手法によってユニット間の重みの値を変え
ていき、最終的に手話者が手話を行った場合のデータグ
ローブ１および位置方向センサ３の出力値を入力すると
、手話者が表現しようとした正しい単語または意味のユ
ニットのみ「１」を出力するようなニューラルネットワ
ークを構成するものである。
の学習プロセスでは、サンプルとして手話者が手話を行
った場合のデータグローブ１および位置方向センサ３の
出力信号を教師信号としてニューラルネットワーク１０
の入力層７に入力して得られる出力層の出力と理想的な
出力（手話者が手話によって表現した単語、意味を代表
するユニットの出力のみ「１」であり、その他のユニッ
トの出力は「０」であるような出力）との誤差を使用し
てニューラルネットワーク１０を改善し、正しいニュー
ラルネットワーク１０を構成する。このニューラルネッ
トワークの構成は、逆伝搬学習則（バックプロパゲーシ
ョン）という手法によってユニット間の重みの値を変え
ていき、最終的に手話者が手話を行った場合のデータグ
ローブ１および位置方向センサ３の出力値を入力すると
、手話者が表現しようとした正しい単語または意味のユ
ニットのみ「１」を出力するようなニューラルネットワ
ークを構成するものである。
【００１８】第２プロセスは上述した学習によって完成
されたニューラルネットワークを使用して、未知の手話
者が手話を行った場合のデータグローブ１および位置方
向センサ３の出力信号をニューラルネットワーク１０の
入力層７に入力し、出力層１１からの出力によって手話
者が表現しようとした単語または意味を判別するもので
ある。
されたニューラルネットワークを使用して、未知の手話
者が手話を行った場合のデータグローブ１および位置方
向センサ３の出力信号をニューラルネットワーク１０の
入力層７に入力し、出力層１１からの出力によって手話
者が表現しようとした単語または意味を判別するもので
ある。
【００１９】従って、手話者が手話をした場合のデータ
グローブ１および位置方向センサ３からの出力信号をニ
ューラルネットワーク１０の入力層７に入力し、逆伝搬
学習則によって学習すれば、対象とする手話を判別する
ニューラルネットワークが形成される。そして、学習が
終わった後に未知の手話者が手話をした場合のデータグ
ローブ１および位置方向センサ３からの出力信号をニュ
ーラルネットワーク１０に入力すれば、その手話の単語
または意味が何であるかを即座に判別することができる
。
グローブ１および位置方向センサ３からの出力信号をニ
ューラルネットワーク１０の入力層７に入力し、逆伝搬
学習則によって学習すれば、対象とする手話を判別する
ニューラルネットワークが形成される。そして、学習が
終わった後に未知の手話者が手話をした場合のデータグ
ローブ１および位置方向センサ３からの出力信号をニュ
ーラルネットワーク１０に入力すれば、その手話の単語
または意味が何であるかを即座に判別することができる
。
【００２０】次に、実際の手話について説明し、本手話
自動翻訳装置をどのように適用するかを説明する。手話
はいくつかの身体や手の動きの動作単位を組み合わせて
行う映像的な表現様式である。動作単位の簡単なものに
は指文字がある。これは助詞や助動詞、活用語尾等を表
現するために使用され、手話で音声語を表現することが
できるものである。
自動翻訳装置をどのように適用するかを説明する。手話
はいくつかの身体や手の動きの動作単位を組み合わせて
行う映像的な表現様式である。動作単位の簡単なものに
は指文字がある。これは助詞や助動詞、活用語尾等を表
現するために使用され、手話で音声語を表現することが
できるものである。
【００２１】５０音の指文字の一例を図２に示し、アル
ファベットの指文字を図３に示す。このような指文字の
場合は片方の手で表現することができる。従って、この
指文字の翻訳を本手話自動翻訳装置で実現するためには
、データグローブ１をはめて、各々の指文字の形を作り
、各指文字に対応する教師信号を与え、ニューラルネッ
トワーク１０で学習させればよい。
ファベットの指文字を図３に示す。このような指文字の
場合は片方の手で表現することができる。従って、この
指文字の翻訳を本手話自動翻訳装置で実現するためには
、データグローブ１をはめて、各々の指文字の形を作り
、各指文字に対応する教師信号を与え、ニューラルネッ
トワーク１０で学習させればよい。
【００２２】但し、指文字の「の」や「り」等は他の指
文字と異なり、動作が静的でなく、動的なものであるの
で、この場合には図１に示すように例えばフットスイッ
チ等からなるデータ区分スイッチ１９および動作分割ス
イッチ２１を使用して、動作時の検知出力信号を区切り
、時系列データにしてニューラルネットワーク１０に入
力させて学習させればよい。しかしながら、人によって
動作の速度等が異なるため、区切り方を工夫する必要が
ある。指文字の場合は、単純な動的動作のため動作の始
めと終わりのデータを動作分割スイッチ２１で切り出し
て入力すればよい。
文字と異なり、動作が静的でなく、動的なものであるの
で、この場合には図１に示すように例えばフットスイッ
チ等からなるデータ区分スイッチ１９および動作分割ス
イッチ２１を使用して、動作時の検知出力信号を区切り
、時系列データにしてニューラルネットワーク１０に入
力させて学習させればよい。しかしながら、人によって
動作の速度等が異なるため、区切り方を工夫する必要が
ある。指文字の場合は、単純な動的動作のため動作の始
めと終わりのデータを動作分割スイッチ２１で切り出し
て入力すればよい。
【００２３】また、実際の手話は図４に示すように行わ
れる。図４は、「私の友達、林さんです」という手話を
行っている状態を示している。この場合は、まず手話に
使用する動作単位毎の単語、意味をニューラルネットワ
ーク１０に学習させておき、翻訳時には手話者に動作単
位毎に動作分割スイッチ２１で区切りを入れてもらって
、動作単位毎のデータグローブ１および位置方向センサ
３の検知出力信号を学習済みのニューラルネットワーク
１０に入力すれば、動作単位毎の単語、意味がニューラ
ルネットワーク１０から出力信号として出力されるので
、この出力信号を前記出力側変換装置１３を介してディ
スプレイ１５およびスピーカ１７に供給することにより
、手話の翻訳結果がディスプレイ１５に表示されるとと
もに、スピーカ１７から音声として出力される。なお、
この場合には、２つの手を使用するので、データグロー
ブ１および位置方向センサ３をそれぞれ２つ使用するこ
とが必要である。また、図４の３コマ目にあるように動
的な動作もかなり入ってくるので、指文字で説明した方
法によって学習させる。
れる。図４は、「私の友達、林さんです」という手話を
行っている状態を示している。この場合は、まず手話に
使用する動作単位毎の単語、意味をニューラルネットワ
ーク１０に学習させておき、翻訳時には手話者に動作単
位毎に動作分割スイッチ２１で区切りを入れてもらって
、動作単位毎のデータグローブ１および位置方向センサ
３の検知出力信号を学習済みのニューラルネットワーク
１０に入力すれば、動作単位毎の単語、意味がニューラ
ルネットワーク１０から出力信号として出力されるので
、この出力信号を前記出力側変換装置１３を介してディ
スプレイ１５およびスピーカ１７に供給することにより
、手話の翻訳結果がディスプレイ１５に表示されるとと
もに、スピーカ１７から音声として出力される。なお、
この場合には、２つの手を使用するので、データグロー
ブ１および位置方向センサ３をそれぞれ２つ使用するこ
とが必要である。また、図４の３コマ目にあるように動
的な動作もかなり入ってくるので、指文字で説明した方
法によって学習させる。
【００２４】
【発明の効果】以上説明したように、本発明によれば、
手話者が手話によって表現する単語、意味、文章等を自
動的に日常語に翻訳することができるので、手話者と手
話を知らない一般の人とのコミュニケーションを円滑に
行うことができる。
手話者が手話によって表現する単語、意味、文章等を自
動的に日常語に翻訳することができるので、手話者と手
話を知らない一般の人とのコミュニケーションを円滑に
行うことができる。
【図１】本発明の一実施例に係わるニューラルネットワ
ークを用いた手話自動翻訳装置の全体構成図である。
ークを用いた手話自動翻訳装置の全体構成図である。
【図２】５０音の指文字の一例を示す図である。
【図３】アルファベットの指文字を示す図である。
【図４】実際の手話の例を示す図である。
１ データグローブ
３ 位置方向センサ
７ 入力層
９ 中間層
１０ ニューラルネットワーク
１１ 出力層
１５ ディスプレイ
１７ スピーカ
Claims (3)
- 【請求項１】 手の各指の各関節角度を検知する第１
の検知手段と、手の位置および方向を検知する第２の検
知手段と、前記第１および第２の検知手段からの検知信
号を供給される複数のユニットからなる入力層、該入力
層からの出力信号を供給されるように結合される複数の
ユニットからなる少なくとも１層以上の中間層および該
中間層からの出力信号を供給されるように結合される複
数のユニットからなり、各ユニットから手話翻訳結果が
出力される出力層を有し、各隣合う層のユニット同志が
固有の重み係数をもってもれなく結合されており、前の
層のユニットの出力値に前記重みを乗じた値が後の層の
ユニットに入力され、後の層のユニットは前の層のすべ
てのユニットからの値の総和を計算し、出力関数として
定義される非線形変換を施した後、次の層に出力するニ
ューラルネットワークと、該ニューラルネットワークか
ら出力される手話翻訳結果を言語レベルに変換する変換
手段とを有することを特徴とするニューラルネットワー
クを用いた手話自動翻訳装置。 - 【請求項２】 前記第１の検知手段で検知される手の
各指の各関節角度情報および前記第２の検知手段で検知
される手の位置および方向情報の時系列データ値を作成
するデータ区分スイッチおよび前記各情報を動作単位毎
に分割する動作分割スイッチを有することを特徴とする
請求項１記載のニューラルネットワークを用いた手話自
動翻訳装置。 - 【請求項３】 計測済みの各手話翻訳結果に対応する
手の各指の各関節角度および手の位置および方向情報の
時系列データを教師信号としてニューラルネットワーク
の入力層に供給して得られる出力層の出力信号と理想的
な出力信号との誤差を使用してニューラルネットワーク
の各ユニット間の重みの値を変更し、手の各指の各関節
角度および手の位置および方向の入力情報に対応する正
しい手話翻訳結果を出力するようにニューラルネットワ
ークを学習させ、この学習したニューラルネットワーク
の入力層に未知の手の各指の各関節角度および手の位置
および方向情報の時系列データを入力して、該入力情報
に対応する手話翻訳結果をニューラルネットワークの出
力層から出力することを特徴とするニューラルネットワ
ークを用いた手話自動翻訳方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2406051A JPH04222014A (ja) | 1990-12-25 | 1990-12-25 | ニューラルネットワークを用いた手話自動翻訳装置およびその翻訳方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2406051A JPH04222014A (ja) | 1990-12-25 | 1990-12-25 | ニューラルネットワークを用いた手話自動翻訳装置およびその翻訳方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04222014A true JPH04222014A (ja) | 1992-08-12 |
Family
ID=18515677
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2406051A Pending JPH04222014A (ja) | 1990-12-25 | 1990-12-25 | ニューラルネットワークを用いた手話自動翻訳装置およびその翻訳方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04222014A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07219703A (ja) * | 1994-02-03 | 1995-08-18 | Canon Inc | ジェスチャー入力方法及びその装置 |
| JPH07311545A (ja) * | 1994-05-16 | 1995-11-28 | Hitachi Ltd | 手話通訳装置 |
| US5481454A (en) * | 1992-10-29 | 1996-01-02 | Hitachi, Ltd. | Sign language/word translation system |
| US5659764A (en) * | 1993-02-25 | 1997-08-19 | Hitachi, Ltd. | Sign language generation apparatus and sign language translation apparatus |
| US5887069A (en) * | 1992-03-10 | 1999-03-23 | Hitachi, Ltd. | Sign recognition apparatus and method and sign translation system using same |
| KR100617976B1 (ko) * | 2004-11-15 | 2006-08-31 | 한국과학기술원 | 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체 |
| JP2016130940A (ja) * | 2015-01-14 | 2016-07-21 | 東洋紡株式会社 | 手袋型入力装置 |
| JP7662246B1 (ja) * | 2024-09-24 | 2025-04-15 | 暢之 岡井 | 手指動作認識デバイス、当該デバイスを用いた指文字出力方法および仮想空間内操作用手袋型デバイス |
-
1990
- 1990-12-25 JP JP2406051A patent/JPH04222014A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5887069A (en) * | 1992-03-10 | 1999-03-23 | Hitachi, Ltd. | Sign recognition apparatus and method and sign translation system using same |
| US5481454A (en) * | 1992-10-29 | 1996-01-02 | Hitachi, Ltd. | Sign language/word translation system |
| EP0600605A3 (en) * | 1992-10-29 | 1996-04-10 | Hitachi Ltd | Sign language/word translation system. |
| US5659764A (en) * | 1993-02-25 | 1997-08-19 | Hitachi, Ltd. | Sign language generation apparatus and sign language translation apparatus |
| US5953693A (en) * | 1993-02-25 | 1999-09-14 | Hitachi, Ltd. | Sign language generation apparatus and sign language translation apparatus |
| JPH07219703A (ja) * | 1994-02-03 | 1995-08-18 | Canon Inc | ジェスチャー入力方法及びその装置 |
| JPH07311545A (ja) * | 1994-05-16 | 1995-11-28 | Hitachi Ltd | 手話通訳装置 |
| KR100617976B1 (ko) * | 2004-11-15 | 2006-08-31 | 한국과학기술원 | 손모양 데이터베이스 구축장치 및 방법과, 손모양인식장치 및 방법과, 기록매체 |
| JP2016130940A (ja) * | 2015-01-14 | 2016-07-21 | 東洋紡株式会社 | 手袋型入力装置 |
| JP7662246B1 (ja) * | 2024-09-24 | 2025-04-15 | 暢之 岡井 | 手指動作認識デバイス、当該デバイスを用いた指文字出力方法および仮想空間内操作用手袋型デバイス |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mehdi et al. | Sign language recognition using sensor gloves | |
| Das et al. | Static hand gesture recognition for american sign language using deep convolutional neural network | |
| US9302393B1 (en) | Intelligent auditory humanoid robot and computerized verbalization system programmed to perform auditory and verbal artificial intelligence processes | |
| Waldron et al. | Isolated ASL sign recognition system for deaf persons | |
| Harish et al. | Design and development of hand gesture recognition system for speech impaired people | |
| Phi et al. | A glove-based gesture recognition system for Vietnamese sign language | |
| Arsan et al. | Sign language converter | |
| Altaf et al. | Deep learning approach for sign language recognition using densenet201 with transfer learning | |
| Priiyadharshini et al. | Sign speaks-an IoT based smart gloves for dumb | |
| JPH04222014A (ja) | ニューラルネットワークを用いた手話自動翻訳装置およびその翻訳方法 | |
| Sarker et al. | An intelligent system for conversion of bangla sign language into speech | |
| Seviappan et al. | Sign language to text conversion using RNN-LSTM | |
| Bhat et al. | Advanced glove for deaf and dumb with speech and text message on android cell phone | |
| Poornima et al. | Review on text and speech conversion techniques based on hand gesture | |
| Rishan et al. | Translation of sri lankan sign language to sinhala text: A leap motion technology-based approach | |
| Haq et al. | Indonesian sign language recognition application for two-way communication deaf-mute people | |
| Sarawate et al. | A real-time American Sign Language word recognition system based on neural networks and a probabilistic model. | |
| Nájera et al. | Recognition of mexican sign language through the leap motion controller | |
| Khambaty et al. | Cost effective portable system for sign language gesture recognition | |
| Patel et al. | Teachable interfaces for individuals with dysarthric speech and severe physical disabilities | |
| Truong et al. | A vision-based hand-sign language teaching system using deep neural network: Methodology and experiments | |
| Hassan et al. | Designing a verbal deaf talker system using mouth gestures | |
| JPH02232783A (ja) | 脳波トポグラフィによる音節認識装置 | |
| Ibrahim et al. | Empowering Communication: Artificial Intelligence-Driven Robotic Hands for Deaf and Deaf-Blind Individuals through Assistive Technology | |
| Balasubramaniam et al. | Advanced smart gloves for physically disabled persons using LABVIEW |