JPH05241496A - 手話翻訳装置 - Google Patents

Abstract

(57)【要約】 【目的】この発明は、手の位置、動き、及び形から、手
全体の動き及び形態を判別し、手話内容を自動認識する
ことを主な目的とする。 【構成】人体の手の所定部位に装着され、掌及び指を含
む手の位置と動き及び形を検知するセンサ１，２と、こ
のセンサ１，２より得られる手の位置と動き及び形から
手全体の動きと形態を判別し手話表現を認識するコンピ
ュータ本体３と、このコンピュータ本体３で認識された
手話内容を音声もしくは視覚情報として出力する出力装
置４とを具備することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、手話を自動認識し
て、その認識した手話を音声出力し、又はディスプレイ
装置の画面上に表示出力する手話翻訳装置に関する。

【０００２】

【従来の技術】手話は、その文法や言葉（単語）が複雑
であり、手話を理解できるようになるには非常に多くの
時間を必要とする。このため、手話を使用する必要のあ
る人は、手話を使用する必要のない第３者と容易に会話
をすることができず、円滑なコミュニケーションが図れ
ない。

【０００３】

【発明が解決しようとする課題】この発明は上記事情に
鑑みてなされたものであり、手話を自動認識することに
より、手話が持つ文法や言葉（単語）を知らない人が手
話を容易に理解することができ、手話を使用する必要の
ある人とのコミュニケーションが容易に図れる手話翻訳
装置を提供することを目的とする。

【０００４】

【課題を解決するための手段】本発明の手話翻訳装置
は、人体の手（掌及び指を含む手の所定部位）に装着さ
れ、その人の手先や指を含む手全体の動きを検知し、こ
の検知した各情報をコンピュータ本体へ入力するセンサ
装置と、上記センサ装置より得られる手の形や位置の情
報から手の動き及び形態を認識し、手話のどの言葉を表
現しているかを判定し手話内容を認識するコンピュータ
本体と、上記コンピュータ本体にて認識された手話内容
を音声出力し又は視覚情報として画面表示する出力装置
とを具備することを特徴とする。

【０００５】

【作用】本発明は、手に取り付けられたセンサ装置、な
らびにディスプレイ画面近傍に設けられる受信装置によ
り、「指を折り曲げる」、「手を開く」等、人の手の動
きと形を感知して、コンピュータ本体へ入力する。コン
ピュータ本体はこの入力情報を手話のどの言葉に対応す
るかを判定し手話認識して、その言葉を音声出力し、又
は画面上に文字等の形で表示出力する。

【０００６】これにより、手話の文法、言葉（単語）を
知らない人が、容易に手話を解釈でき、手話を必要とす
る人と手話を必要としない人との間で円滑なコミュニケ
ーションが図れる。

【０００７】

【実施例】以下、図面を使用して本発明の実施例につい
て説明する。図１は本発明の実施例の構成を示す図であ
る。

【０００８】図において、符号１は、手話者の手（掌及
び指を含む手の所定部位）の動きと形を検出するセンサ
と、手の動きに伴い変化する位置情報を得るための位置
信号発生手段をもつ手話側センサ装置であり、掌及び指
の形及び動きを認識するためのセンサ部と、手の動きに
伴う位置情報を得るための赤外線発生部とでなる。上記
センサ部は、例えば市販されている圧電プラスチック等
の特殊プラスチックを用いた構成、又は、バーチャルリ
アリティ技術を用いたグローブ等により実現できる。ま
た、赤外線発生部も市販の赤外線発光素子等により実現
できる。

【０００９】この実施例による手話側センサ装置１は、
図２に示すように、圧電プラスチック等の特殊プラスチ
ックでセンサ部２１を構成し、手先の関節の動き等に応
じて変化する撓み量を各関節毎に電気的に検出する構成
とする。

【００１０】符号２は、上記手話側センサ装置１の赤外
線発光素子１０より発生された赤外線ａを受光して人の
手の位置を検出する受け側センサ装置であり、具体的に
は図３に示すように、ディスプレイ装置２３の複数の隅
部に取り付けられた各受光素子２２，２２，…に受光さ
れた各赤外線信号を三角測量することにより手の位置を
検出する。

【００１１】この実施例では手の位置を検出するセンサ
を赤外線を用いて実現しているが、赤外線に代えて例え
ば磁力線を用いることも可能である。この際は、手話者
の手に小型の磁力線発生コイルを装着して、この磁力線
を大型の磁力線検出コイルで検出することによっても同
等の位置検出機構を実現でき、市販の部品で実現可能で
ある。

【００１２】符号３は、上記手話側センサ装置１と受け
側センサ装置２で得られる人の手の動きと形と位置から
手全体の動き及び形態を判別し、手話のどの言葉を表し
ているのかを認識し判定する認識装置であり、具体的に
は手全体の動き及び形態のパターンを判別し、そのパタ
ーン情報から手話内容を判断する認識辞書及びプログラ
ムをもつコンピュータ本体により実現される。

【００１３】符号４は、上記認識装置３で認識した手話
の言葉（内容）を、音声合成装置を用いて音声として出
力するとともに、表示画面上に文字情報として出力する
出力装置である。ここでは音声と並行して文字を出力す
るものとするが、音声又は文字のいずれか一方のみを出
力する構成であってもよい。図４は上記認識装置３の処
理手順を示すフローチャートである。図において、符号
３１は手話側センサ装置１の出力信号に基づいて、手の
動き及び形を認識するステップである。符号３２は受け
側センサ装置２の出力信号に基づいて、手の位置を認識
するステップである。

【００１４】符号３３は上記ステップ３１，３２で認識
した手の位置、動き、及び形から、手全体の動き及び形
態を判別し、認識辞書を参照して手話内容（手話の言
葉）を判定するステップである。符号３４は上記ステッ
プ３３で認識された手話を音声メッセージ、及び文字表
示（又はそのいずれか）により出力するステップであ
る。以下、本発明の実施例の動作について説明する。手
話側センサ装置１で検知した手の動き及び形の情報と、
受け側センサ装置で検知した手の位置情報とが認識装置
３に入力される。

【００１５】即ち、手の動き及び形に応じて変化する手
話側センサ装置１のセンサ部２１，…の各検知信号が認
識装置３に入力され、手全体の動き及び形態が解析され
る（図４ステップ３１）。

【００１６】また、手話側センサ装置１の赤外線発光素
子１０より発生された赤外線ａが受け側センサ装置２の
各受光素子２２，２２，２２に受光され、その各受光素
子２２，２２，２２の出力信号が認識装置３に入力さ
れ、三角測量により人の手の位置が検出される（図４ス
テップ３２）。

【００１７】認識装置３は、上記手話側センサ装置１の
出力信号により認識した手の動き及び形と、受け側セン
サ装置２の出力信号により認識した手の位置の各情報か
ら、手全体の動き及び形態を解析し、内蔵の認識辞書を
用いて手話内容を認識する（図４ステップ３３）。

【００１８】認識装置３は、この手話内容を翻訳し、出
力装置４を駆動して、手話内容を、音声合成された音声
として出力するとともに、表示画面上に文字情報として
出力する（図４ステップ３４）。

【００１９】これにより、手話の文法、言葉（単語）を
知らない人が、容易に手話を解釈でき、手話を必要とす
る人と手話を必要としない人との間で円滑なコミュニケ
ーションが図れる。

【００２０】尚、本発明は実施例として手話翻訳のみ示
したが、手話翻訳のみならず、例えば声を発生すること
のできない環境での作業における意思伝達の手段等とし
ても応用可能である。

【００２１】

【発明の効果】以上説明のように本発明によれば、手話
が持つ文法、言葉（単語）を知らない人が、容易に手話
を理解することができるようになり、手話を必要とする
人と手話を必要としない人との間でコミュニケーション
が円滑化される。

【図面の簡単な説明】

【図１】本発明の実施例による構成を示す図。

【図２】図１に示す実施例の手話側センサ装置１の構成
を示す図。

【図３】図１に示す実施例の受け側センサ装置１の構成
を示す図。

【図４】図１に示す実施例の認識装置３による処理手順
を示すフローチャート。

【符号の説明】

１…手話側センサ装置、２…受け側センサ装置、３…認
識装置（コンピュータ本体）、４…出力装置、１０…赤
外線発光素子、２１…プラスチック素子、２２…受光素
子、２３…ディスプレイ画面。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 人体の手の所定部位に装着され、掌及び
   指を含む手の位置と動き及び形を検知するセンサと、こ
   のセンサより得られる手の位置と動き及び形から手全体
   の動きと形態を判別し手話表現を認識するコンピュータ
   本体と、このコンピュータ本体で認識された手話内容を
   音声もしくは視覚情報として出力する出力装置とを具備
   することを特徴とする手話翻訳装置。
2. 【請求項２】 上記センサ装置は、掌及び指を含む手の
   所定部位の動きと形を検出する手段と、赤外線又は磁力
   線を放射し所定距離離間した複数箇所で受けて三角測量
   により手の位置を検出する手段とを有してなることを特
   徴とする請求項１記載の手話翻訳装置。