JP2000330467A - 手話教育装置、手話教育方法、及び、手話教育方法が記録された記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 手話を学習する過程において、ユーザが行っ
た手話の動作が正しいかどうかをユーザ自身が確認する
ことにより、効果的に手話の学習を行うことができる手
話教育方法及び装置を提供することである。 【解決手段】 ユーザが入力した手話データの中に表現
されている手話語を認識および評価し、その結果を表示
する。評価結果は、手話文や手話語に対する手話データ
が正しい手話文や手話語に比べてどの程度正しいかを表
す数値とする。また、入力された手話データから生成し
た動画像と、装置内に格納されている情報から生成した
正しい手話の動画像を同時に表示し、比較することがで
きるようにする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ユーザが対話的に
手話の学習を行うことができる手話教育装置、手話教育
方法、及び手話教育方法が記録された記録媒体提供する
ための技術に関する。

【０００２】

【従来の技術】ユーザに手話を学習するための環境を提
供する手話教育装置の技術としては、「みんなの手話」
（株式会社ＮＨＫエデュケーショナル/日本アイ・ビー
・エム（株））、「君の手がささやいている」（富士通
ミドルウェア株式会社、１９９６年）、「手にことばを
・入門編」(富士通株式会社、１９９６年)などがある。
これらの技術では、手話のビデオ動画像、それらに対応
する日本語文、およびそれぞれの手話文に関する説明を
ユーザに同時に提示することにより、手話と日本語との
対応関係を学習させようとするものである。また、これ
らの技術では、日本語文中の特定の単語に対応する手話
動画像を表示できる機能や、単語の一覧からユーザが任
意に選択した日本語の単語に対応する手話動画像を表示
できる機能を有する。さらに、「手にことばを・入門
編」では、動作の形状や方向といった手話を構成してい
る動作要素を選択することによって、手話を検索する機
能も有する。

【０００３】また、「人工現実感を利用した手話学習シ
ステムの開発」（藤本、陳、水野、玉腰、藤本、第１３
回ヒューマン・インタフェース・シンポジウム論文集、
ｐｐ。２４９−２５４、１９９７年）では、手話認識技
術を含む手話学習装置を提案している。この装置では、
手話を３次元表示する機能と手話動作を認識する機能が
含まれている。

【０００４】

【発明が解決しようとする課題】従来の手話教育装置の
技術では、手話の動作と日本語文との対応関係をユーザ
に表示することにより、ユーザが手話の動作を学習する
という方法が中心であった。このような方法では、ユー
ザは手話動作を見て理解できるようにはなるが、ユーザ
自身が手話動作を正しく行えるようになったかどうかを
確認することはできないという問題がある。通常、動作
を見て覚えただけでは、それを実際に動作として再現で
きない場合が多い。このため、ユーザが手話によるコミ
ュニケーションを行うことができるようになることを目
的とした手話教育装置としては、不十分であるという問
題がある。また、装置内に格納されている手話に関する
情報の検索という点では、日本語に基づいた検索のみで
あり、手話の動作から検索することができない。「手に
ことばを・入門編」では、手の形状や動き方などの動作
の要素を順に指定することにより検索することが可能で
あるが、指定できる要素の種類や順序が決まっているな
どの制限があり、柔軟な検索を行うことができないとい
う問題がある。

【０００５】一方、従来技術「人工現実感を利用した手
話学習システムの開発」では、ユーザの手話動作を評価
するために手話認識の技術を用いることを提案している
が、手話認識を手話教育の過程でどのように用いるかと
いうことに関しては述べられていない。手話の学習を行
う場合、手話が読みとれるだけでなく、覚えた手話を正
しく表現できるかどうかも重要となる。このため、ユー
ザの手話が正しい動作であるかどうかを評価する手段が
必要不可欠となる。その際、手話が正しいか正しくない
かの評価だけでなく、どの程度正しい動作であるか、あ
るいは、動作のどの部分に問題があるか、等の情報も表
示し、それらの情報を容易にユーザが確認できることが
望ましい。

【０００６】本発明の目的は、手話を学習する過程にお
いて、ユーザが行った手話の動作が正しいかどうか、お
よび、動作のどこに問題点があるかをユーザ自身が容易
に確認し、効果的に手話の学習を行うことができる手段
を提供することである。

【０００７】本発明の他の目的は、ユーザが行った手話
動作から直接手話に関する情報を検索することができる
手段を提供することである。

【０００８】

【課題を解決するための手段】本発明では、ユーザが行
った手話動作をユーザ自身が確認できるようにするため
に、ユーザが入力した手話データから、その中に表現さ
れている手話語を認識および評価し、その結果を表示す
る。評価結果としては、手話文や手話語に対する手話デ
ータが正しい手話文や手話語に比べてどの程度正しいか
を表す数値により表示する。また、入力された手話デー
タから生成した動画像と、装置内に格納されている情報
から生成した正しい手話の動画像を同時に表示する。そ
の際、入力した手話データを手話語の認識結果に基づい
て、各手話語毎に切り出し、入力した手話データから生
成した動画像と正しい手話の動画像を手話語毎に比較し
て表示できるようにする。さらにその際、両者の動画像
に時間長の差が有る場合、一方の動画像の時間長を他方
の動画像の時間長に合わせて表示を行う。

【０００９】また、手話に関する情報の検索において、
日本語から情報を検索するだけでなく、ユーザが入力し
た手話データを認識し、認識された手話語を含む情報を
検索することにより、手話動作からの情報の検索も可能
とする。

【００１０】

【発明の実施の形態】以下、本発明の一実施例を図１か
ら図２６を用いて説明する。

【００１１】図１は本発明を適用した手話教育装置の概
念ブロック図である。図１において、手話動作入力部１
０１は、ユーザの手話動作を電気信号に変換し時系列の
手話データとして入力するための手段であり、良く知ら
れている手袋型装置１０２あるいはビデオカメラ１０３
を使用することができる。文字入力部１０４はユーザか
らの情報を文字により入力するための手段であり、一般
的に使用されるキーボード１０５を用いることができ
る。あるいは、既存の音声認識装置を文字入力部１０４
に組み込むことによりマイクを用いることもできる。画
面操作入力部１０６は、ユーザが画面上に表示されてい
る特定の領域に対する操作を行うための手段であり、一
般的に使用されているマウス１０７を用いることができ
る。あるいはトラックボール、タッチパネル等の良く知
られている装置を用いることもできる。手話語情報格納
部１０８には、手話における語である手話語に関する情
報（手話語情報）が格納される。手話文情報格納部１０
９には、手話語の組み合わせによって表現される手話文
に関する情報（手話文情報）が格納される。手話文章情
報格納部１１０には、複数の手話文によって構成される
手話文章に関する情報（手話文章情報）が格納される。
ユーザ情報格納部１１１には、手話教育装置を使用する
ユーザの学習履歴に関する情報（ユーザ情報）が格納さ
れる。

【００１２】手話認識部１１２は手話動作入力部１０１
から入力されてくるユーザの手話データを受け取り、そ
の中に表現されている各手話語を認識するための手段で
ある。手話語を認識する技術としては既存の技術である
「連続手話認識装置及び入力装置、特開平６−３３３０
２２」等を用いることができる。検索部１１３は、ユー
ザから入力された音声言語の語や手話認識部１１２から
送られてくる手話認識の結果に基づいて、関連する手話
語情報や手話文情報、手話文章情報等の手話に関する情
報を検索するための手段である。手話動画像生成部１１
４は、手話の動画像を生成するための手段である。手話
の動画像を生成する技術としては既存の技術である「手
話生成装置および方法、特開平８−０１６８２１」等を
用いることができる。あるいは、一般に用いられている
ビデオ映像を用いることもできる。出力部１１５は、手
話に関する情報や、手話の検索結果に関する情報、その
他手話教育に必要となる情報を表示するための手段で、
既存のディスプレイ１１６を用いることができる。

【００１３】教育制御部１１７は、ユーザからの入力
や、手話に関する情報等に基づいて、上記手話動作入力
部１０１や文字入力部１０４、画面操作入力部１０６、
手話認識部１１２、検索部１１３、手話動画像生成部１
１４、出力部１１５の制御を行ったり、手話語情報格納
部１０８、手話文情報格納部１０９、手話文章情報格納
部１１０、ユーザ情報格納部１１１に対する情報の入出
力を行う。なお、本発明の手話教育装置は、汎用コンピ
ュータとソフトウェアで構成することもできる。

【００１４】図２は、手話語情報格納部１０８に格納さ
れる手話語情報のフォーマットである。手話語名２０１
は手話語につけられたラベルであり、任意の記号列を用
いることができる。対応する音声言語の語数２０２は、
手話語に対応する音声言語の語の数である。音声言語は
任意の言語を用いることが可能であり、例えば、手話と
日本語の関係を学習するための手話教育装置であるなら
ば、音声言語として日本語が用いられる。対応する音声
言語の語２０３から２０４は、手話語に対応する音声言
語の語の名称である。手話認識用情報２０５は、ユーザ
が入力した手話動作を手話認識部１１２において認識す
るために用いられるテンプレートパターンを示す情報で
ある。手話認識用情報２０５としては、テンプレートパ
ターンに付けられた名称を記述しても良いし、あるい
は、テンプレートパターンそのものを記述することもで
きる。テンプレートパターンの名称を記述する場合、テ
ンプレートパターンそのものは、手話認識部１１２に格
納しても良いし、あるいは、別途テンプレートパターン
を格納するための格納部を設けても良い。また、テンプ
レートパターンのフォーマットは、手話認識部１１２で
使用される認識方式に依存して決定される。

【００１５】手話動画像生成用情報２０６は、手話動画
像生成部１１４において手話動画像を生成するために使
用される情報である。手話動画像生成用情報２０６とし
ては、手話動画像生成用の情報に付けられた名称を記述
しても良いし、あるいは、手話動画像生成用の情報その
ものを記述することもできる。手話動画像生成用の情報
に付けられた名称を記述する場合、手話動画像生成用の
情報そのものは、手話動画像生成部１１４に格納しても
良いし、あるいは、別途手話動画像生成用の情報を格納
するための格納部を設けても良い。また、手話動画像生
成用の情報の記述は、手話動画像生成部１１４で使用す
る動画像生成方式に依存して決定される。関連情報２０
７は、手話語の動作に関する説明や、手話語の動作を表
現する際に注意するべき事柄、手話語の起源等に関する
情報であり、文字および、写真やイラスト等の画像を組
み合わせることができる。

【００１６】図３は、手話文情報格納部１０９に格納さ
れる手話文情報のフォーマットである。手話文名３０１
はその手話文情報に付けられたラベルであり、任意の記
号列を用いることができる。音声言語文字列３０２は、
その手話文の意味を表す音声言語の文字列が記述され
る。手話語数３０３は手話文中に含まれる手話語の数で
ある。手話語３０４から３０５は、手話文中に含まれる
手話語の名称であり、手話語情報中の手話語名２０１を
記述する。あるいは手話語に対応する音声言語の語２０
３、２０４を用いることもできる。関連情報３０６は、
その手話文の表現に関する説明や、その手話文を表現す
る際に注意すべき事柄等に関する情報であり、文字およ
び写真やイラスト等の画像を組み合わせることができ
る。

【００１７】図４は手話文章情報格納部１１０に格納さ
れる手話文章情報のフォーマットである。手話文章名４
０１は、手話文章情報に付けられたラベルであり、任意
の記号列を用いることができる。手話文数４０２は、手
話文章中に含まれる手話文の数である。手話者名４０
３、４０５は各手話文に対応する手話者の名称である。
手話文情報名４０４、４０６は手話文情報のラベルであ
り、図３に示した手話文名３０１を記述する。あるい
は、手話文に対応する音声言語文字列３０２を用いるこ
ともできる。関連情報４０７は、手話文章に関する説明
や、手話文章を表現する際に注意すべき事柄等に関する
情報である。手話文章情報にはさらに、手話文章中に含
まれる手話語に関する情報を含めることもできる。

【００１８】図５にユーザ情報格納部１１１に格納され
るユーザ情報のフォーマットを示す。図５において、ユ
ーザ名５０１はユーザ情報がどのユーザに関する情報で
あるかを表すためのユーザの名称である。一つの手話教
育装置を複数のユーザが使用する場合、各ユーザは手話
教育装置を使用する前にユーザ自身のユーザ情報を選択
することにより、ユーザ自身の学習情報に基づいた学習
を行うことが可能となる。手話語テスト結果情報５０２
は、手話語に対応する音声言語の語をユーザに提示し、
それに対するユーザの手話データを評価する手話語動作
テストの結果に関する情報である。図６に手話語テスト
結果情報５０２のフォーマットを示す。図６において、
手話語数６０１は、テストを行った手話語の数である。
手話語名６０２、６０５は、テストを行った手話語のラ
ベルであり、図２に示した手話語名２０１を使用するこ
とができる。テスト回数６０３、６０６は各手話語のテ
ストを行った回数を表す。評価結果６０４、６０７に
は、ユーザが入力した手話データを評価し、その結果得
られた手話語の評価値の平均を記述する。あるいは、評
価値の履歴を記述することもできる。また、評価結果と
して、評価値の他に、ユーザが入力した手話動作のどの
部分に問題があったかに関する情報を記述することもで
きる。これは、手話認識部１１２における手話認識方式
として「連続手話認識装置及び入力装置、特開平６−３
３３０２２」のように、手話動作の詳細な評価を行うこ
とができる方式を用いれば、容易に実現することができ
る。手話文テスト結果情報５０３は、手話文に対応する
音声言語文字列をユーザに提示し、それに対するユーザ
の手話データを評価する手話文動作テストの結果に関す
る情報である。図７に手話文テスト結果情報５０３のフ
ォーマットを示す。図７において、手話文数７０１は、
テストを行った手話文の数である。手話文名７０２、７
０６は、テストを行った手話文のラベルであり、図３に
示した手話文名３０１を使用することができる。テスト
回数７０３、７０７は各手話文のテストを行った回数を
表す。正解回数７０４、７０８は、ユーザが入力した手
話データを評価した結果、手話文中に含まれる全ての手
話語が検出された回数を記述する。評価結果７０５、７
０９は、ユーザが入力した手話データを評価した結果得
られた手話文の評価値の平均と手話文中の手話語毎の評
価値の平均を記述する。あるいは、手話文や手話語の評
価値の履歴を記述することもできる。また、手話語テス
ト結果情報５０２と同様に、手話文中の各手話語毎に、
ユーザが入力した手話データのどの部分に問題があった
かに関する情報を記述することもできる。

【００１９】図８から図２６を用いて、教育制御部１１
７における処理について詳細に説明する。図８は教育制
御部１１７の主要な処理の流れを示す図である。教育制
御部１１７では、まず、ステップ８０１においてメイン
メニューの表示を行う。図９に、メインメニューの一例
を示す。図９において、９０１はメニュー画面のタイト
ルを表す。９０２は手話文章の検索および表示により手
話文章の学習を行う処理に移行するためのボタン、９０
３は手話に関するテストを行う処理に移行するためのボ
タン、９０４は処理を終了するためのボタンである。ユ
ーザは、キーボード１０５やマウス１０７を用いて画面
上のボタンを選択し、それぞれの処理に移行することが
できる。また、手袋型装置１０２あるいはビデオカメラ
１０３を用いて、動作によってボタンを選択するように
してもよい。これを行うためには、手話語とは異なる特
別の動作をあらかじめ手話認識部１１２に登録し、その
動作がユーザによって入力された時、手話認識部１１２
は特別の動作を認識したことを制御部１１７に通知する
ようにすれば良い。図８において、ステップ８０２で
は、ユーザがメニュー上のどの処理を選択したかを判定
する。ステップ８０３では手話文章の検索および表示に
より手話文章の学習を行うための処理を実行する。ステ
ップ８０４では手話に関するテスト処理を行う。各処理
が終了するとステップ８０１に戻る。ステップ８０２に
おいて、終了が選択された場合は処理を終了する。

【００２０】図１０に手話文章の検索および表示を行う
ための画面の一例を示す。図１０において、１００１は
手話文章の検索方法を表示し、ユーザが必要に応じて検
索方法を変更するための領域である。検索方法には、音
声言語の語から検索する方法と、手話の動作から検索す
る方法が用意されている。図１０には音声言語を日本語
とした場合の表示例が示されている。１００２は、音声
言語の語から手話を検索する場合に、音声言語の語の名
称を入力する領域である。１００３は手話文章情報の検
索を開始するためのボタンである。１００４は検索され
た手話文章の名称の一覧を表示する部分である。表示さ
れる手話文章の名称は図４の手話文章名４０１である。
１００５は検索された手話文章の内容を表示する画面で
ある。１００４に表示されている手話文章の名称の内、
ユーザが選択した手話文章の内容が１００５上に表示さ
れる。１００６、１００９、１０１２は、手話文章中の
各手話文に対応する手話者名であり、図４における手話
者名４０３、４０５が使用される。１００７、１０１
０、１０１３は、手話文章中の各手話文の名称であり、
図３における手話文名３０１が使用される。あるいは、
手話文の意味を表す音声言語文字列３０２を使用しても
良い。１００８、１０１１、１０１４は手話文章中の手
話文を構成する手話語の名称の列であり、図３における
手話語名３０４、３０５が使用される。あるいは、各手
話語に対応する音声言語の語の名称を用いることもでき
る。１０１５はユーザが選択した手話語、手話文、ある
いは手話文章に対する動画像を表示するための画面であ
る。１０１６は動画像の表示を停止するためのボタン、
１０１７は動画像の表示を開始するためのボタンであ
る。１０１７を選択した場合に表示される動画像は、１
００５上に表示されている手話文章情報中の手話文ある
いは手話語の内、ユーザが選択した手話文あるいは手話
語に対応する動画像である。１０１８は動画像の表示を
一時的に停止するためのボタン、１０１９は動画像を逆
戻しするためのボタン、１０２０は動画像を早送りする
ためのボタン、１０２１は動画像中の手話者の大きさを
拡大するためのボタン、１０２２は動画像中の手話者の
大きさを縮小するためのボタン、１０２３、１０２４は
動画像中の手話者を見る角度を変更するためのボタンで
ある。１０２５は、選択された手話文章の関連情報を表
示するための領域であり、図４における関連情報４０７
が表示される。また、１００５上に表示されている手話
文あるいは手話語を選択した場合は、１０２５には選択
した手話文あるいは手話語に対する関連情報が表示され
る。１０２６は１００５に表示されている手話文章情報
中の手話文に対する動画像を最初から順に表示するため
のボタンである。１０２７、１０２８は、１００５に表
示されている手話文章情報中の手話文の内、ボタン上に
表示されていない手話者に対応する手話者の動画像を表
示し、ボタン上に表示されている手話者に対応する手話
文についてはユーザが実際に手話を表現することにより
手話の練習を行うためのボタンである。１０２７、１０
２８上の手話者名は、１００５に表示されている手話文
章情報の内容に基づいて表示される。また、手話文章中
の手話者の数が変わると、それに基づいてこれらのボタ
ンの数も変化する。図１０において、１０２７を選択す
ると、まず手話者Ａに対応する手話文１００７の手話デ
ータを入力するようにユーザに指示するメッセージを１
０２５上に表示する。メッセージは別画面に表示するよ
うにしても良い。ユーザが手話データを入力した後、手
話者Ｂに対応する手話文１０１０、１０１３を順に動画
像表示する。他に手話文がある場合も、ボタン上に表示
されている手話者に対応する手話文であるか、そうでな
いかに従って、同様の処理を行う。手話文章中の全ての
手話文に対する処理が終わったら、ユーザの入力した手
話データの評価結果を表示する。評価結果は１０２５に
表示しても良いし、あるいは、別画面に表示するように
しても良い。また、ユーザが入力した手話データに対す
る評価結果を手話文章中の手話文に対する処理が全て終
了した時点で表示する以外に、それぞれの手話文に対す
る手話データをユーザが入力する毎に表示するようにし
ても良い。この場合、評価結果が良くなければ、再度手
話データを入力するようにユーザに指示することもでき
る。ユーザが手話データを入力する方法および入力され
た手話データの評価方法については後述する。１０２９
は手話文章の一覧からユーザが表示したい手話文章を選
択する画面を表示するためのボタンである。１０２９を
選択すると、図１１に示す手話文章の一覧が表示され
る。図１１において、１１０１は手話文章の名称の一覧
を表示する領域であり、図４における手話文章名４０１
が使用される。あるいは、手話文章情報中に含まれる手
話文の名称や手話語の名称を含めて表示することもでき
る。１１０１上に表示されている手話文章名を選択した
後１１０２を選択すると、選択した手話文章情報の内容
が図１０の画面上に表示される。１１０３を選択する
と、１１０１で選択した手話文章情報は無効となる。図
１０における１０３０は、１０２７、１０２８を選択し
た場合に行われる手話の練習において、ユーザが手話の
動作を練習する際に、ユーザが入力した手話データを評
価するかどうかを指定するためのボタンである。このボ
タンは選択する毎に、「動作入力無し」と「動作入力有
り」の状態を切り替える。ボタン上に「動作入力無し」
と表示されている場合は、その後の手話の練習では、１
０２７、１０２８に表示されている手話者に対応する手
話文では、手話動作を行うようにユーザに指示するメッ
セージを表示した後、ある決められた時間処理を停止す
る。処理が停止している間に、ユーザは手話動作を行
う。この際、ユーザの手話データは入力されない。ある
決められた時間停止後、処理を再開し、次の手話文に対
する処理に移る。「動作入力有り」と表示されている場
合は、その後の手話の練習では、１０２７、１０２８に
表示されている手話者の手話文に対してユーザが入力し
た手話データを評価して、その結果を表示する。１０３
１は、１００５に表示されている手話文章情報の内、ユ
ーザが指定した手話文あるいは手話語に対する手話デー
タを入力し、それを評価した結果を表示するためのボタ
ンである。１０３２を選択すると、手話文章学習処理を
終了し、メインメニューに戻る。

【００２１】図１２を用いて手話文章の検索方法を指定
する方法を説明する。検索方法を表示する領域１００１
を選択すると、検索方法の一覧１２０１、１２０２が表
示される。ここで、例えば、検索方法として「手話から
検索」を選択すると、図１３に示すように、選択した検
索方法が１００１に表示される。「日本語から検索」の
場合、１００１の下に、検索キーである日本語を入力す
る領域１００２と、検索を開始するためのボタン１００
３が表示される。「手話から検索」を選択すると、図１
３に示すように、手話データの入力状態を表示するため
の領域１３０１と手話データの入力を開始するためのボ
タン１３０２が表示される。

【００２２】次に、図１４の流れ図を用いて音声言語の
語から手話文章情報を検索する方法について説明する。
図１０の１００２に音声言語の語を入力した後、１００
３を選択すると、図１４の流れ図で示す処理が開始され
る。ステップ１４０１において、まず、検索結果を格納
する領域をクリアする。ステップ１４０２では、手話文
章情報格納部１１０の内容を検索し、検索処理を行って
いない手話文章情報があるかを調べる。検索処理を行っ
ていない手話文章情報が無い場合はステップ１４０３で
検索結果を出力し、検索処理を終了する。検索処理を行
っていない手話文章情報がある場合は、ステップ１４０
４に進む。ステップ１４０４では、検索処理を行ってい
ない手話文章情報を１つ読み込む。ステップ１４０５で
は、手話文章情報中の手話文の内、処理を行っていない
手話文があるかどうかを調べる。処理を行っていない手
話文が無い場合は、ステップ１４０２に戻る。処理を行
っていない手話文がある場合はステップ１４０６に進
む。ステップ１４０６では、処理を行っていない手話文
を１つ選択し、それに対応する手話文情報を図１の手話
文情報格納部１０９から読み込む。ステップ１４０７で
は、読み込んだ手話文情報中に含まれる手話語の内、処
理を行っていない手話語があるかどうかを調べる。処理
を行っていない手話語が無い場合はステップ１４０５に
戻る。処理を行っていない手話語がある場合はステップ
１４０８に進む。ステップ１４０８では、手話文情報中
の手話語のうち、処理を行っていない手話語を１つ選択
し、それに対応する手話語情報を手話語情報格納部１０
８から読み込む。ステップ１４０９では、１００２に入
力された音声言語の語と、手話語情報中の音声言語の語
が一致するかどうかを調べる。一致すれば、手話文章情
報を検索結果を格納する領域に格納し、ステップ１４０
２に戻る。一致しなければ、ステップ１４０７に戻る。
１００２に入力する音声言語の語としては、複数個の語
を入力し、それに基づいて手話文章情報を検索すること
もできる。この場合、ステップ１４１０において、１０
０２に入力された音声言語の語の内、どの語が存在した
かを表す情報のみを格納して１４０７に戻る。また、１
４０５において、手話文章情報中の全ての手話文につい
て処理を行ったと判定された場合に、１００２に入力さ
れた全ての音声言語の語が存在していれば手話文章情報
を検索結果を格納する領域に格納し、ステップ１４０２
に戻るようにすればよい。あるいは、１４０５におい
て、１００２に入力された音声言語の語の内いずれか１
つが含まれている手話文章情報を格納することにより、
１００２に入力した語の内いずれかを含む手話文章情報
の検索を行うこともできる。さらに、検索結果を出力す
る際に、１００２に入力された音声言語の語が含まれて
いる数に応じて、手話文章情報に順位付けを行うことも
できる。

【００２３】図１５から図１８を用いて、手話から手話
文章情報を検索する方法について説明する。手話から手
話文章情報を検索するためには、まず、手話データを装
置に入力する必要がある。これを行うためには、図１３
に示した開始ボタン１３０２を選択する。開始ボタン１
３０２を選択すると、教育制御部１１７は手話動作入力
部１０１から手話データの入力を開始し、入力された手
話データを手話認識部１１２に送る。手話認識部１１２
では、送られてくる手話データの内、手話の認識を行う
べき部分と認識処理を行わなくて良い部分を監視しなが
ら処理を進める。手話認識部１１２における処理を図１
５に示すフローチャートを用いて詳細に説明する。手話
動作入力部１０１からのデータ入力が開始されると、手
話認識部１１２では、まず、ステップ１５０１におい
て、手話の開始を表す動作である入力開始識別子を待っ
ている状態であることを教育制御部１１７に通知する。
入力開始識別子は、通常の手話単語以外の動作であれ
ば、あらかじめ装置内に登録しておくことによりどのよ
うな動作でも利用することができる。あるいは、何らか
のキーを押す、マウスのボタンを押すなどの操作によっ
て行うこともできる。ステップ１５０２では、時系列デ
ータとして表される手話データの１時刻分のデータを読
み込む。ステップ１５０３では、読み込んだ手話データ
を解析し、入力開始識別子であるかどうかを判定する。
入力開始識別子でなければステップ１５０２に戻る。入
力開始識別子であれば、ステップ１５０４に進み、デー
タ入力の開始を待っている状態であることを教育制御部
１１７に通知する。ステップ１５０５では、１時刻分の
手話データを読み込み、データ入力開始の状態になった
かどうかの判定を行う。データ入力の開始は、入力開始
識別子を表現している状態から入力開始識別子でない状
態に移った時刻とする。データ入力開始の状態でなけれ
ばステップ１５０５に戻る。データ入力開始の状態であ
れば、ステップ１５０７に進み、データ入力中であるこ
とを教育制御部１１７に通知する。ステップ１５０８で
は、１時刻分の手話データを読み込む。ステップ１５０
９では、データ入力が終了した状態であるかどうかの判
定を行う。データ入力の終了は、入力終了識別子が表現
されているかどうかを検出することにより行う。入力終
了識別子は、入力開始識別子と同様に、通常の手話単語
以外の動作であれば、あらかじめ装置内に登録しておく
ことによりどのような動作でも利用することができる。
あるいは、何らかのキーを押す、マウスのボタンを押す
などの操作によって行うこともできる。入力終了識別子
が検出されなければ、ステップ１５１０において認識処
理を行い、ステップ１５０８に戻る。入力終了識別子が
検出されれば、ステップ１５１１において、認識処理が
終了したことを教育制御部１１７に通知する。されに、
ステップ１５１２において認識結果を教育制御部１１７
に対し出力する。手話動作入力部１０１から入力される
手話データから手話の認識処理を行う部分と行わなくて
も良い部分を判定する処理は、手話認識部１１２ではな
く、手動作入力部１０１あるいは教育制御部１１７で行
うこともできる。この場合、手話の認識処理を行うべき
手話データのみが手話認識部１１２に送られる。

【００２４】手話データの入力および認識処理を行って
いる間、教育制御部１１７では、手話認識部１１２から
の通知に従って、処理の経過を表すメッセージを表示す
る。図１６にメッセージの表示の一例を示す。図１３の
開始ボタン１３０２を選択すると、入力状態の表示領域
１３０１には、図１６の１６０１のように、手話データ
の入力を開始することを示す入力開始識別子を待ってい
る状態を表すメッセージが表示される。また、開始ボタ
ン１３０２の表示は１６０２に示すように「中止」とな
り、手話動作入力を中止するためのボタンとなる。入力
開始識別子が検出されると、データ入力待ちの状態であ
ることを示すメッセージを１６０３のように表示する。
データ入力開始が検出されると、データ入力中の状態で
あることを示すメッセージを１６０４のように表示す
る。入力終了識別子が検出されると、データ入力が終了
したことを示すメッセージが１６０５のように表示され
る。手話データ入力において、入力開始識別子や入力終
了識別子を検出せず、開始ボタン１３０２を選択した時
から、中止ボタン１６０２を選択するまでの間のデータ
を全て入力し、認識処理を行うこともできる。この場
合、入力状態の表示領域１３０１に表示されるメッセー
ジとしては、開始ボタン１３０２が選択された時から中
止ボタン１６０２が選択された時までに、データ入力中
を表すメッセージが表示されることになる。また、入力
開始識別子を検出後、入力開始の状態の検出は行わず、
入力識別子が検出された時刻から入力終了識別子が検出
されるまでのデータを全て入力し、認識処理を行うよう
にしても良い。この場合は、データ入力の開始を待って
いる状態であること表すメッセージ１６０３は表示され
ない。

【００２５】図１７に、手話語の認識結果のフォーマッ
トを示す。１７０１は認識された手話語の名称である。
１７０２は、認識された手話語の手話データ中における
開始時刻である。１７０３は、認識された手話語の手話
データ中における終了時刻である。１７０４は、認識さ
れた手話語に対する評価値である。１７０５は、認識結
果中に含まれる手話語を構成する手の形状や方向、動き
等の動作要素毎の評価値の数である。１７０６、１７０
８は動作要素の種類を示す名称であり、１７０７、１７
０９はそれぞれの動作要素の評価値である。例えば、既
存の手話語を認識する技術である「連続手話認識装置及
び入力装置、特開平６−３３３０２２」では、手の形
状、手の方向および手の位置の３種類の動作要素を別々
に認識するため、これらの３種類の動作要素に関する評
価値を手話語の認識結果中に含めることが容易である。

【００２６】図１８に示す流れ図を用いて、手話データ
から手話文章情報を検索する処理について説明する。図
１８のステップ１８０１において、手話動作の認識処理
を行う。認識処理については、既に述べた通りである。
ステップ１８０２において、手話動作の認識結果から、
最も評価値の高い手話語の認識結果を選択する。ステッ
プ１８０３において、検索結果を格納する領域をクリア
する。ステップ１８０４では、手話文章情報格納部１１
０の内容を検索し、検索処理を行っていない手話文章情
報があるかどうかを調べる。検索処理を行っていない手
話文章情報が無い場合はステップ１８０５で検索結果を
出力し、検索処理を終了する。検索された手話文章情報
は、図１０の１００４に一覧として表示される。検索処
理を行っていない手話文章情報がある場合は、ステップ
１８０６に進む。ステップ１８０６では、検索処理を行
っていない手話文章情報を１つ読み込む。ステップ１８
０７では、手話文章情報中の手話文の内、処理を行って
いない手話文があるかどうかを調べる。処理を行ってい
ない手話文が無い場合は、ステップ１８０４に戻る。処
理を行っていない手話文がある場合はステップ１８０８
に進む。ステップ１８０８では、処理を行っていない手
話文を１つ選択し、それに対応する手話文情報を手話文
情報格納部１０９から読み込む。ステップ１８０９で
は、読み込んだ手話文情報中に含まれる手話語の内、処
理を行っていない手話語があるかどうかを調べる。処理
を行っていない手話語が無い場合はステップ１８０７に
戻る。処理を行っていない手話語がある場合はステップ
１８１０に進む。ステップ１８１０では、手話文情報中
の手話語のうち、処理を行っていない手話語を１つ選択
する。ステップ１８１１では、ステップ１８０２におい
て選択された手話語名と、手話文情報中から選択された
手話語名が一致するかどうかを調べる。一致すれば、手
話文章情報を検索結果を格納する領域に格納し、ステッ
プ１８０４に戻る。一致しなければ、ステップ１８０９
に戻る。ステップ１８０２において、手話動作の認識結
果から最も評価値の高い手話語を選択するかわりに、評
価値の高い順に、あらかじめ決められた個数の手話語を
選択し、それらの手話語が含まれる手話文章情報を検索
するようにすることもできる。これを行うためには、ス
テップ１８１２において、どの手話語が含まれていたか
を表す情報を格納し、ステップ１８０９に戻る。また、
ステップ１８０７において、手話文章中の全ての手話文
について検証されたと判断された場合に、ステップ１８
０２で選択された手話語が含まれていた手話文章情報を
検索結果を格納する領域に格納すればよい。検索結果を
出力する際には、手話語が含まれる数および手話語の評
価値に基づいて検索された手話文章情報に評価値を付
け、評価値に基づいて順位付けを行うこともできる。

【００２７】次に、図１０におけるボタン１０２７、１
０２８が選択された時の処理について、図１９から図２
３を用いて詳細に説明する。１０２７、１０２８を選択
すると、既に説明したように、手話文章情報に含まれる
手話文の内、ボタン上に表示されている手話者に対応す
る手話文の動作をユーザが練習できる環境を提供する。
この際、ボタン１０３０により、「動作入力無し」の状
態になっている場合は、指定された手話者に対応する手
話文ではユーザに手話を行うように指示するメッセージ
を表示して動画像の表示を一時中断し、指定されていな
い手話者に対応する手話文では動画像の表示を行うこと
を順に繰り返せばよいだけであるので、容易に実現でき
る。ユーザに対するメッセージは、図１０の１０２５に
表示しても良いし、あるいは、別の画面に表示すること
もできる。「動作入力有り」の場合は、図１９に示す流
れ図に従って処理を行う。図１９のステップ１９０１に
おいて、手話文章情報中のどの手話文かを表すカウンタ
を１（最初の手話文）に設定する。ステップ１９０２で
は、カウンタが示す手話文情報を読み込む。ステップ１
９０３では、指定された手話者に対応する手話文である
かどうかの判定を行う。指定された手話者であれば、ス
テップ１９０４に進む。ステップ１９０４では、ユーザ
に手話を入力するように指示するメッセージを表示し、
ユーザの手話データを入力し、手話の認識処理を行う。
メッセージは、図１０の１０２５に表示しても良いし、
あるいは、別の画面に表示することもできる。手話デー
タの入力および認識処理に関しては、手話データから手
話文章情報を検索する処理と全く同様にして行うことが
できる。ステップ１９０５では、手話データの認識結果
から、手話文を構成する手話語の候補を全て抽出する。
ステップ１９０６では、抽出した手話語の認識結果の時
間的な関係に基づいて、手話文を構成する手話語と同じ
順序となる認識された手話語の組み合わせを求める。例
えば、手話文を構成する手話語が図２０に示すように
「私」２００１、「名前」２００２、「佐藤」２００
３、「有る」２００４の４つであり、それぞれの手話語
に対応する認識された手話語は２００５、２００６、２
００７、２００８であるとする。ここで、手話文を構成
する手話語は時間的に重なり合わないという条件を付け
て、認識された手話語の組み合わせを検索すると、図２
１に示す４つの組み合わせ候補２１０１、２１０２、２
１０３、２１０４が求められる。認識された手話語の組
み合わせを検索する際に、手話語間の重なりの大きさに
対して閾値を設け、その範囲内の重なりは許容するよう
にしても良い。また、手話語間の時間的な空白に関して
も閾値を設け、手話語間の時間的な空白が閾値以下にな
る手話語の組み合わせのみを候補として求めるようにす
ることもできる。さらに、求めた手話語の組み合わせに
対して評価値を求める。評価値は、組み合わせ中に含ま
れている手話語の評価値の和として求める。あるいは、
手話語の評価値と手話語の時間長（終了時刻−開始時刻
＋１）の積の和として評価値を求めることもできる。さ
らに、手話語の評価値と手話語の時間長の積の和を手話
語の時間長の和で割った値を用いることもできる。ステ
ップ１９０７では、求めた手話語の組み合わせの内、評
価値がもっとも高い組み合わせを選択する。ステップ１
９０３において、指定された手話者に対応する手話文で
なければステップ１９０８に進む。ステップ１９０８で
は、読み込んだ手話文情報を動画像表示する。ステップ
１９０９では、カウンタの値を１つ進める。ステップ１
９１０では、カウンタの値を参照し、最後の手話文まで
処理が行われたかどうかを判定する。最後の手話文まで
処理が行われていなければステップ１９０２に戻る。最
後の手話文まで処理が行われていればステップ１９１１
に進む。ステップ１９１１では、手話データの評価結果
を表示する。

【００２８】図２２に、手話データの評価結果を表示す
る画面を示す。図２２では、２つの手話文に対応する手
話データの評価が行われたことを表している。図２２に
おいて、２２０１および２２０３は手話文とそれに対す
る評価結果を表す。手話文の評価結果は、手話文を構成
する手話語の評価値を適当な関数を用いることにより１
００点満点で評価した点数に変換して表示する。例え
ば、手話認識部１１２から出力される認識された手話語
の評価値が０。０から１。０の値に正規化されていれ
ば、その平均値を１００倍した値を得点として用いるこ
とができる。あるいは、手話語の評価値の平均値をその
まま表示することもできる。２２０２、２２０４、２２
０５、２２０６、２２０７、２２０８は、手話文を構成
する手話語およびそれに対する評価結果である。手話語
に対する評価結果は、図１９のステップ１９０７で選択
された手話語の組み合わせ候補に含まれる手話語の評価
値を適当な関数を用いて１００点満点で評価した点数に
変換して表示する。あるいは、手話語の評価値をそのま
ま用いることもできる。図２２における２２０９は、手
話語を構成する動作要素毎の評価結果を表示するための
ボタンである。手話語の認識方法として「連続手話認識
装置及び入力装置、特開平６−３３３０２２」のよう
に、手の形状や方向、位置等の手話を構成する要素毎に
評価を行う認識方法を用いた場合、図１７に示したよう
に、手話語の評価値に動作要素毎の評価値を含めること
は容易である。図２２の画面上に表示されている手話語
を選択し、ボタン２２０９を選択すると、図２３のよう
に、選択した手話語の評価結果中に含まれている動作要
素毎の評価結果を示す画面が表示される。図２３におい
て、２３０１は図２２中で選択した手話語の名称および
評価結果を表示する領域、２３０２、２３０３、２３０
４は選択した手話語を構成する動作要素毎の名称と評価
結果を表示する領域である。動作要素毎の評価結果の表
示方法としては、手話文や手話語の場合と同様の方法を
用いることができる。図２３では、手の形状、手の方
向、手の位置の３種類の動作要素が手話語の評価結果中
に含まれている場合の画面の例を示している。図２３に
おいて、２３０５は、動作要素毎の評価結果の表示画面
を終了し、図２２の画面に戻るためのボタンである。図
２２において、２２１０は、ユーザが入力した手話デー
タと正しい手話の動画像とを同時に表示する画面を表示
するためのボタンである。図２２の画面上に表示されて
いる手話文あるいは手話語を選択し、ボタン２２１０を
選択すると、図２４のような画面が表示される。図２４
おいて、２４０１はユーザが入力した手話データから生
成した動画像を表示する領域、２４０２は手話文情報お
よび手話語情報に基づいて生成した動画像を表示する領
域である。手話文が選択されている場合は、ユーザが入
力した手話データをそのまま使用して動画像を生成すれ
ばよい。また、手話語が選択されている場合は、手話語
の認識結果に含まれる開始時刻および終了時刻における
データのみをユーザが入力した手話データから抽出して
動画像を生成する。この場合、開始時刻から終了時刻ま
でのデータのみでなく、その前後の時刻のデータをあら
かじめ決められた時刻分含めてデータを抽出するように
してもよい。さらに、ユーザが入力した手話データから
生成した動画像と、正しい手話の動画像の時間長が異な
る場合、一方の動画像の時間長を他方の動画像の時間長
に合わせて伸縮させるようにしても良い。

【００２９】図２５を用いて、一方の動画像の時間長を
他方の動画像の時間長に合わせて伸縮させる方法につい
て説明する。図２５では、手話文情報および手話語情報
に基づいて生成した動画像の時間長に、ユーザが入力し
た手話データから生成した動画像の時間長を合わせる場
合について説明している。図２５において、２５０１は
手話文情報および手話語情報に基づいて生成した動画像
を、２５０２はユーザが入力した手話データから生成し
た動画像を、２５０３は２５０２の動画像の時間長を２
５０１の動画像の時間長に合わせた後の動画像を表して
いる。２５０１、２５０２および２５０３中のそれぞれ
の四角は動画像を構成する一時刻分の画像データ２５０
４を表している。２５０５、２５０６および２５０７
は、手話文情報および手話語情報に基づいて生成した動
画像中の各手話語の時間範囲を、２５０８、２５０９、
２５１０および２５１１は各手話語間の遷移動作の時間
範囲を表す。２５１２、２５１３および２５１４は、ユ
ーザが入力した手話データから生成した動画像中の各手
話語の時間範囲を、２５１５、２５１６、２５１７およ
び２５１８は各手話語間の遷移動作の時間範囲を表す。
ユーザが入力した手話データから生成した動画像中の各
手話語の時間範囲は、手話データから認識された手話語
の時間範囲、すなわち図１７の開始時刻１７０２および
終了時刻１７０３によって表される時間範囲を用いる。
２５１９、２５２０および２５２１は、ユーザが入力し
た手話データから生成した動画像の時間長を手話文情報
および手話語情報に基づいて生成した動画像の時間長に
合わせた後の各手話語の時間長を、２５２２、２５２
３、２５２４および２５２５は手話語間の遷移動作を表
す。２５２６、２５２７、２５２８および２５２９は、
ユーザが入力した手話データから生成した動画像の時間
長を手話文情報および手話語情報に基づいて生成した動
画像の時間長に合わせる場合に削除される画像データ
を、２５３０、２５３１、２５３２、２５３３、２５３
４および２５３５は挿入される画像データを表す。画像
データの削除および挿入は、例えば、次のようにして行
うことができる。まず、手話文情報および手話語情報に
基づいて生成した動画像およびユーザが入力した手話デ
ータから生成した動画像において、対応する手話語ある
いは遷移動作の間の時間長を比較する。時間長が同じで
あれば画像データの削除あるいは挿入は必要ない。ユー
ザが入力した手話データから生成した動画像中の手話語
あるいは遷移動作の時間長が、手話文情報および手話語
情報に基づいて生成した動画像中の手話語あるいは遷移
動作の時間長より長い場合、両者の時間長の差より削除
すべき画像データの数を求める。手話語あるいは遷移動
作の時間長がそれらの動画像を構成する画像データの数
で表されている場合は、時間長の差を削除すべき画像デ
ータの数として使用することができる。さらに、ユーザ
が入力した手話データから生成した動画像中の手話語あ
るいは遷移動作の時間範囲を（削除すべき画像データの
数＋１）の領域に分割する。そして、分割した領域の境
界にある画像データを一つづつ削除する。一方、ユーザ
が入力した手話データから生成した動画像中の手話語あ
るいは遷移動作の時間長が、手話文情報および手話語情
報に基づいて生成した動画像中の手話語あるいは遷移動
作の時間長より短い場合、両者の時間長の差より挿入す
べき画像データの数を求める。さらに、ユーザが入力し
た手話データから生成した動画像中の手話語あるいは遷
移動作の時間範囲を（挿入すべき画像データの数＋１）
の領域に分割する。そして、分割した領域の境界にその
直前にある画像データと同じ画像データを挿入する。
（挿入すべき画像データの数＋１）が、ユーザが入力し
た手話データから生成した動画像中の手話語あるいは遷
移動作を構成する画像データの数と同じか大きい場合、
ユーザが入力した手話データから生成した動画像中の手
話語あるいは遷移動作の時間範囲を（手話語あるいは遷
移動作を構成する画像データの数−１）の領域に分割
し、（手話語あるいは遷移動作を構成する画像データの
数−１）と挿入すべき画像データの数の差に応じて複数
の画像データを分割した領域の境界に挿入するようにす
る。動画像中の各手話語あるいは遷移動作について以上
の処理を行うことにより、ユーザが入力した手話データ
から生成した動画像の時間長を手話文情報および手話語
情報に基づいて生成した動画像の時間長に一致させるこ
とができる。以上の方法では、動画像中の各手話語ある
いは遷移動作毎に時間長を調整していたが、動画像全体
について均等に時間長を調整するようにしてもよい。こ
の場合、動画像全体を一つの手話語あるいは遷移動作と
みなして上記と同様の処理を行えばよい。また、以上の
処理では、手話文情報および手話語情報に基づいて生成
した動画像の時間長にユーザが入力した手話データから
生成した動画像の長さを合わせていたが、それとは逆
に、ユーザが入力した手話データから生成した動画像の
長さに手話文情報および手話語情報に基づいて生成した
動画像の時間長を合わせるようにしてもよい。またさら
に、ユーザが入力した手話データから生成した動画像の
長さと手話文情報および手話語情報に基づいて生成した
動画像の時間長を合わせる方法としては、上記の方法に
限らず、動画像の時間長を合わせるために画像の削除や
挿入を行う方法であればどのような方法でも使用するこ
とができる。

【００３０】図２４において、２４０３はユーザの手話
データから生成した動画像の内、表示中の動画像がどの
手話語に対応するかを表す情報、２４０４は手話文情報
および手話語情報から生成した動画像の内、表示中の動
画像がどの手話語に対応するかを表す情報である。表示
される情報としては、手話語の名称あるいは、手話語に
対応する音声言語の語の名称のいずれかとする。ユーザ
の手話データから生成した動画像に関しては、手話語の
認識結果に基づいて、動画像中の時刻がどの手話語に対
応しているかを決定する。手話文情報および手話語情報
から生成した動画像に関しては、図２における手話語情
報中に含まれる手話動画像生成用情報２０６を用いて手
話文の動画像が生成されるため、動画像中のどの時刻に
どの手話語が対応しているかは容易に求めることができ
る。

【００３１】動画像を表示する処理は図２６に示す流れ
図に従って行われる。まず、ステップ２６０１におい
て、動画像中の時刻を表すカウンタを１にセットする。
ステップ２６０２では、カウンタを検証し、終了時刻で
あるかどうかを判定する。終了時刻でなければステップ
２６０３に進む。終了時刻であれば処理を終了する。ス
テップ２６０３では、ユーザの手話データから生成した
手話動画像および、手話文情報あるいは手話語情報から
生成した手話動画像から、カウンタの示す時刻の画像を
読み込んで、それぞれ２４０１、２４０２上に表示す
る。ステップ２６０４では、ユーザの手話データから認
識された手話語の内、カウンタの示す時刻を含む手話語
が存在するかどうかを検証する。該当する手話語が存在
すれば、ステップ２６０５において、手話語の名称ある
いは手話語に対応する音声言語の語の名称を２４０１上
に表示する。該当する手話語が無ければステップ２６０
６に進む。ステップ２６０６では、手話文情報あるいは
手話語情報中の手話語の内、カウンタの示す時刻を含む
手話語が存在するかどうかを検証する。該当する手話語
が存在すれば、ステップ２６０７において、手話語の名
称あるいは手話語に対応する音声言語の語の名称を２４
０２上に表示する。該当する手話語が無ければステップ
２６０８に進む。ステップ２６０８では、カウンタの値
を１つ進め、ステップ２６０２に戻る。

【００３２】また、ユーザの手話データから生成した手
話動画像と、手話文章情報および手話語情報から生成し
た手話動画像を表示する際、図２４に示すように、並べ
て表示するだけでなく、図２７に示すように２つの動画
像を重ねて表示するこもできる。図２７において、２７
０１および２７０２は手話文情報および手話語情報から
生成した手話動画像の手の部分、２７０３および２７０
４はユーザの手話データから生成した手話動画像の手の
部分である。２７０５は表示中の動画像がどの手話語に
対応しているかを表す情報である。図２７では、手の部
分のみ２種類の動画像を重ねて表示するようにしている
が、身体の部分を含めて重ねて表示を行うこともでき
る。この場合、身体の部分も異なった形態で表示を行う
必要がある。また、図２７では、ユーザの手話データか
ら生成した動画像より手話文情報および手話語情報から
生成した動画像をより強調した表示となっているが、ユ
ーザの手話データから生成した動画像を強調して表示す
ることも容易である。

【００３３】図２４において、２４０５は動画像の表示
を停止するためのボタン、２４０６は動画像の表示を開
始するためのボタン、２４０７は動画像の表示を一時停
止するためのボタン、２４０８は動画像を時間的に逆方
向に戻すためのボタン、２４０９は動画像を早送りする
ためのボタン、２４１０は手話動画像中の人物像を拡大
するためのボタン、２４１１は手話動画像中の人物像を
縮小するためのボタン、２４１２、２４１３は動画像中
の人物像を見る角度を変更するためのボタンである。２
４１４は動画像の表示を終了するためのボタンである。
また、図２２において、２２１１は手話データの認識結
果の表示を終了するためのボタンである。

【００３４】図２８から図３０を用いて、手話テストの
処理について説明する。図９の手話テストボタン９０３
を選択すると、図２８に示すような手話テストメニュー
が表示される。図２８において、２８０１は手話語に対
する手話データをユーザが入力し、それを評価して結果
を表示する手話語入力テストを行うためのボタン、２８
０２は手話文に対する手話データをユーザが入力し、そ
れを評価して結果を表示する手話文入力テストを行うた
めのボタン、２８０３は手話テストを終了し、図９に示
すメインメニューに戻るためのボタンである。手話語入
力テストを行うためのボタン２８０１を選択すると、教
育制御部１１７は手話語情報格納部１０８から、あらか
じめ決められている数の手話語情報をランダムに選択
し、それを手話語入力テストにおける問題とする。この
際、図５のユーザ情報中の手話語テスト結果情報５０２
を参照し、過去に行ったテストの結果が良好でない手話
語を優先的に選択するようにする。また、手話語テスト
結果情報５０２に評価結果の履歴が記述されている場
合、評価結果が改善されていない手話語を優先的に選択
するようにすることもできる。さらに、テスト問題とし
て出題する手話語をあらかじめ格納しておき、その情報
を参照してテスト問題を作成することもできる。またさ
らに、あらかじめ格納されている問題と、手話語をラン
ダムに選択して作成した問題とを混在させることもでき
る。テスト問題を作成した後、図２９に示すような手話
語入力テスト画面が表示される。図２９において、２９
０１は手話語入力テストにおける問題を表示する領域、
２９０２はユーザに対する指示を与えるための問題文、
２９０３は問題として選択された手話語に対する音声言
語の語である。２９０４は手話認識部１１２の状態を表
示するための領域であり、図１３の１３０１と同様の機
能を有する。２９０５は直前の問題に戻るためのボタ
ン、２９０６は現在の問題をスキップし、次の問題に移
るためのボタン、２９０７は手話語入力テストを中止
し、図２８に示す手話テストメニューに戻るためのボタ
ンである。表示されている問題に対するユーザの手話デ
ータの入力方法は、図１０における手話文章情報の検索
および表示画面において手話からの検索を行う場合の手
話データ入力方法と全く同様にして行うことができる。
また、手話データの評価は、問題となっている手話語が
認識結果中に含まれているかどうかによって行うことが
できる。最後の問題までユーザが手話動作の入力を行う
と、図３０に示すようなテスト結果表示画面が表示され
る。図３０において、３００１はテスト全体に対する評
価結果であり、出題された全ての手話語の評価結果を適
当な関数により１００点満点で評価した値に変換した値
を用いる。あるいは、全ての手話語の評価結果の平均値
や和を用いることもできる。３００２は出題されたそれ
ぞれの手話語に対する評価結果を表示する領域である。
３００３は問題番号、３００４は出題された手話語名あ
るいは手話語に対する音声言語の語、３００５はそれぞ
れの手話語に対する評価結果である。３００６は、手話
語を構成する動作要素毎の評価結果を表示するためのボ
タンである。図３０の画面上に表示されている手話語を
選択し、ボタン３００６を選択すると、図２３と同様の
動作要素毎の評価結果を示す画面が表示される。３００
７はユーザが入力した手話動作と正しい手話動作を比較
して表示するためのボタンであり、図２４あるいは図２
７の画面と同様の画面を用いて表示される。３００８は
テスト結果の表示を終了し、手話テストメニューに戻る
ためのボタンである。

【００３５】手話文入力テストは、問題が手話語から手
話文になるのみで、手話語テストの場合と全く同様にし
て問題作成および出題を行うことができる。手話文に対
する手話データの評価方法は、図１９で説明した評価方
法と全く同様にして行うことができる。また、手話文の
評価結果の表示は、図２２の画面に、図３０におけるテ
スト全体に対する評価結果３００１を追加した形で表示
する。手話文入力テストにおけるテスト全体に対する評
価結果は、出題された全ての手話文の評価結果を適当な
関数により１００点満点で評価した値に変換した値を用
いる。あるいは、全ての手話文の評価結果の平均値や和
を用いることもできる。

【００３６】以上の実施例により、ユーザは自分の手話
動作が正しいかどうかを確認しながら手話の会話を行う
ために必要な知識を習得することが可能となる。以上の
実施例には、手話文章の検索および表示と、手話語およ
び手話文の入力テストのみが含まれているが、この他、
手話単語の検索および表示、手話文の検索および表示を
行う機能も、図１０から図２７において説明した表示画
面、検索方法および評価方法の対象を手話文章情報から
手話語情報あるいは手話文情報に変更することにより容
易に実現することができる。また、手話テストにおい
て、手話語や手話文に対応する動画像をユーザに表示
し、それに対応する音声言語の語や文を入力する手話語
読み取りテストや手話文読み取りテストを追加すること
も容易である。この場合、図２９に示したテスト問題表
示画面では、動画像を表示する領域を追加し、解答は文
字あるいはあらかじめ表示されている選択肢から選択す
ることにより実現できる。

【００３７】

【発明の効果】ユーザから入力された手話データに対し
て、正しいか正しくないかの評価だけでなく、どの程度
正しい手話動作に近いかという相対的かつ連続的な評価
をユーザに表示し、また、ユーザの行った手話動作と正
しい手話動作の動画像を比較して表示することにより、
ユーザは自分の手話動作の問題点を容易に確認し、効果
的に手話の学習を行うことが可能となる。また、手話動
作から手話に関する情報を検索することにより、意味が
分からない手話動作やはっきり覚えていない手話動作に
関しても容易に検索を行うことができるようになる。

【図面の簡単な説明】

【図１】本発明による手話教育装置の概念ブロック図。

【図２】手話語情報のフォーマット。

【図３】手話文情報のフォーマット。

【図４】手話文章情報のフォーマット。

【図５】ユーザ情報のフォーマット。

【図６】手話語テスト結果のフォーマット。

【図７】手話文テスト結果のフォーマット。

【図８】教育制御部の主要な処理の流れ図。

【図９】メインメニューの画面。

【図１０】手話文章情報の表示画面。

【図１１】手話文章情報の一覧を表示する画面。

【図１２】検索方法の指定方法を説明する図。

【図１３】検索方法を変更した後の表示を説明する図。

【図１４】音声言語の語から手話文章情報を検索する処
理の流れ図。

【図１５】手話動作の入力および認識処理の流れ図。

【図１６】手話動作の入力および認識処理の間に表示さ
れるメッセージを説明する図。

【図１７】認識された手話語のフォーマット。

【図１８】手話動作から手話文章情報を検索する処理の
流れ図。

【図１９】ユーザが指定した手話者の手話を練習するた
めの処理の流れ図。

【図２０】手話文中の手話語とそれらに対応する認識さ
れた手話語の例。

【図２１】認識された手話語から生成された手話文の候
補の例。

【図２２】ユーザが入力した手話動作を評価した結果の
表示画面。

【図２３】ユーザが入力した手話動作を動作要素毎に評
価した結果の表示画面。

【図２４】ユーザが入力した手話動作と正しい手話動作
の比較を行う画面。

【図２５】ユーザの手話データから生成した手話動画像
の時間長を手話文情報および手話語情報から生成した手
話動画像に合わせる方法を説明するための図。

【図２６】ユーザの手話データから生成した手話動画像
と、手話文情報および手話語情報から生成した手話動画
像を表示する処理の流れ図。

【図２７】ユーザの手話データから生成した手話動画像
と、手話文情報および手話語情報から生成した手話動画
像を重ねて表示する画面の図。

【図２８】手話テストメニューの画面。

【図２９】手話語入力テストの出題画面。

【図３０】手話語入力テスト結果の表示画面。

Claims (16)

【特許請求の範囲】
1. 【請求項１】手話における動作を電気信号に変換し手話
   データとして入力する手段と、 文字を入力する手段と、 画面上の特定領域に対して選択等の操作を行う手段と、 手話語の名称や、手話語に対応する音声言語の語の名
   称、手話語を表す動作に関する情報、手話の動画像を生
   成するための情報等の、手話語に関する情報を記憶する
   手段と、 手話文を構成する手話語の列、手話文の意味を表す音声
   言語の文等の、手話文に関する情報を記憶する手段と、 手話文章を構成する手話文の列、手話文章の内容を表す
   音声言語の文等の、手話文章に関する情報を記憶する手
   段と、 手話語、手話文あるいは手話文章に関する情報を検索す
   る手段と、 入力された手話データと、手話語に関する情報を記憶す
   る手段に記憶されている手話の動作に関する情報とを比
   較して、入力された手話データ中に表現されている１つ
   以上の手話語を認識し評価する手段と、 入力された手話データや手話語情報、手話文情報から手
   話の動画像を生成する手段と、 手話語、手話文あるいは手話文章の検索結果、手話デー
   タの評価結果および手話の動画像の出力を行う手段と、
   ユーザの要求や、あらかじめ決められた学習の流れに応
   じて、手話教育に必要となる操作や表示の制御を行う手
   段とを有し、ユーザが入力した手話データを評価し、手
   話文に対する評価結果、手話語に対する評価結果、手話
   語を構成する手の形状や手の方向等の要素毎の評価結果
   の内、いずれか１つ以上を表示する機能と、ユーザが入
   力した手話データから生成した動画像と、上記手話語情
   報や手話文情報から生成した動画像とを共に表示する機
   能とを有することを特徴とする手話教育装置。
2. 【請求項２】請求項１記載の手話教育装置において、ユ
   ーザが入力した手話データから生成した動画像と、手話
   語に関する情報中に記憶されている手話の動画像を生成
   するための情報から生成した手話語あるいは手話文に対
   する動画像とを並べて、あるいは重ねて表示することを
   特徴とする手話教育装置。
3. 【請求項３】請求項２記載の手話教育装置において、ユ
   ーザが入力した手話データから生成した手話の動画像を
   表示する際、手話語の認識結果に基づいて、表示中の画
   像がどの手話語に対応していると認識されたかを示す情
   報を動画像と共に表示することを特徴とする手話教育装
   置。
4. 【請求項４】請求項２記載の手話教育装置において、ユ
   ーザが入力した手話データから生成した手話動画像と、
   手話語に関する情報中に記憶されている手話の動画像を
   生成するための情報から生成した手話語あるいは手話文
   に対する動画像と、を表示する際に、ユーザが入力した
   手話データから生成した動画像全体の時間長を、手話語
   に関する情報中に記憶されている手話の動画像を生成す
   るための情報から生成した手話語あるいは手話文に対す
   る動画像の時間長に合わせて伸縮させて表示する、また
   は、ユーザが入力した手話データの手話語の認識結果に
   基づいて、ユーザが入力した手話データから生成した動
   画像中の各手話語および遷移動作に対応する動画像の時
   間長を、手話語に関する情報中に記憶されている手話の
   動画像を生成するための情報から生成した手話語あるい
   は手話文に対する動画像中の各手話語および遷移動作の
   時間長に合わせて伸縮させて表示することを特徴とする
   手話教育装置。
5. 【請求項５】請求項２記載の手話教育装置において、ユ
   ーザが入力した手話文に対応する手話データ中の手話語
   毎の動画像を表示する際、ユーザが入力した手話データ
   の手話語認識結果に基づいて、ユーザが入力した手話デ
   ータを分割し、分割した手話データから生成した動画像
   を表示することを特徴とする手話教育装置。
6. 【請求項６】請求項１記載の手話教育装置において、ユ
   ーザが手話データを入力して、その手話データを評価す
   る際に、手話データを入力して良いかどうか、手話デー
   タが正しく入力されているか、手話データの入力が正し
   く終了したか、等を表す、手話語を認識し評価する手段
   の状態に関する情報を表示することを特徴とする手話教
   育装置。
7. 【請求項７】請求項１記載の手話教育装置において、手
   話文章中の全ての手話文に対して、最初の手話文から順
   に、ユーザが選択した手話文に関してはユーザにその手
   話文に対応する手話データを入力するように指示し、ユ
   ーザが入力した手話データの評価結果を表示し、ユーザ
   が選択しなかった手話文に関してはその手話文に対応す
   る動画像を表示する、ことにより、ユーザが会話を行っ
   ている状況で手話動作の練習を行い、自分の行った手話
   動作が正しいかどうかを確認することができる機能と、
   手話文章中の全ての手話文に対して、最初の手話文から
   順に、ユーザが選択した手話文に関してはユーザにその
   手話文に対応する手話動作を行うことを指示して、ある
   一定時間処理を停止し、ユーザが選択しなかった手話文
   に関してはその手話文に対応する動画像を表示する、こ
   とにより、ユーザが会話を行っている状況で手話動作の
   練習を行うことができる機能とを有し、それらの機能を
   自由に切り替えることができることを特徴とする手話教
   育装置。
8. 【請求項８】請求項１記載の手話教育装置において、ユ
   ーザが入力した手話データを認識し、その結果に基づい
   て手話語、手話文、あるいは手話文章に関する情報を検
   索することを特徴とする手話教育装置。
9. 【請求項９】請求項１記載の手話教育装置において、手
   話語情報あるいは手話文情報をもとに手話のテストを行
   うための問題を作成し、各問題毎にユーザの手話データ
   を入力し、入力された手話データの評価結果を出力する
   ことにより、ユーザが手話語や手話文の手話動作を学習
   できているかどうかを確認するテストを行うことを特徴
   とする手話教育装置。
10. 【請求項１０】請求項８記載の手話教育装置において、
    手話語や手話文のテスト結果に関するユーザの履歴に
    は、ユーザの名称、出題された手話語、出題された手話
    語の点数の履歴、出題された手話語の各要素毎の点数の
    履歴、出題された手話文、出題された手話文の点数の履
    歴、出題された手話文中の手話単語毎の点数の履歴、又
    は、出題された手話文中の手話単語の各要素毎の点数の
    履歴を含み、その内容に基づいてテスト問題を作成する
    ことを特徴とする手話教育装置。
11. 【請求項１１】手話動作が入力される入力部と、手話に
    関する情報が記録された情報格納部と、入力された手話
    動作と記録された上記手話に関する情報とを比較し、入
    力された手話動作を評価する手段と、上記評価結果を表
    示する表示手段とを有することを特徴とする手話教育装
    置。
12. 【請求項１２】請求項１１に記載の手話教育装置におい
    て、さらに、上記手話動作、及び、上記記憶された手話
    に関する情報とから手話動画像を生成する手話動画像生
    成部とを有し、上記手話動作から生成された動画像と、
    上記記憶された手話に関する情報から生成された動画像
    とを共に上記表示手段に表示することを特徴とする手話
    教育装置。
13. 【請求項１３】手話動作を入力するステップと、入力さ
    れた手話動作と情報格納部にあらかじめ記録された手話
    に関する情報とを比較するステップと、入力された手話
    動作を評価するステップと、該評価結果を表示手段に表
    示するステップとを有することを特徴とする手話教育方
    法。
14. 【請求項１４】手話動作を入力するステップと、入力さ
    れた手話動作と、情報格納部にあらかじめ記録された手
    話に関する情報とを比較するステップと、入力された手
    話動作を評価するステップと、上記手話動作、及び、上
    記記憶された手話に関する情報とから手話動画像を生成
    するステップと、上記評価結果、上記手話動作から生成
    された動画像、及び、上記記憶された手話に関する情報
    から生成された動画像とをを表示手段に表示するステッ
    プとを有することを特徴とする手話教育方法。
15. 【請求項１５】手話動作を入力するステップと、入力さ
    れた手話動作と、情報格納部にあらかじめ記録された手
    話に関する情報とを比較するステップと、入力された手
    話動作を評価するステップと、該評価結果を表示手段に
    表示するステップとを有する手話教育方法が記録された
    記録媒体。
16. 【請求項１６】手話動作を入力するステップと、入力さ
    れた手話動作と、情報格納部にあらかじめ記録された手
    話に関する情報とを比較するステップと、入力された手
    話動作を評価するステップと、上記手話動作、及び、上
    記記憶された手話に関する情報とから手話動画像を生成
    するステップと、上記評価結果、上記手話動作から生成
    された動画像、及び、上記記憶された手話に関する情報
    から生成された動画像とをを表示手段に表示するステッ
    プとを有する手話教育方法が記録された記録媒体。