JP2003295754A - 手話教育用システム及び該システムを実現するためのプログラム - Google Patents

Abstract

(57)【要約】 【課題】本発明は、手話学習者が、学習者が自身の手話
動作と手本となる手話動作を一動作ずつ順に確認を行い
ながら練習を行うことを可能とする等、効果的な手話学
習手段の提供にある。 【解決手段】本発明では、手本となる手話動画像を生成
するための手話動作データから動作の区切りとなる特徴
点を抽出し、入力された学習者の手話動作データから特
徴点を検出し、特徴点間の学習者の手話動作データと手
本となる手話動画像を生成するための手話動作データの
比較を行い、データの差が許容値以内であれば、次の連
続する特徴点間の手話動作データについて同様の処理を
行う。また、上記評価結果に応じて、手話動画像の表示
形態を変更するようにする。 【効果】本発明により手話の学習者は、自身の手話動作
と手本となる手話動作の差異を手話動作を表現しながら
画面上で容易に確認等、手話の学習者は効果的に手話の
学習を行うことが出来るようになる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、手話の学習者が効
率的に手話の学習を行うことができる環境を提供するた
めの技術に関する。

【０００２】

【従来の技術】手話を学習するための環境を提供する手
話教育用プログラムの技術としては、「みんなの手話
（株式会社ＮＨＫエデュケーショナル/日本アイ・ビー
・エム（株））」、「君の手がささやいている（富士通
ミドルウェア株式会社、１９９６年）」、「手にことば
を・入門編(富士通株式会社、１９９６年)」などがあ
る。これらの技術では、手話のビデオ動画像、それらに
対応する日本語文、およびそれぞれの手話文に関する説
明を学習者に同時に提示することにより、手話と日本語
との対応関係を学習させようとするものである。また、
これらの技術では、日本語文中の特定の単語に対応する
手話動画像を表示できる機能や、単語の一覧から学習者
が任意に選択した日本語の単語に対応する手話動画像を
表示できる機能を有する。さらに、「手にことばを・入
門編」では、動作の形状や方向といった手話を構成して
いる動作要素を選択することによって、手話を検索する
機能も有する。また、三次元コンピュータグラフィック
ス技術による手話アニメーションを手話動画像の表示に
用いた手話教育用プログラムの技術が特開２０００−０
０３１２７に開示される。この技術では、手話単語、手
話文および会話文という三種類の形式による手話動画像
の表示を学習者の要求に応じて柔軟切り替える機能を有
することにより、手話と日本語の対応を効果的に学習す
ることが可能となっている。さらに、手話認識技術を用
いた手話教育用プログラムの技術としてが特開２０００
−３３０４６７に開示される。この技術では、手話認識
技術を用いることにより、学習者の手話動作の評価を行
い、その結果を得点として表示を行う。また、学習者の
手話動作のデータから生成した手話動画像と手本となる
手話動画像を比較して表示を行う。この際、手話認識技
術を用いることにより、学習者の手話動画像と手本とな
る手話動画像の時間的なずれを補正して両者で同じ内容
を表現している部分を同時に表示できるようにすること
により、学習者が比較することを容易にしている。

【０００３】

【発明が解決しようとする課題】従来の手話教育に関す
る技術では、手話の動作と日本語文との対応関係を学習
者に表示することにより、学習者が手話の動作を学習す
るという方法が中心であった。このような方法では、学
習者は手話動作を見て理解できるようにはなるが、学習
者自身が手話動作を正しく行えるようになったかどうか
を確認することはできないという問題がある。通常、動
作を見て覚えただけでは、それを実際に動作として再現
できない場合が多い。このため、学習者が手話によるコ
ミュニケーションを行うことができるようになることを
目的とした手話教育用プログラムとしては、不十分であ
るという問題がある。

【０００４】一方、特開２０００−３３０４６７に開示
される方法では、学習者の手話動作が正しいかどうかを
手話認識技術により評価を行い、その結果を表示してい
る。これにより、学習者は自分の手話がどの程度正しい
かを確認することができる。この技術では、手話文など
のあるまとまりの動作を一通り入力し、その後評価が行
われ結果が表示される、という流れにより学習が進めら
れる。しかし、手話動作の練習を行う場合、通常、学習
者が行っている手話動作をその都度確認しながら練習を
行いたいという場合が多い。手話文や手話単語を単純な
一動作ずつに区切り、一動作ずつ順に確認を行いながら
手話動作を進めていくというような場合である。また、
従来技術では、学習者の手話動画像と手本となる手話動
画像を同時に表示しているが、全体の動作の中でどの部
分が正しくなかったのかを学習者が容易に判定すること
ができないという問題がある。効率的な手話学習を実現
するためには、学習者の手話動作における問題点を容易
に学習者自身が把握できることが望ましい。本発明の目
的は、手話を学習する過程において学習者が手話動作の
練習を行う際、学習者が自身の手話動作と手本となる手
話動作を一動作ずつ順に確認を行いながら練習を行うこ
とを可能とする手段を提供することである。本発明の他
の目的は、手話を学習する過程において、学習者の動作
のどこに問題点があるかを学習者自身が容易に確認し、
効果的に手話の学習を行うことができる手段を提供する
ことである。

【０００５】

【課題を解決するための手段】本発明では、手本となる
手話動画像を生成するための手話動作データから動作の
区切りとなる特徴点を抽出する。次に、学習者の手話動
作データの入力を行い、学習者の手がある特徴点から次
の特徴点に移動したことを検出し、特徴点間の学習者の
手話動作データと手本となる手話動画像を生成するため
の手話動作データの比較を行う。これらの処理の間、学
習者の手話動作データより生成した手話動画像と手本と
なる手話動画像を同時に画面上に表示するようにする。
手本となる手話動画像の表示速度は、学習者の動作速度
に基づいて計算された速度変化モデルを用いて制御を行
う。学習者の手話動作データと手本となる手話動画像を
生成するための手話動作データの差が許容値以内であれ
ば、次の連続する特徴点間の手話動作データについて同
様の処理を行う。また、学習者の手話動作データと手本
となる手話動作データを比較して表示する際、評価結果
に応じて、手話動画像の表示形態を変更するようにす
る。

【０００６】

【発明の実施の形態】以下、本発明の一実施例を図１か
ら図２１を用いて説明する。

【０００７】図１は本発明によるプログラムを適用した
手話教育装置の構成図である。図１において、１０１は
手話の動作を入力するためのビデオカメラであり、１０
２はビデオカメラから送られるビデオ信号を電気信号に
変換し動画像データとして入力し、さらに、入力された
動画像データから手の動作や頭部の動作等、手話を表現
するために必要となる動作を認識し、多次元の時系列デ
ータである手話動作データに変換を行う画像認識装置で
ある。動画像データを手話動作データに変換する手段と
しては、手の動作に関しては特開平１１−１７４９４８
に記載される技術等を、また表情や頭部の動作に関して
は特開平０６−０６７６０１に記載される方法や「日本
手話自動通訳を支援するための頭部運動解析（計測自動
制御学会第５１回パターン計測部会研究会、ｐｐ。２９
−３３、２０００年４月２１日）」等を利用することが
できる。１０３は手話における手動作を入力するための
手袋型入力装置であり、手袋にセンサを設置し、手の形
状や動きを電気信号に変換する装置として良く知られて
いる装置を利用することができる。手動作入力部１０４
は、手袋型入力装置１０３によって入力された電気信号
を指の曲げ角度や手の位置等からなる多次元の時系列デ
ータである手話動作データへの変換を行う。手袋型入力
装置１０３では、目的とする個所にセンサを設置するこ
とにより容易に手話データを取得することが可能であ
る。キーボード１０５およびマウス１０６は画面を操作
するための入力装置であり、良く知られた装置を用いる
ことができる。入力制御装置１０７は、キーボード１０
５およびマウス１０６から入力された信号を画面制御信
号に変換する装置である。

【０００８】手本情報１０８には、手話の学習に必要と
なる会話例文および会話例文中の手話文に関する情報、
会話例文および各手話文に関する説明等の関連情報、手
話動画像表示用および手話単語認識用のデータが格納さ
れている。また、学習履歴情報１０９には、学習者の手
話動作を評価した結果の履歴が手話文毎に格納されてい
る。

【０００９】手話認識プログラム１１０は、画像入力装
置１０２および手動作入力装置１０４から入力された手
話動作データから、その中に表現されている個々の手話
単語を認識するためのプログラムである。手話単語を認
識する技術としては例えば特開平１０−２０８０２３に
開示される方法を用いることができる。手話生成プログ
ラム１１１では、手本情報１０８に格納されている情報
に基づいて手話動画像を生成する。画面制御装置１１３
は、手話生成プログラム１１１において生成された手話
動画像と、手本情報に格納されている手話動画像の関連
情報を合わせてディスプレイ１１４に表示する。

【００１０】制御プログラム１１２は、キーボード１０
５やマウス１０６による学習者の操作に合わせて、手本
情報１０８および学習履歴情報１０９からの情報の入出
力や、画像認識装置１０２、手動作入力装置１０４、手
話認識プログラム１１０、手話生成プログラム１１１、
画面制御装置１１３の動作を制御するためのプログラム
であり、処理装置１１５により実行される。

【００１１】図２に手本情報１０８に格納されている会
話例文のフォーマットを示す。図２において、会話例文
名２０１は会話例文の名称、手話文数２０２は会話例文
中に含まれる手話文の数、話者２０３および２０５は手
話文に対応する話者の名称、手話文名２０４および２０
６は手話文の名称を表す。説明文２０７は会話例文の内
容や表現上の注意点等の手話教育に必要となる情報であ
る。

【００１２】図３に会話例文中の各手話文のフォーマッ
トを示す。図３において、手話文名３０１は手話文の名
称であり、この名称が図２における２０４および２０６
として記述される。日本語文３０２は手話文の意味を表
す日本語文、手話単語数３０３は例文中に含まれる手話
単語の数である。手話単語名３０４および３０５は例文
中における各手話単語の名称、説明文３０６は例文の内
容や表現上の注意点等の手話教育に必要となる情報であ
る。

【００１３】図４に、図１に示す手話教育装置のメニュ
ー画面の一例を示す。図４において４０１は手本情報１
０８に格納されている会話例文の一覧を表示する領域、
４０２は手話教育装置の処理を終了させるためのボタン
である。会話例文の一覧には、会話例文名２０１が表示
される。図４において、目的とする会話例文名をマウス
によりクリックすると、選択した会話例文の内容を表示
することができる。

【００１４】図５に会話例文の表示画面の一例を示す。
図５において、５０１は会話例文中の各例文に対応する
手話動画像を表示するための領域、５０２は会話例文の
名称を表示する領域、５０３は会話例文中に含まれる手
話文の一覧を表示する領域であり、図３における日本語
文３０２を表示する。あるいは手話文名３０１を表示し
ても良い。５０４は手話文に関する情報を表示するため
の領域であり、図３における説明文３０６が表示され
る。５０３上で目的とする手話文をクリックすることに
より、クリックした手話文に関する情報が５０４上に表
示される。５０５は手話動画像の表示を開始するための
ボタン、５０６は手話動画像の表示を一時停止するため
のボタン、５０７は手話動画像の表示を停止するための
ボタン、５０８は手話動画像の表示を逆戻しするための
ボタン、５０９は手話動画像の表示を早送りするための
ボタンである。５１０は学習者の手話動作データに基づ
いて生成された手話動画像と、手本情報から生成した手
話動画像を比較した表示を見ながら学習者が手話動作の
練習を行う機能を起動するためのボタン、５１１は学習
者の手話動作を評価する機能を起動するためのボタン、
５１２は会話例文の表示を終了するためのボタンであ
る。５０３に表示されている手話文の内、目的とする手
話文をマウスによりクリックすると、クリックした手話
文の手話動画像を表示できる状態になり、５０５から５
０９のボタンを用いて手話動画像の表示を制御すること
ができる。手話動画像は例文中の手話単語名３０４から
３０５に基づいて生成する。手話動画像を生成する技術
としては特開平０８−０１６８２１に記載される技術等
を用いることができる。

【００１５】５０３上で手話文をマウスによりクリック
し、さらに５０９をマウスによりクリックすると、図６
に示す手話動作の練習用画面が表示される。図６におい
て、６０１は学習者の手話動作の入力を開始するための
ボタン、６０２は学習者の手話動作の入力を終了するた
めのボタン、６０３は学習者が入力した手話動作データ
に基づいて生成された手話動画像と手本情報に基づいて
生成された手話動画像を比較して表示するための領域、
６０４は練習を行う手話文に対する日本語文を表示する
領域である。６０５は手話動画像として表示する手話動
作の内、表示する内容を選択するためのチェックボック
ス群である。手話によっては、手の形状や手の方向の
み、あるいは動きのみを確認したい場合があるため、表
示したい内容を学習者が選択して表示できるようにす
る。６０５では、手の形状、方向および位置に関する情
報をそれぞれ独立して選択表示できるようになってい
る。表示したい項目に関するチェックボックスにマウス
を用いてチェックを付けることにより、チェックした項
目のみを表す動画像が表示される。各項目は任意に組み
合わせることが可能である。手の形状や方向、位置を選
択して表示する技術としては、特開平０８−０１６８２
１に開示される技術等を用いた場合、容易に実現するこ
とができる。例えば、手の形状のみを選択した場合は６
０３上に手のみが表示される。また、手の位置のみを選
択した場合は６０３上に手の位置変化を表す動画像が表
示される。６０６は、６０３上に表示される手話動画像
の左右を反転するかどうかを指定するためのチェックボ
ックスである。手話動作を学習する場合、手本となる手
話動画像は左右を反転させて表示した方が効果的である
場合が多い。６０６のチェックボックスにマウスを用い
てチェックを付けることにより、６０３上に表示される
手話画像は左右を反転させて表示される。６０７は手話
動画像中で手話を表現するキャラクタの６０３上での位
置を上下左右に変更するためのボタン群である。６０７
における中央のボタンはキャラクタの位置を初期位置に
戻すためのボタンである。６０８は手話動画像中で手話
を表現するキャラクタの６０３上での大きさを変更する
ためのボタン群である。６０８における中央のボタン
は、モデルの大きさを初期値に戻すためのボタンであ
る。６０９は手話動画像中で手話を表現するキャラクタ
の６０３上での方向を変更するためのボタンである。ボ
タン上に表示されている方向にキャラクタの方向を変更
することができる。６０９における中央のボタンは、モ
デルの方向を初期値に戻すためのボタンである。

【００１６】図６において、６０１をマウスによりクリ
ックすると、学習者は手話動作を入力し、手本となる手
話動画像と学習者の手話動画像が同時に６０３上に表示
され、この画面を確認しながら学習者は手話動作の練習
を行うことができるようになる。６０１をマウスにより
クリックした際の処理の流れを図７から図１２を用いて
詳細に説明する。図７に画像認識装置あるいは手動作入
力装置から入力される手話動作データのフォーマットの
一例を示す。図７において、７０１は手の位置に関する
データであり、７０２はＸ軸の座標、７０３はＹ軸の座
標、７０４はＺ軸の座標である。７０５は手の方向に関
するデータであり、７０５はＸ軸回りの回転角度、７０
６はＹ軸回りの回転角度、７０７はＺ軸回りの回転角度
である。７０９は手の形状の関するデータであり、７１
０は親指の第一関節の曲げ角度、７１１は親指の第二関
節の曲げ角度、７１２は人差指の第一関節の曲げ角度、
７１３は人差指の第二関節の曲げ角度、７１４は中指の
第一関節の曲げ角度、７１５は中指の第二関節の曲げ角
度、７１６は薬指の第一関節の曲げ角度、７１７は薬指
の第二関節の曲げ角度、７１８は小指の第一関節の曲げ
角度、７１９は小指の第二関節の曲げ角度である。ま
た、７２０は第一フレーム目のデータ、７２１は第二フ
レーム目のデータ、７２２は第ｎフレーム目のデータで
ある。このように、手話動作データは多次元時系列デー
タとして表現する。手本となる手話動作データは、上述
の特開平０８−０１６８２１記載の技術等を使用するこ
とにより、図３に示す手話文の情報に基づいて同様の多
次元時系列データとして容易に生成することができる。
また、手話動画像の生成も同様の技術を用いて行うこと
ができる。

【００１７】図８に、学習者の動作に同期させて手本情
報から生成した手話動画像を表示するためのアルゴリズ
ムを示す。図８において、ステップ８０１では手本情報
から生成した手話動作データ（以下、手本動作データと
呼ぶ）から動作の区切りを示す特徴点を抽出する。手話
動作の区切りを検出する方法としては、特開２０００−
２８４６８２記載の技術等を用いることができる。ま
た、手話文中の各手話単語の開始時刻および終了時刻を
特徴点とすることもできる。さらに、特徴点に関する情
報をあらかじめ手本動作データと共に格納しておいても
良い。図９に手話動作データから特徴点を検出した例を
示す。図９において、９０１は動作の軌跡を表してお
り、９０２、９０３、９０４、９０５、９０６および９
０７が検出された特徴点を示す。このように動作が大き
く変化する個所を区切りとして手話動画像の表示を行う
こととなる。ステップ８０２では、特徴点の番号を表す
変数ｉに初期値１を代入する。ステップ８０３では、変
数ｉの値が特徴点の数より大きいかどうかを判定し、特
徴点の数より大きい場合は処理を終了する。変数ｉが特
徴点の数より小さい場合はステップ８０４に進む。ステ
ップ８０４では、学習者の手の位置が特徴点ｉの位置に
移動したことを検出する処理を行う。検出方法として
は、学習者の手話動作データ（以下、学習者動作データ
と呼ぶ）の入力を行いながら学習者の手の位置座標と特
徴点ｉの位置座標との距離を計算し、距離があらかじめ
決められた閾値以内であれば学習者の手が特徴点ｉの位
置に移動したと判断すれば良い。距離の計算方法として
は、一般に用いられるユークリッド距離等を用いること
ができる。ステップ８０５では、学習者の手話動作が開
始されたことを検出する。この方法としては、ステップ
８０４と同様に、学習者の手の位置座標と特徴点ｉの位
置座標との距離を計算する。計算された距離があらかじ
め決められた閾値より大きければ学習者の手話動作が開
始されたと判定する。

【００１８】ステップ８０６では、学習者の手話動作が
開始されたと判定された時刻から３フレーム分の学習者
動作データを読込む。ステップ８０７ではステップ８０
６で読込んだ学習者動作データに基づき、特徴点ｉから
特徴点（ｉ＋１）までの学習者動作データの速度変化の
予測値を計算し、その予測値を元に、表示用の手本動作
データを生成する。学習者動作データの速度変化は、例
えば、図１０に示すような山形の速度変化モデルを仮定
して、以下のような方法で計算することができる。図１
０において、Ｔ（１００１）は移動時間、Ｖｍａｘ（１
００２）は速度の最大値を表す。速度モデルとしては図
１０に示すような山型のモデルの他、放物線型のモデル
等、動作軌跡を生成するために一般に用いられるモデル
を使用することができる。ここで、特徴点ｉから手話動
作が開始された場合の最初のフレームを０フレームとし
て、ステップ８０６で読込まれた手話動作データの各フ
レームの位置座標をＰ（０）、Ｐ（１）、Ｐ（２）、フ
レーム間の時間間隔をＦとする。Ｐ（０）、Ｐ（１）、
Ｐ（２）を用いることにより、図１０に示す速度変化モ
デルにおける直線の傾きＫの予測値は（数１）により計
算することができる。

【００１９】

【数１】 特徴点ｉから特徴点（ｉ＋１）までの軌跡の長さをＬと
すれば、移動時間の予測値Ｔｐは（数２）により計算す
ることができる。

【００２０】

【数２】 手本動作データの特徴点ｉから特徴点（ｉ＋１）までの
移動時間Ｔｃは予測値Ｔｐより少し大きくなるように設
定を行う。すなわち、Ｔｃ＝αＴｐとする。ここで、α
は１より小さい値である。手話動画像の表示において
は、Ｔｃは（数３）により計算されるＮ個のフレームに
分割される。ここで、Ｉｎｔ（Ｘ）は、Ｘの少数以下を
切り捨て、整数値に変換する関数である。例えば、Ｉｎ
ｔ（１。２）＝１となる。

【００２１】

【数３】 Ｎ、Ｆ、Ｌおよび図１０の速度変化モデルを用いること
により、手本動作データにおいて、特徴点ｉからｎフレ
ーム目における特徴点ｉからの距離Ｌ（ｎ）は（数４）
により求められる。

【００２２】

【数４】 さらに、ｎフレーム目における表示用の手本動作データ
の手の位置座標Ｒ（ｎ）は、元の手本動作データ中の特
徴点ｉから特徴点（ｉ＋１）の間のフレーム数をＭ、特
徴点ｉからのフレーム数をｍ、ｍフレーム目の座標デー
タＱ（ｍ）として、図１１に示すアルゴリズムによって
計算する。図１１におけるステップ１１０１では、元の
手本動画像データの特徴点ｉからのフレーム数を表す変
数ｊに初期値１を、特徴点ｉからの距離を表す変数ｌお
よびｒに初期値０をそれぞれ代入する。ステップ１１０
２では、ｊがＭ以下かどうかの判定を行う。ｊがＭ以下
の場合は、ステップ１１０３に進む。ステップ１１０３
では、Ｑ（Ｎ）にＲ（Ｍ）を代入し、処理を終了する。
ステップ１１０２においてｊがＭより大きい場合は、ス
テップ１１０４に進み、ｒにｌを代入した後、ｌにＤ
（ｊ−１、ｊ）を加算する。ここで、Ｄ（ｘ、ｙ）は元
の手話動作データにおいて特徴点ｉからｘフレーム目に
おける手の位置とｙフレーム目における手の位置の間の
距離である。ステップ１１０５では、ｌがＬ（ｎ）より
大きいかどうかの判定を行い、ｌがＬ（ｎ）より小さけ
ればステップ１１０６に進む。ステップ１１０６ではｊ
に１を加算し、ステップ１１０２に戻る。ステップ１１
０５において、ｌがＬ（ｎ）以上であればステップ１１
０７に進む。ステップ１１０７では、ｊ、ｌ、ｒの値を
元にＬ（ｎ）における手の位置を求める。手の位置Ｑ
（ｎ）は（数５）により求めることができる。ｎフレー
ム目における手の形状や方向は、ステップ１１０７にお
いて、（ｊ−１）フレーム目とｊフレーム目の手の形状
や方向についても同様の計算を行うことにより容易に求
めることができる。また、ステップ１１０７において、
ｎフレーム目における手の形状、方向および位置は左右
それぞれの手について計算を行う。図８においてステッ
プ８０８では、ステップ８０７で求めた表示用の手本動
作データ中で表示されるフレームを表す変数ｓに初期値
３を代入する。学習者の動作開始時に３フレーム文の手
話動作データを読み込むため、手本動作データの表示は
３フレーム目から行う。ステップ８０９では表示用手本
動作データのｓフレーム目に対する手話動画像を表示す
る。ステップ８１０では、学習者動作データを１フレー
ム分読込み、その学習者動作データから生成した手話動
画像を表示する。ステップ８１１では、学習者の手の位
置が特徴点（ｉ＋１）における手の位置に移動したかど
うかの判定を行う。この判定は、ステップ８０４と同様
に、学習者の手の位置座標と特徴点（ｉ＋１）の位置座
標との距離を計算し、距離があらかじめ決められた閾値
以内であれば学習者の手が特徴点（ｉ＋１）の位置に移
動したと判断すれば良い。学習者の手の位置が特徴点
（ｉ＋１）の位置にあると判定されなければ、ステップ
８１２に進む。ステップ８１２では変数ｓに１を加算す
る。ステップ８１３では変数ｓの値が特徴点（ｉ＋１）
のフレーム数、すなわちＮより大きいかどうかを判定す
る。大きくなければステップ８０９に戻る。大きければ
ステップ８１４に進む。ステップ８１４では変数ｓに初
期値１を代入し、ステップ８０９に戻る。ステップ８１
１において学習者の手の位置が特徴点（ｉ＋１）の位置
にあると判定された場合はステップ８１５に進む。ステ
ップ８１５では、特徴点ｉから特徴点（ｉ＋１）におけ
る学習者動作データと手本動作データの比較を行う。手
話動作データの比較方法としては、例えば特開平６−０
８３９３８記載の方法等を用いることにより容易に行う
ことができる。ステップ８１６ではステップ８１５にお
ける比較の結果、学習者動作データと手本動作データの
差が許容範囲内であるかどうかを判定する。許容範囲内
であればステップ８１７に進む。ステップ８１７では変
数ｉに１を加算し、ステップ８０３に戻る。ステップ８
１６において、差が許容範囲内でなければステップ８０
４に戻る。

【００２３】以上のアルゴリズムにより、手本動作デー
タと学習者動作データから生成される手話動画像は、図
１２に示すように表示されることになる。図１２におい
て、１２０１は手本動作データの軌跡を示しており、１
２０２、１２０４、１２０６および１２０８は学習者動
作データから生成された手話動画像、１２０３、１２０
５、１２０７および１２０９は手本動作データから生成
された手話動画像を示している。また、１２０２および
１２０３は開始時の手話動画像であり、学習者の手話動
作が開始されると、１２０４、１２０５、１２０６、１
２０７、１２０８および１２０９に示すように手本動作
データから生成された手話動画像が学習者動作データか
ら生成された手話動画像に先行して表示される。

【００２４】上記のアルゴリズムでは、ステップ８０７
で計算した手本動作データを用いて手話動画像の表示を
制御しているが、ステップ８１０で学習者の手話動作デ
ータを読込む毎に、その時の学習者の動作速度に合わせ
て手本動作データを修正するようにしても良い。また、
上記のアルゴリズムでは、ステップ８０４において学習
者の手が特徴点ｉの位置にあることを検出するまで手本
動作データは表示しないが、特徴点ｉから特徴点（ｉ＋
１）までの手話動画像をあらかじめ決められた速度変化
モデルに従って繰り返し表示し、学習者の動作が開始さ
れた時に使用する速度変化モデルに切り替えるようにし
ても良い。さらに、あらかじめ決められた速度変化モデ
ルに従って手本動作データから手話動画像を生成して表
示するようにするだけでも良い。また図８に示すアルゴ
リズムでは、ステップ８１５で学習者動作データと手本
動作データを比較した結果が許容範囲外である場合、手
本動作データから生成された手話動画像の表示は停止
し、学習者動作データが特徴点ｉから開始されることを
検出するまで手本動作データから生成された手話動画像
は表示されないが、手本動作データから生成された手話
動画像は表示を継続するようにしても良い。

【００２５】図５において、５０３上に表示されている
手話文をマウスによりクリックした後、ボタン５１１を
マウスによりクリックすると、図１３に示すように、学
習者の手話動作の入力を指示するメッセージを表示する
ウィンドウ１３０１が表示される。これにより、図１の
画像入力装置１０２および手動作入力装置１０４が動作
し、学習者動作データが入力可能な状態になる。１３０
１上に表示されているボタン１３０２は、学習者動作デ
ータの入力を中止するためのボタンである。ここで、学
習者の手話動作の開始を検出する方法としては、手話動
作の開始および終了時に、キーボード１０５上のあらか
じめ決められたキーやマウス１０６上のあらかじめ決め
られたボタンを押す方法や、あるいは１３０１上等に手
話動作の開始や終了を示すためのボタンを表示し、マウ
スによりクリックする方法を利用することができる。又
特開平７−３１１５４５に記載される方法では、あらか
じめ手話動作の開始や終了を示すための手の位置や方
向、あるいはそれらの組み合わせを表す手話動作データ
を登録し、登録した手話動作データと学習者動作データ
が一致する時刻を手話動作の開始や終了の時刻として検
出する。この技術を利用した場合、１３０１上には学習
者にデータの入力状況を知らせるメッセージが表示され
る。表示されるメッセージの一例を図１４に示す。図１
４において、ウィンドウ１４０１には学習者動作データ
が動作の開始を示す手話動作データと一致することを待
っている状態を示すメッセージが表示されている。ここ
で学習者動作データが動作の開始を示す手話動作データ
と一致すると、ウィンドウ１４０２のように、学習者に
手話動作を開始するよう指示するメッセージが表示され
る。学習者の手話動作データが動作の開始を示す手話動
作データから外れたことを検出すると、ウィンドウ１４
０３のように、学習者動作データを入力中であることを
示すメッセージが表示される。さらに、学習者動作デー
タが動作の終了を示す手話動作データと一致したことを
検出すると、ウィンドウ１４０４のように、学習者動作
データの入力を終了し、学習者動作データを評価してい
ることを示すメッセージが表示される。

【００２６】学習者動作データの入力が終了すると、学
習者動作データは手話認識プログラム１１０を用いて評
価される。特開平１０−２０８０２３等にある技術を用
いることにより、学習者動作データの評価結果は図１５
に示すようなフォーマットで得られる。図１５におい
て、手話文名１５０１は手話文の名称であり、図３にお
いて記述される手話文名３０１と同様である。総合評価
１５０２は手話文全体の評価結果を表す値であり、例え
ば１００点満点に換算した得点等により記述することが
できる。手話単語数１５０３は手話文中に含まれる手話
単語の数である。１５０４から１５０５は手話文中の各
手話単語に対する評価結果であり、総合評価１５０２と
同様に、１００点満点に換算した得点等により記述する
ことができる。また、各手話文の評価結果は履歴情報と
して、図１における学習履歴情報１０９に格納される。
学習履歴情報のフォーマットを図１６に示す。図１６に
おいて、手話文名１６０１は手話文の名称である。履歴
数１６０２は格納されている学習履歴情報の数である。
手話文の評価結果１６０３および１６０５は手話文を評
価した結果であり、図１５のフォーマットにより表され
る情報が記述される。手話動作データ１６０４および１
６０６は評価された学習者動作データが記述される。手
話動作データは図７のフォーマットにより表されるデー
タである。履歴情報にはこの他、学習者名、日付、時刻
等の情報を含めることもできる。

【００２７】学習者動作データの評価が終了すると、そ
の結果が図１７に示す画面により表示される。図１７に
おいて、１７０１は手本動作データと学習者動作データ
から生成された手話動画像を表示する領域、１７０２は
手話動画像の再生、停止および再生の一時停止を制御す
るためのボタン群、１７０３は手話動画像として表示す
る情報を選択するためのボタン群である。図１７では、
手の形状、手の方向および手の位置に関する情報を別々
に選択できるようになっており、それぞれの情報を任意
に組み合わせた手話動画像の表示を行うことができる。
例えば、手の形状のみを選択した場合は、１７０１上に
手のみが表示される。また、手の位置のみを選択した場
合は、１７０１上に手の位置変化を表す動画像が表示さ
れる。１７０４は手話動画像中で手話を表現するキャラ
クタの１７０１上での位置を上下左右に変更するための
ボタン群である。１７０４における中央のボタンはキャ
ラクタの位置を初期位置に戻すためのボタンである。１
７０５は手話動画像中で手話を表現するキャラクタの１
７０１上での大きさを変更するためのボタン群である。
１７０５における中央のボタンはキャラクタの大きさを
初期値に戻すためのボタンである。１７０６は手話動画
像中で手話を表現するキャラクタの１７０１上での方向
を変更するためのボタン群である。１７０６における中
央のボタンはキャラクタの方向を初期値に戻すためのボ
タンである。

【００２８】図１７において１７０７は学習者動作デー
タを評価した履歴を一覧表示する画面である。１７０７
では、評価が行われた順に付加された通し番号と、手話
文全体に対する評価結果に基づく得点が表示されてい
る。この他、履歴の表示方法として、評価値の大きいも
のから、あるいは小さいものから順に表示することもで
きる。また、通し番号と評価結果のみでなく、図３にお
ける手話文に関する情報の任意の部分を選択して表示す
るようにしてもよい。１７０７に表示された評価結果を
マウスによりクリックすると、クリックされた評価結果
の番号が１７０８に、総合得点が１７０９上に表示され
る。また、手話文の詳細な評価結果が１７１０上に表示
される。１７０８および１７０９は１７０７に表示され
ている内容に応じて変更することも容易である。

【００２９】１７１０に表示される手話文の詳細な評価
結果は、図１５に示す手話文の評価結果の情報に基づい
て表示が行われる。１７１０では、各手話単語の名称お
よび得点が１７１１、１７１２、１７１３および１７１
４として表示されている。この際、評価結果が悪い箇所
を学習者が容易に把握できるように、評価結果に応じて
表示形態を変更する。評価結果の良い手話単語と悪い手
話単語の判定は、例えば評価結果が得点で表されている
場合は、あらかじめ得点の基準値を設定しておき、得点
が基準値より大きい場合は評価結果が良いと判定し、得
点が基準値より小さい場合は評価結果が悪いと判定すれ
ば良い。判定方法は、良い悪いの二段階だけでなく、三
段階以上にすることも容易である。表示形態の変更方法
としては、例えば評価結果が良い場合と悪い場合それぞ
れにあらかじめ表示色を設定しておき、判定結果に対応
する表示色で表示を行うようにすれば良い。表示形態の
変更方法としては、表示色を変更させる他、表示する大
きさや表示する文字を変更しても良い。あるいは、表示
色の変更、大きさの変更、文字の変更を組み合わせて表
示しても良い。また、図１７において１７１５は、評価
結果の表示を終了するためのボタンである。

【００３０】図１７において、手話単語毎の情報１７１
１、１７１２、１７１３および１７１４をマウスにより
クリックし、さらに１７０２における「再生」ボタンを
マウスによりクリックすると、各手話単語に対応する手
話動画像が表示される。また、１７１０上における手話
単語毎の情報が表示されている領域以外の領域をマウス
によりクリックし、１７０２における「再生」ボタンを
マウスによりクリックすると、手話文に対する手話動画
像が表示される。手話文に対する手話動画像の表示にお
いて手話単語が表現されている場合に、対応する手話単
語の名称を１７０１上に同時に表示するようにしてもよ
い。また、評価結果が良い箇所と悪い箇所を学習者が手
話動画像中で容易に把握できるように、評価結果に応じ
て手話動画像の表示形態を変更する。手話動画像の表示
形態を変更する方法の例を図１８から図２１を用いて説
明する。図１８では、評価結果に応じて手話動画像の背
景色を変更する。図１８において、１８０１は学習者動
作データより生成された手話動画像、１８０２は手本動
作情報から生成された手話動画像を表す。１８０３およ
び１８０５は評価結果が良いと判定された箇所、１８０
４は評価結果が悪いと判定された箇所を表している。背
景色は上述した方法と同様に設定することができる。ま
た、背景色の他、背景の模様の変更や、背景色と背景の
模様の変更を組み合わせることも可能である。図１９で
は評価結果に応じて、手の表示色を変更する。図１９に
おいて、１９０１および１９０３は評価結果が良いと判
定された箇所、１９０２は評価結果が悪いと判定された
箇所を表している。１９０２における手話動画像中の手
１９０４および１９０５の表示色が１９０１および１９
０３とは異なった表示色で表示されている。図２０で
は、評価結果が悪いと判定された箇所において評価結果
が悪い理由を表すメッセージを２００１に示すように手
話動画像上に表示する。例えば上記特開平１０−２０８
０２３記載の方法で手の形状や手の方向など手話動作の
構成要素毎に評価結果を出力することは容易である。こ
れを利用することにより、評価結果が悪い原因となる構
成要素が何かを表示することができる。例えば，構成要
素毎の評価結果が得点で表されている場合は、あらかじ
め得点の基準値を設定しておく。また、構成要素毎に得
点が基準値より大きい場合と小さい場合に使用するメッ
セージを用意しておく。構成要素の評価結果より得られ
た得点と基準値を比較し、該当するメッセージを選択
し、そのメッセージを表示すれば、図２０に示す表示を
容易に実現することができる。さらに、基準値とメッセ
ージを複数用意し、得点に応じてメッセージを選択すれ
ば、より詳細な情報を表示することができるようにな
る。これにより、複数の構成要素の評価結果が悪い場合
に、いずれの構成要素がどの程度悪いかを判断できる表
示が可能となる。評価結果より得られた得点を構成要素
毎に表示するのみでも良いし、メッセージと得点を組み
合わせた表示も容易に実現することができる。メッセー
ジは手話動画像を表示する画面とは異なる画面上に表示
するようにしても良い。また、構成要素毎の評価結果を
用いることにより、図１８あるいは図１９に示す表示方
法において、評価結果が悪い構成要素に応じて、表示色
や背景色、模様等を変更して表示を行うようにすること
も可能である。図２１では、評価結果が悪いと判定され
た箇所において手本動作データ中の動作軌跡と学習者動
作データ中の動作軌跡を２１０１および２１０２に示す
ように表示する。図２１において、２１０１は手本動作
データ中の動作軌跡、２１０２は学習者動作データ中の
動作軌跡を表す。また、動作軌跡の表示は、学習者動作
データ中の該当する動作軌跡の評価結果が悪いと判定さ
れた場合のみとする。図１８から図２１において説明し
た表示方法は、任意に組み合わせて表示を行うようにす
ることができる。

【００３１】

【発明の効果】本発明により手話の学習者は、自身の手
話動作と手本となる手話動作の差異を手話動作を表現し
ながら画面上で容易に確認することができるようにな
る。また、全体の動作を分割し、分割した単位毎に適切
な動作が表現できていることを確認しながら手話動作の
練習を行うことができるようになる。さらに、学習者の
手話動作を評価した結果において、評価結果に応じて表
示形態を変更することにより、学習者は評価結果が悪い
箇所を容易に把握することが可能となる。以上により、
手話の学習者は効果的に手話の学習を行うことが出来る
ようになる。

【図面の簡単な説明】

【図１】本発明によるプログラムを適用した手話教育装
置の構成図。

【図２】会話例文のフォーマット。

【図３】手話文のフォーマット。

【図４】手話教育装置のメニュー画面の一例。

【図５】会話例文の表示画面の一例。

【図６】動作練習画面の一例。

【図７】手話動作データのフォーマット。

【図８】学習者動作データと手本動作データから生成さ
れた手話動画像を同期して表示する処理のアルゴリズ
ム。

【図９】手本動作データから抽出された特徴点の一例。

【図１０】手話動作における速度変化モデル。

【図１１】学習者動作データから計算された速度変化に
従って手本動作データを変更する処理のアルゴリズム。

【図１２】学習者動作データと手本動作データから生成
された手話動画像の表示例。

【図１３】手話動作の入力を学習者に促すためのメッセ
ージの表示例。

【図１４】学習者動作データの入力状況に応じたメッセ
ージの表示例。

【図１５】学習者動作データの評価結果のフォーマッ
ト。

【図１６】学習者動作データの学習履歴情報のフォーマ
ット。

【図１７】学習者動作データの評価結果を表示する画面
の一例。

【図１８】学習者動作データの評価結果が悪い個所の背
景を変更する場合の表示例。

【図１９】学習者動作データの評価結果が悪い個所の手
の色を変更する場合の表示例。

【図２０】学習者動作データの評価結果が悪い個所にメ
ッセージを表示する場合の表示例。

【図２１】学習者動作データの評価結果が悪い個所の動
作軌跡を表示する場合の表示例。

Claims (8)

【特許請求の範囲】
1. 【請求項１】手話学習者の動作情報の入力手段と該動作
   情報の処理を制御する制御手段と情報記録手段と表示手
   段とを有するコンピュータに手話教育システムを実現さ
   せるためのプログラムであって、上記記録手段は手本と
   なる手話に関する情報である手本情報を記録し、上記プ
   ログラムは、上記制御手段に、上記手本情報から動作の
   区切りとなる第１の特徴点と第２の特徴点を抽出するス
   テップと、上記入力手段により手話学習者の動作情報を
   入手し、該動作情報から手話動画像を生成して上記表示
   手段に表示させるステップと、上記手本情報から手話動
   画像を生成し上記表示手段に表示させるステップと、上
   記動作情報が第１の特徴点の位置にあるかを判定するス
   テップと、上記動作情報が第２の特徴点の位置にあるか
   を判定するステップと、上記情報があると判定された場
   合に、上記第１の特徴点と上記第２の特徴点の間におけ
   る上記手本情報と上記動作情報の軌跡の差異を計算する
   ステップと、上記差異が所定の値以下の場合には上記第
   ２の特徴点を第１の特徴点とし、上記手本情報から抽出
   した次の特徴点を第２の特徴点として上記処理を継続
   し、上記差異が所定の値以上の場合には上記第１の特徴
   点と上記第２の特徴点を用いて上記処理を反復するステ
   ップと、を制御させることを特徴とするプログラム。
2. 【請求項２】上記フローに先駆けて、上記入力手段によ
   り複数フレーム分の手話学習者の動作情報を入力するス
   テップと、上記入力した動作情報から動作速度を計算す
   るステップと、上記計算値に基づいて上記手本情報の速
   度パラメータを変化させるステップと、を上記制御手段
   に制御させることを特徴とする請求項１記載のプログラ
   ム。
3. 【請求項３】上記手本情報の速度パラメータを変化させ
   るステップにおいて、上記学習者の動作情報の速度より
   手本情報の速度が速くなるように速度パラメータを変化
   させることを特徴とする請求項２記載のプログラム。
4. 【請求項４】上記手本情報から手話動画像を生成し表示
   するステップにおいて、上記第１の特徴点と上記第２の
   特徴点の間における上記手本情報と上記動作情報の差異
   が所定の値以上の場合は、上記第１の特徴点と上記第２
   の特徴点の間における上記手本情報から生成した手話動
   画像を繰り返し表示することを特徴とする請求項１記載
   のプログラム。
5. 【請求項５】情報記録手段と該情報記録手段に記録され
   る情報の処理を制御する制御手段と表示手段とを有する
   コンピュータに手話教育システムを実現させるためのプ
   ログラムであって、上記情報記録手段は、手本となる手
   話に関する情報である手本情報と学習者の動作情報を記
   録し、上記プログラムは、上記制御手段に、上記手本情
   報と上記動作情報にアクセスするステップと、上記２つ
   の情報の差異を計算するステップと、上記計算結果に基
   づいて各フレームの表示形態を決定するステップと、上
   記手本情報と上記動作情報から手話動画像を生成するス
   テップと、上記決定された表示で上記手話動画像を上記
   表示手段に表示するステップとを実現させるものである
   ことを特徴とするプログラム。
6. 【請求項６】上記記憶手段は予め複数のコメントを記憶
   し、上記プログラムは、上記計算結果に対応するコメン
   トを選択するステップと、該選択されたコメントも上記
   表示手段に表示させるステップを有することを特徴とす
   る請求項５記載のプログラム。
7. 【請求項７】手話学習者の動作情報の入力手段と該動作
   情報の処理を制御する制御手段と情報記録手段と表示手
   段とを有する手話教育システムであって、上記記録手段
   は手本となる手話に関する情報である手本情報を記録
   し、上記制御手段は、上記手本情報から動作の区切りと
   なる第１の特徴点と第２の特徴点を抽出するステップ
   と、上記入力手段により手話学習者の動作情報を入手
   し、該動作情報から手話動画像を生成して上記表示手段
   に表示させるステップと、上記手本情報から手話動画像
   を生成し上記表示手段に表示させるステップと、上記動
   作情報が第１の特徴点の位置にあるかを判定するステッ
   プと、上記動作情報が第２の特徴点の位置にあるかを判
   定するステップと、上記情報があると判定された場合
   に、上記第１の特徴点と上記第２の特徴点の間における
   上記手本情報と上記動作情報の軌跡の差異を計算するス
   テップと、上記差異が所定の値以下の場合には上記第２
   の特徴点を第１の特徴点とし、上記手本情報から抽出し
   た次の特徴点を第２の特徴点として上記処理を継続し、
   上記差異が所定の値以上の場合には上記第１の特徴点と
   上記第２の特徴点を用いて上記処理を反復するステップ
   と、を制御することを特徴とする手話教育システム。
8. 【請求項８】表示手段と、手本となる手話に関する情報
   である手本情報と学習者の動作情報を記録する情報記憶
   手段と、上記手本情報と上記動作情報を読み出して上記
   ２つの情報の差異を計算する手段と、上記計算結果に基
   づいて各フレームの表示形態を決定する手段と、上記手
   本情報と上記動作情報から手話動画像を生成する手段
   と、上記手話動画像を上記表示手段に表示する手段とを
   有し、上記決定された表示形態で表示することを特徴と
   する手話教育システム。