JPH11272161A - 手話単語辞書作成方法および辞書学習装置 - Google Patents

Abstract

(57)【要約】 【課題】記号と連続値が混在する手話単語辞書の作成処
理で、ユーザの労力を削減し、複雑な構造の手話単語を
高精度に認識できる手話単語辞書を作成する。 【解決手段】学習用手話データ（１０２）から動的動作
要素のみの認識を行い（１０７）、手話動作の構造の概
略を示す辞書テンプレート（１０６）に基づき動的動作
要素から許容範囲関係の動的動作要素の組合せを検索し
（１０８）、手話単語候補を生成する。手話単語候補中
の動的動作要素の時間範囲に基づき静的動作要素の時間
範囲を決定し、静的動作要素のパラメータ変化の極小に
基づき静的動作要素の必要なパラメータを抽出する（１
０９）。動的動作要素パラメータ、静的動作要素パラメ
ータ、動作要素間の時間関係のパラメータで辞書テンプ
レート内容を修正して手話単語辞書を作成する（１１
０）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、手話データから動
作要素を認識して、その結果を統合することにより手話
単語の認識を行う手話認識装置に用いる手話単語辞書作
成方法、および最も労力を要するパラメータの抽出やそ
の計算作業を自動化して、辞書に必要なパラメータの学
習を行うことにより、精度の良い手話単語辞書を学習す
る手話単語辞書学習装置に関する。

【０００２】

【従来の技術】従来より、動作要素の認識結果を統合す
ることにより、手話単語を認識する装置が提案されてい
る。例えば、特開平７−２８２２３５号公報（動作認識
装置）、あるいは特開平９−１１１０３号公報（手話認
識装置）であって、これらの技術においては、動作要素
を表わす記号の組み合わせにより手話動作を表現した手
話単語辞書を用いていた。手話単語を認識する場合、入
力された手話データから動作要素を認識して、その結果
得られた動作要素と手話単語辞書中の動作要素の組み合
わせとを比べて、一致すればその動作要素であると認識
して、手話データ中に表現されている手話単語を認識し
ていた。これらの従来技術では、手話単語辞書の形式
や、入力された手話データから動作要素を認識する方
法、および認識された動作要素と手話単語辞書中の動作
要素の比較を行う方法等については記述されているが、
手話単語辞書の自動的な作成方法については全く記述さ
れていなかった。その結果、手話単語辞書は、必要な動
作要素やそれらの関係を人手により記述することで辞書
を作成する必要があった。さらに、手話単語辞書の作成
の際のユーザの労力を削減する方法としては、記号化し
た動作要素による手話単語辞書を対象とした提案が行わ
れている（例えば、特願平８−３１７８６７号明細書お
よび図面（手話パターン学習装置）。この装置では、手
話動作の構造の概略を、動作要素で記述した辞書テンプ
レートの内容に従って、手話データから認識した動作要
素の認識結果により、時間的な関係が正しい動作要素の
組み合わせを検出し、その結果に基づき辞書テンプレー
トの内容を修正することにより手話単語辞書を作成して
いる。

【０００３】

【発明が解決しようとする課題】従来の技術では、下記
のような問題点があった。 （１）従来の辞書は動作要素を表す記号の組み合わせで
記述していたが、手話の内容は記号と連続値の混在した
ものとして表すことができるため、これらに対しては対
応できないこと、すなわち、動作要素に基づく手話単語
辞書を作成する従来の装置では、記号化された動作要素
により記述される手話単語辞書にのみ対応しており、前
述の特願平９−１１１０３号明細書および図面に示され
るような、記号と連続値とが混在した手話単語辞書には
対応できなかった。記号と連続値とが混在した手話単語
辞書を用いた方法では、静的な動作要素は特徴パラメー
タのベクトルにより表現される。従って、静的な動作要
素の認識では、入力された手話データ中の特定時刻のデ
ータが静的な動作要素に対応しているか否かの確からし
さを評価することは可能であるが、どこからどこまでが
静的な動作要素に対応している部分であるかを明確に決
定することは困難であった。この場合、閾値を用いて時
間範囲を決定することもできるが、静的な動作要素は比
較的安定している手話動作のみならず、変動し易い手話
動作も多いために、閾値による方法では静的な動作要素
が検出される時間範囲が大きく変動することがあり、そ
の結果、作成された手話単語辞書を用いた場合の認識精
度が低下するという問題があった。しかし、従来の手話
単語辞書学習装置では、予め静的な動作要素も明確に時
間範囲を決定して認識される必要があるため、記号と連
続値が混在した手話単語辞書では精度良く辞書を作成す
ること要できない。特に、静的な動作要素のみから構成
される手話単語の場合には、精度の低下が大きな問題と
なる。

【０００４】（２）従来の技術では、複雑な構造の手話
単語辞書を作成することが不可能であること、すなわ
ち、手話単語辞書は動作要素の逐次的同時的な階層構造
により表現される。従来の方法では、複数種類の動作要
素により形成される１まとまりの動作の連続的な構成に
は対応できていた。しかしながら、手話単語には、同じ
種類の動作要素の時系列がある１まとまりの動作の構成
要素になる場合がある。従来の方法では、同じ種類の動
作要素の時系列を想定していないために、このような手
話単語の辞書を学習することができなかった。 （３）従来の技術では、必要なパラメータを抽出して、
辞書に記述するパラメータを計算しているが、この計算
には非常に手間がかかっていたこと、すなわち、連続値
を含む手話単語辞書を人手により作成する場合、手話単
語に必要な動作要素を手話データから認識し、その結果
に基づいて必要なパラメータを抽出し、辞書に記述する
パラメータを計算しなければならない。しかしながら、
動作要素の認識では、通常、目的とする動作要素以外の
動作要素も認識される場合が多いため、必要な動作要素
のみを抽出することは手間がかかる。また、必要な動作
要素を認識した後にパラメータを集計し、辞書に記述す
るパラメータの計算を行う必要があるが、これも手間の
かかる作業であった。特に、認識精度のよい手話単語辞
書を作成する場合、多くの手話データを用いてパラメー
タを収集する必要があるため、人手により手話単語辞書
を作成することは実用的ではなかった。そこで、本発明
の目的は、これら従来の課題を解決し、記号と連続値と
が混在する手話単語辞書を作成するため、ユーザの労力
を削減して、容易に手話単語辞書を作成することが可能
な手話単語辞書作成方法および複雑な構造の手話単語を
精度よく認識することが可能な手話単語辞書学習装置を
提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明の手話単語辞書作成方法では、先ず学習用
手話データから動的な動作要素のみの認識を行い、次に
ユーザにより定義された手話動作の構造の概略を表す辞
書テンプレートに基づき認識された動的な動作要素か
ら、それらの関係が許容範囲内である動的な動作要素の
組み合わせを検索し、検索された組み合わせの動的な動
作要素の時間範囲に基き、静的な動作要素の時間範囲を
決定し、静的な動作要素の必要なパラメータを抽出した
後、動的な動作要素の組み合わせ中の動作要素のパラメ
ータと抽出した静的な動作要素のパラメータ、動作要素
間の時間的な関係を示すパラメータを用いて辞書テンプ
レートの内容を修正することにより、手話単語辞書を作
成する。また、静的な動作要素のみにより形成される手
話単語では、静的な動作要素のパラメータ変化の極小に
基づき動作要素の候補を検出し、それらの関係が許容範
囲内である組み合わせを手話単語候補として生成し、必
要なパラメータを抽出し、それらのパラメータを用いて
辞書テンプレートの内容を修正することにより、手話単
語辞書を作成する。また、本発明の手話単語辞書学習
装置では、手話を形成する手動作を電気信号に変換し、
手話データとして入力する入力手段と、入力された上記
手話データを学習用手話データとして格納する第１の格
納手段と、逐次要素、同時要素、動作要素等の種類およ
び関係からなる辞書テンプレートを格納する第２の格納
手段と、動的な動作要素を上記学習用手話データから認
識する動的動作要素認識手段と、上記辞書テンプレート
の内容に基づいて、認識された動的な動作要素から手話
単語候補を生成する手話単語生成手段と、生成された上
記手話単語候補に基づき学習用手話データから静的な動
作要素の情報を抽出する静的動作要素抽出手段と、上記
手話単語候補と上記静的動作要素の情報を用いて辞書テ
ンプレートを修正することにより、手話単語辞書を作成
する手話単語辞書作成手段と、作成された上記手話単語
辞書を格納する第３の格納手段とを有することを特徴と
する。

【０００６】

【発明の実施の形態】以下、本発明の実施例を、図面に
より詳細に説明する。図１は、本発明の一実施例を示す
手話単語辞書学習装置のブロック構成図である。なお、
本発明の手話単語辞書作成方法を用いて辞書を作成する
場合のハードウェアは、学習装置と辞書作成技術との併
用であるため、手話単語辞書学習装置と呼んでいる。図
１に示すように、本発明の手話単語辞書学習装置は、手
話データを入力して、動的動作要素を認識するととも
に、静的動作要素のパラメータを抽出するとともに、手
話動作の構造の概略を示す辞書テンプレートを入力し
て、これと静的動作要素パラメータとから手話単語の辞
書を作成する。手話単語の時間範囲に関するラベル情報
の入力は、本発明に必須の条件ではないが、ラベル情報
により手話単語候補生成および静的動作要素パラメータ
抽出の機能を補充することができる。図１において、手
話入力部１０１は手話における手話動作を電気信号に変
換し、手話データとして入力することにより学習用手話
データ格納部１０２に格納する。ラベル情報入力部１０
３は、文字を入力することにより、学習用手話データ格
納部１０２に格納されている手話データ中に表現されて
いる手話単語の時間範囲に関するラベル情報を作成し、
ラベル情報格納部１０４に格納する。辞書テンプレート
入力部１０５は文字を入力することにより、手話単語を
表す動作の概略を記述した辞書テンプレートを作成し、
辞書テンプレート格納部１０６に格納する。

【０００７】動的動作要素認識部１０７では、学習用手
話データ格納部１０２に格納されている手話データか
ら、動的動作要素を認識する。手話単語候補生成部１０
８では、辞書テンプレートとラベル情報に基づき、認識
された動的な動作要素から手話単語を形成する動的な動
作要素の組み合わせを検索する。静的動作要素パラメー
タ抽出部１０９では、手話単語候補生成部１０８で検索
された動的な動作要素の組み合わせに基づき、学習用手
話データから静的な動作要素のパラメータを抽出する。
静的動作要素パラメータ抽出部１０９では、ラベル情報
に基づくパラメータの抽出も例外処理として行われる。
手話単語辞書作成部１１０では、手話単語候補生成部１
０８で検索された動的な動作要素の組み合わせと、静的
動作要素パラメータ抽出部１０９で抽出された静的動作
要素のパラメータを基にして辞書テンプレートの記述を
修正して、手話単語辞書を作成する。作成された手話単
語辞書は、手話単語辞書格納部１１１に格納される。

【０００８】図２は、図１における手話単語辞書学習装
置を実現するための実際のハードウェア構成を示す図で
ある。図２において、文字入力装置２０１はラベル情報
および辞書テンプレートを作成するために文字を入力す
る装置であって、通常、キーボード２０２が用いられ
る。手話入力装置２０３は、手話における手動作を電気
信号に変換するための装置であって、手袋にセンサを備
えることにより手の形状や動きを電気信号に変換するも
のとして良く知られている手袋型入力装置２０４が用い
られる。また、ビデオカメラ２０５を用いた手の動きや
形状を認識する装置を用いることも可能である。手話入
力装置２０３により、手話の手動作は指の曲げ角度や手
の位置等で構成される多次元の時系列データに変換され
る。演算装置２０６は、動作要素の認識や手話単語辞書
を作成する装置であって、予め格納されているプログラ
ムにより処理が実行される。

【０００９】出力装置２０７は、手話単語辞書の作成の
処理過程や処理結果を表示するもので、確認するための
ＣＲＴディスプレイ２０８等の文字出力装置が用いられ
る。メモリ２０９は、手話入力装置２０３から入力され
た手話データを学習用手話データとして格納する記憶装
置である。メモリ２１０は、ラベル情報を格納する記憶
装置であり、メモリ２１１は動的動作要素認識プログラ
ムを格納する記憶装置、メモリ２１２は動的動作要素認
識プログラムを格納する記憶装置、メモリ２１３は手話
単語候補生成プログラムを格納する記憶装置、メモリ２
１４は静的動作要素パラメータ抽出する記憶装置、メモ
リ２１５は手話単語辞書作成プログラムを格納する記憶
装置、メモリ２１６は作成した手話単語辞書を格納する
記憶装置である。

【００１０】図３は、図１における手話入力部から入力
される手話データのフォーマット図である。図３におい
て、３０１から３０２は手の位置に関するデータであ
り、掌、親指、人差し指、中指、薬指、小指のデータか
ら形成される。各データは、さらに三次元を示す各軸の
データから形成され、例えば掌の位置３０１はｘ軸のデ
ータ３０３、ｙ軸のデータ３０４、ｚ軸のデータ３０５
から形成されている。３０６から３０７は、手の方向に
関するデータであって、掌、親指、人差し指、中指、薬
指、小指のデータから形成される。さらに、各データ
は、各軸回りの角度データから形成され、例えば掌の方
向３０６はｘ軸回りの角度３０８、ｙ軸回りの角度３０
９、ｚ軸回りの角度３１０から構成されている。３１１
〜３１２は指の曲げに関するデータであって、親指、人
差し指、中指、薬指、小指のデータから形成される。各
データは、さらに第１関節、第２関節のデータから形成
され、例えば親指の組げ３１１は第１関節の曲げ角度３
１３、第２関節の曲げ角度３１４から形成される。さら
に、３１５〜３１７は時刻ｔ１〜ｔｎにおけるデータを
表わしている。

【００１１】図４は、本発明におけるラベル情報のフォ
ーマット図であって、各手話データ中に表現されている
手話単語の時間範囲を表している。図４において、４０
１は手話単語名、４０２は手話データ中の手話単語の開
始時刻、４０３は手話データ中の手話単語の終了時刻を
示す。図５から図１１までは、手話単語辞書および辞書
テンプレートのフォーマットについて詳述する。図５
は、動作要素により表現した手話動作のモデルを示す図
である。図５に示すように、手話の動作は時間的に連続
して生じる逐次要素５０１〜５０３の列で表わすことが
できる。さらに、逐次要素は、同じ時間範囲に生じる同
時要素５０４，５０５から形成される。各同時要素は、
時間的に連続して生じる動作要素状態５０６，５０７か
ら形成されている。さらに、動作要素状態は、同じ種類
で属性のみ異なる複数の動作要素５０８，５０９から形
成される。ある逐次要素が存在するためには、その逐次
要素中の同時要素の全てが存在することが必須条件であ
る。一方、動作要素状態中の動作要素は、いずれかの動
作要素が存在すれば、それだけでその動作要素状態は存
在するとみなされる。

【００１２】図６は、動作要素の種類とその属性パラメ
ータを示す図である。動作要素は、動作要素の種類６０
１と属性パラメータ６０２により表わされる。また、動
作要素には、静的な動作要素と動的な動作要素とがあ
る。静的な動作要素は、形状６０３、方向６０５、位置
６０７、関係形状５１４、関係方向６１５、関係距離６
１６、関係位置６１７が該当する。これに対して、動的
な動作要素としては、形状振動６０４、方向振動６０
６、位置振動６０８、直線円弧６０９、円６１０、波線
６１１、螺旋６１２、提示６１３、関係動作方向６１
８、関係動作平面６１９が該当する。

【００１３】図７は、図５に示すモデルに従った手話単
語辞書の記述フォーマット図である。 図７において、
手話単語名７０１は、その動作要素の組み合わせが表す
手話単語名を示す。繰り返し回数７０２は、動作要素の
組み合わせにより表現される全体の動作が何回繰り返さ
れるかを示している。逐次要素数７０３は、手話単語を
形成する逐次要素の数である。逐次要素７０４から７０
５は手話単語を形成する各逐次要素を示す。同時要素数
７０６は、逐次要素を形成する同時要素の数である。同
時要素７０７から７０８は逐次要素を形成する同時要素
を示す。動作要素状態数７０９は、同時要素を形成する
動作要素状態の数である。繰り返し回数７１０は、動作
要素状態の列が何回繰り返されるかを示す。動作要素状
態７１１から７１２は、同時要素を形成する各動作要素
状態を示す。７１３は、動作要素状態中の動作要素の数
を示す。動作要素７１４から７１５は、動作要素状態中
の各動作要素を示す。

【００１４】図８は、本発明の動作要素の記述フォーマ
ット図である。動作要素の種類８０１は、図６に示す動
作要素の種類、手の部位８０２はその動作要素を表現す
るために用いられる手の種類および部位である。手の種
類には、「右」あるいは「左」のいずれかを記述する。
また、部位については、方向に関係する動作要素の場
合、「指先」、「法線」、「側面」、「親指」、「人差
し指」、「中指」、「薬指」、「小指」のいずれかを記
述する。８０３から８０４は、動作要素の種類により予
め決められている。各属性パラメータは、その平均値と
分散値により手話単語辞書中に記述される。

【００１５】図９は、手話「通う」という意味の手話を
表す人物動作図であり、図１０は、図９の「通う」を記
述した手話単語辞書の例を示す図である。図９に示す手
話は「通う」という意味の手話であって、親指を上向き
に立てた手を前後に往復させる動作である。矢印の太さ
が違うのは、前後に往復させている前後の方向を明確に
するための表示である。このため、手話単語辞書の記述
としては、「手の形状」、「手の方向」、および「直線
の繰り返し」の３種類の動作要素により表現することが
できる。図１０において、ハッチングした部分が図９の
手話を示す具体的情報である。手話単語名１００１は
「通う」が記述されている。また、繰り返し動作は同時
要素中に含まれているため、繰り返し回数１００２およ
び逐次要素数１００３はいずれも「１」が記述されてい
る。同時要素数１００４は、前述のように「３」が記述
されている。同時要素の数を示す数字の後に１組の数値
が記述されているが、これは同時要素間の時間的な重な
りを示すパラメータであって、動作要素の属性パラメー
タと同じく平均値と分散値により表わされている。この
パラメータは、同時要素数が２以上の場合には必ず記述
される。同時要素１００５，１００６，１００７はそれ
ぞれ手の形状、手の方向、直線運動の同時要素を示して
いる。同時要素１００５および１００６は静的な動作要
素を含む同時要素であって、動作状態数１００８、１０
０９、繰り返し回数１０１０、１０１１、動作要素数１
０１２、１０１３は「１」に設定されている。また、動
作要素１０１４、１０１５はそれぞれ手の形状、手の方
向の動作要素に関する記述が行われている。同時要素１
００７は直線の繰り返しに関する記述であり、先ず動作
要素状態数１０１６が「２」となっている。動作要素状
態数を示す数字の後に１組の数値が記述されているが、
これは動作要素状態間の時間的なギャップに関するパラ
メータであって、パラメータの平均値と分散値により記
述されている。このパラメータは動作要素状態数が２以
上の場合には必ず記述される。

【００１６】動作要素間が時間的に重なる場合には、平
均値は負の値により表わされる。また、繰り返し動作で
あるため、繰り返し回数１０１７が「１＊」という記述
になっている。「＊」は、その直前に記述された数値以
上の回数という意味であって、この場合には「１回以
上」の繰り返しであることを示している。繰り返し回数
の後に記述されている１組の数値は、繰り返し動作間に
おけるギャップに関するパラメータであって、これもパ
ラメータの平均値および分散値により記述される。この
パラメータは、繰り返し回数が「１回以上」および２以
上として記述された場合には必ず記述される。同じパラ
メータは、逐次要素数およびその繰り返し回数について
も記述される。動作状態１０１８および１０１９は、同
時要素を形成する動作要素状態の記述であって、それぞ
れ往復運動における往路の直線運動１０１８および復路
の直線運動１０１９に関する動作要素「直線円弧」１０
２０、１０２１が記述されている。「右・掌」は手の指
定であり、その後の１組の数値もギャップに関するパラ
メータ（平均値、分散値）である。

【００１７】図１１は、図９に示す手話単語の辞書テン
プレートの記述例図である。図１１は、基本的に図１０
の手話単語辞書の記述例と殆んど同じであり、異なる部
分は動作要素のパラメータ、逐次要素、同時要素、動作
要素状態間の時間的関係を示すパラメータの各記述のみ
である。図１１に示すハッチングの部分が記述の異なる
パラメータの部分である。図１１において、同時要素数
１１０１の同時要素間の重なりに関するパラメータとし
て、（０，０）が記述されている。このパラメータは学
習用手話データから抽出されるべきパラメータであっ
て、辞書テンプレートでは便宜上、平均値および分散値
とも「０」と記述される。また、動作要素の形状１１０
２および方向１１０３を示す欄には、属性パラメータと
して「Ｘ」と記述されている。このような動作要素の属
性パラメータは、学習用手話データから抽出して計算さ
れるべきパラメータであることを示している。また、動
作要素の直線１１０４、１１０５においては、属性パラ
メータとして「Ｘ」および「＊」の記述がされている。
ここで、「Ｘ」は形状や方向と同じく手話データから抽
出すべきパラメータであることを意味しており、また
「＊」は手話データから抽出する必要のないパラメータ
であることを意味している。「＊」は手話単語辞書でも
記述することができ、その場合にも「＊」と記述された
パラメータは認識において無視されることを意味してい
る。

【００１８】また、動作要素状態数１１０６、繰り返し
回数１１０７では、同時要素数１１０１と同じく手話デ
ータから抽出されるべきパラメータが（０，０）と記述
されている。さらに、そのパラメータの後に「方向反
対」、「未指定」という記述がなされている。これは、
手話単語候補生成部１０８で動作要素の組み合わせを検
索する場合に、連続する動作要素間の動作方向（動く方
向）および動作平面（動作が行われる平面）に対して制
約を与えるための記述である。すなわち、１番目の記述
が動作方向、２番目の記述が動作平面に対する制約であ
る。動作方向に対する制約としては、「未指定」、「方
向同一」、「方向垂同」、「方向反対」の各指定があ
り、動作平面に対する制約としては、「未指定」、「平
面同一」、「平面垂直」、「平面反対」の各指定があ
る。

【００１９】次に、手話単語候補を生成する方法の説明
を、図１２から図２１までを参照して詳述する。図１２
は、認識された動作要素のフォーマット図である。先
ず、動的動作要素認識部１０７において、動的な動作要
素の認識を行う。この場合の認識方法としては、前述の
「特願平９−１１１０３号明細書および図面」（手話認
識装置）で用いられる動作要素認識方法と全く同じ方法
を用いるものとする。図１２において、１２０１は動作
要素の開始時刻、１２０２は動作要素の終了時刻、１２
０３は動作要素の確からしさを示す評価値、１２０４は
動作要素の種類、１２０５は動作要素を表現するために
用いられる手の種類および部位、１２０６から１２０７
は動作要素の属性パラメータである。認識された動作要
素は手話単語候補生成部１０８に送られる。

【００２０】図１３は、本発明の一実施例を示す手話単
語候補生成部の処理フローチャートである。手話単語候
補生成部１０８では、図１３のフローに従って手話単語
の候補を生成する。先ず、認識された動作要素から辞書
テンプレート中の動作要素を検索し、動作要素状態の候
補を生成する（ステップ１３０１）。次に、辞書テンプ
レートの記述に従って動作要素状態の時系列を検索し、
同時要素の候補を生成する（ステップ１３０２）。次
に、辞書テンプレートの記述に従って同時要素の候補の
組み合わせを検索し、逐次要素の候補を生成する（ステ
ップ１３０３）。次に、辞書テンプレートの記述に従っ
て逐次要素の候補の時系列を検索し、手話単語の候補を
生成する（ステップ１３０４）。

【００２１】図１４は、動作要素状態候補のフォーマッ
ト図である。図１３の各動作について、さらに詳述す
る。先ず、ステップ１３０１では、認識された動的な動
作要素から以下の（１）（２）の条件を満足する動作要
素列を検索することにより、動作要素状態候補を生成す
る。すなわち、（１）辞書テンプレートに含まれる動作
要素と「動作要素の種類」および「手の部位」が同じで
あること、（２）ラベル情報の時間範囲との時間的な重
なり度が閾値以上であること、ラベル情報と動作要素の
重なり度Ｏは、ラベル情報の時間範囲を（Ｌｓ，Ｌ
ｅ）、動作要素の時間範囲を（Ｅｓ，Ｅｅ）として、下
式（１）により求める。

【数１】 なお、式（１）中のｍｉｎ、ｍａｘはそれぞれ複数のラ
ベル情報が重なっているうちの最も早い開始時刻と、最
も遅い終了時刻を示し、Ｌｓ，Ｅｓは各ラベル情報のみ
の開始時刻、Ｌｅ，Ｅｅは各ラベル情報のみの終了時刻
である。式（１）により、ラベル情報と動作要素の重な
り度Ｏが求められた後、抽出された動作要素を動作要素
状態毎にまとめることにより、動作要素状態の候補を作
成する。動作要素状態候補のフォーマットは、図１４に
示すように表わされている。すなわち、ある動作要素状
態１４０１の候補としては、それを形成する各動作要素
１４０２、１４０３に対応する動作要素の候補が、候補
の数１４０４および各動作要素の候補１４０５から１４
０６により記述される。

【００２２】次に、図１３のステップ１３０２では、下
記の（１）〜（６）で示す６つの条件を満足する動作要
素状態を検索することにより、同時要素の候補を生成す
る。 （１）動作要素状態列あるいはその繰り返しの先頭にく
る動作要素は、ラベルの開始時刻に最も近い開始時刻を
持つ動作要素、およびその動作要素と重なり度が閾値以
上となる動作要素とする。動作要素間の重なり度Ｏは、
基準となる動作要素の時間範囲を（Ｓ（０），Ｅ
（０））、その他の動作要素の時間範囲を（Ｓ（ｊ），
Ｅ（ｊ））として下式（２）により計算される。

【数２】 図１５は、連続する動作要素の先頭の動作要素の選択方
法を説明する図である。 例えば、図１５に示す動作要
素が検出されている場合には、ラベルの先頭１５０１に
最も近い動作要素１５０２を基準として選択する。この
動作要素１５０２と他の動作要素１５０３，１５０４と
の重なり率を上式（２）によりそれぞれ計算し、閾値以
上となる動作要素を選択する。ただし、最もラベルの先
頭に近い開始時刻を持つ動作要素を選択した場合のいず
れの組み合わせも、他の５つの条件を満足しない場合に
は、その次にラベルの先頭に近い動作要素を選択する。
このようにして、全ての条件を満足する組み合わせが見
つかるまで、先頭の動作要素を変化させていく。

【００２３】（２）連続する２つの動作要素状態の時間
範囲をそれぞれ（ｓ１，ｅ１），（ｓ２，ｅ２）とし
て、下式（３）に示す条件を満足する動作要素状態の組
み合わせを選択する。動作要素状態の時間範囲は、その
中に含まれる動作要素の時間範囲と同一である。 Θ_o＜（ｓ２−ｅ１−１）÷（ｅ１−ｓ１＋１）＜Θ_g （３） なお、Θ_oは連続する要素間の重なりに対する閾値（＜
０）、Θ_gは連続する要素間のギャップに対する閾値
（≧０） また、連続する動作要素状態が重なる場合、その重なり
の直前の動作要素の時間範囲は後続の動作要素の時間範
囲を越えないものとする。そして、この制約は、動作要
素状態列が繰り返される場合にも適用される。つまり、
ある動作要素状態列の最後の動作要素状態と、それに続
く動作要素状態列の最初の動作要素状態の時間範囲に対
して、上式（３）の条件を満足するか否かの評価を行
う。

【００２４】（３）動作要素状態の時間長をＬ（ｉ）、
その直前のギャップの時間長をＧ（ｉ）として下式
（４）の条件を満足する動作要素状態の組み合わせを選
択する。 Ｇ（ｉ）÷Ｌ（ｉ）＞Θ_B （４) なお、ここでΘ_Bは、動作要素とその直前のギャップの
時間長の比に対する閾値である。 （４）動作要素状態列やその繰り返しに含まれる連続す
る動作要素状態間の時間長の比が、許容報囲内になる組
み合わせのみを選択する。つまり、連続する動作要素状
態の時間長をＬ（ｉ），Ｌ（ｉ＋１）として下式（５）
を満足する組み合わせのみを選択する。

【数３】 なお、Θ_Lは、連続する動作要素の時間長の比に対する
閾値である。

【００２５】（５）連続する動作要素状態中の動作要素
間の動作方向および動作平面に対する条件を満足する組
み合わせのみを選択する。なお、条件の種類は前述のよ
うに、動作方向に対しては「未指定」、「方向同一」、
「方向垂直」、「方向反対」であり、また動作平面に対
しては「未指定」、「平面同一」、「平面垂直」、「平
面反対」であって、各条件の詳細については下記のよう
になる。 （ａ）未指定・・・・動作の方向および平面の関係に制
約を加えない。 （ｂ）方向同一・・・連続する動作要素の動作方向ベク
トルのなす角度をθ（０≦θ≦π）として下式（６）を
満足する候補のみを選択する。 θ＞Θ_d （６） なお、Θ_dは、動作方向ベクトルのなす角度に対する閾
値である。 （ｃ）方向垂直・・・連続する動作要素の動作方向ベク
トルのなす角度をθ（０≦θ≦π）として下式（７）を
満足する候補のみを選択する。 π／２−Θ_d＜θ＜π／２＋Θ_d （７）

【００２６】（ｄ）方向反対・・・連続する動作要素の
動作方向ベクトルのなす角度をθ（０≦θ≦π）として
下式（８）を満足する候補のみを選択する。 θ＞π−Θ_d （８） （ｅ）平面同一・・・連続する動作要素の動作平面ベク
トルのなす角度をθ（０≦θ≦π）として下式（９）を
満足する候補のみを選択する。 θ＜Θ_p （９) なお、Θ_pは、動作平面ベクトルのなす角度に対する閾
値である。 （ｆ）平面垂直・・・連続する動作要素の動作平面ベク
トルのなす角度をθ（０≦θ≦π）として下式（１０）
を満足する候補のみを選択する。 π／２−Θ_p＜θ＜π／２＋Θ_p （１０) （ｇ）平面反対・・・連続する動作要素の動作平面ベク
トルのなす角度をθ（０≦θ≦π）として下式（１１）
を満足する候補のみを選択する。 θ＞π−Θ_p （１１)

【００２７】（６）同じ種類の動作要素からなる動作要
素状態列およびその繰り返し候補において、同じ動作要
素候補が異なる動作要素状態に含まれる組み合わせは削
除する。 例えば、図１６（同じ種類の動作要素が連続
する手話データから動作要素を認識した結果の図）に示
す時間関係でＡ１６０１，Ｂ１６０２，Ｃ１６０３，Ｄ
１６０４，Ｅ１６０５，Ｆ１６０６という動作要素が検
出されて、動作要素状態数が２で繰り返し回数が１以上
である場合を考える。なお、Ａ〜Ｆは同じ種類の動作要
素であるものとする。この場合、動作要素状態間のギャ
ップの閾値によっては、次の（ａ）〜（ｆ）の６つの候
補が生成される。 （ａ）・・・（ＡＢ），（ＣＤ），（ＥＦ） （ｂ）・・・（ＡＢ），（ＣＥ） （ｃ）・・・（ＡＢ），（ＤＥ） （ｄ）・・・（ＡＢ），（ＤＦ） （ｅ）・・・（ＡＣ），（ＤＦ） （ｆ）・・・（ＡＣ），（ＥＦ） なお、（ ）で囲まれた組み合わせを繰り返し中の１回
分の動作要素状態列の候補とする。これらのうち、例え
ば候補（ａ）および（ｂ）では、動作要素Ｅがそれぞれ
１番目の動作要素状態、２番目の動作要素状態に含まれ
ることになる。このような候補のうち、最適な候補のみ
を残すために、先ず動作要素間の関係が最もよい動作要
素の組み合わせを選択する。関係が最もよいという判定
は、前述の繰り返しの先頭の動作要素とラベルの関係，
動作要素間のギャップ、動作要素とその直前のギャップ
の時間長の比、連続する動作要素間の時間長の比、連続
する動作要素の動作方向および動作平面の関係、を最も
よく満足する組み合わせか否かにより行う。次に、選択
した組み合わせ中の動作要素が異なる動作要素状態に含
まれる候補を削除する。

【００２８】その後、基準にした組み合わせを除いた候
補に対して同じような処理を行う。これを候補数が１に
なるまで繰り返す。例えば、図１６から検索された前述
の候補のうち、動作要素間の関係が最もよい候補として
候補（ｄ）が選択されたものとする。この場合、動作要
素Ｄが２番目の動作要素状態に含まれる候補（ａ）が削
除される。次に、残りの候補から候補（ｄ）を除いた候
補、つまり （ｂ）・・・（ＡＢ），（ＣＥ） （ｃ）・・・（ＡＢ），（ＤＥ） （ｅ）・・・（ＡＣ），（ＥＦ） （ｆ）・・・（ＡＣ），（ＥＦ） について同じ処理を行う。ここで、候補（ｂ）が基準と
して選択されたものとする。この場合には、動作要素Ｃ
が１番目の動作要素状態に含まれる候補（ｅ）および
（ｆ）が削除される。この段階において、候補（ｂ）を
除くと、候補は（ｃ）のみとなり、候補数が１となるた
めに処理は終了する。その結果、 （ｂ）・・・（ＡＢ），（ＣＥ） （ｃ）・・・（ＡＢ），（ＤＥ） （ｄ）・・・（ＡＢ），（ＤＦ） の３つの候補が適切な組み合わせとして選択されること
となる。繰り返し回数がｎ回以上に指定される場合に
も、同じ動作要素を含む組み合わせが多数検出される。
この場合、繰り返し回数が最大となる組み合わせのみを
出力する。また、全ての組み合わせを出力することも可
能である。その他、動作要素状態間の関係に対する制約
としては、動作の行われる位置や、動作の大きさ、動作
の速さ等、動作要素のパラメータに対する制約を加える
ことも可能である。

【００２９】図１７は、同時要素の候補のフォーマット
図である。各同時要素候補について、辞書テンプレート
に従って、動作要素状態数１７０１、繰り返し回数１７
０２、および各動作要素状態の各動作要素に対する候補
となる動作要素１７０３〜１７０６が記述される。辞書
テンプレートで動作要素状態数の後に記述される動作要
素状態間のギャップに関するパラメータは、候補となっ
ている動作要素間から求められた各ギャップの大きさを
列挙して記述する。これは、他の手話データから生成し
た候補から得られたパラメータも合わせて最後に平均値
および分散値を求めるためである。繰り返し回数の後に
記述される繰り返し動作間のギャップに関しても、同じ
ように、候補から求めた各ギャップの大きさを列挙して
記述する。また、繰り返し回数がｎ回以上の記述のとき
には、実際に検索された繰り返し回数を記述する。その
結果、動作要素状態数をｍ、繰り返し回数をｓとする
と、繰り返し回数の後に記述されるギャップの個数は
（ｓ−１）個、動作要素状態数の後に記述される動作要
素状態間のギャップの個数は、（ｍ−１）×ｓ個とな
る。

【００３０】図１３のステップ１３０３において、辞書
テンプレートの内容に基づき、同時要素候補の組み合わ
せを生成して組み合わせ中の同時要素候補の時間関係を
チェックし、関係が正しいと判断された組み合わせを逐
次要素候補として生成する。逐次要素の候補は、それを
形成する同時要素の候補を１つずつ選択し、組み合わせ
ることにより作成する。例えば、同時要素候補の内容が 同時要素Ａの候補： ａ，ｂ，ｃ 同時要素Ｂの候補： ｄ，ｅ である場合には、逐次要素候補の組み合わせとしては、
次のものが生成される。 （ａ，ｄ） （ａ，ｅ） （ｂ，ｄ） （ｂ，ｅ） （ｃ，ｄ） （ｃ，ｅ） これらの各組み合わせに対し、各同時要素の時間範囲を
（Ｃｓ（ｉ），Ｃｅ（ｉ））として下式（１２）により
重なり度Ｏを求めて、重なり度が閾値以上である組み合
わせのみを選択する。

【数４】

【００３１】図１８は、同時要素間の重なり度の計算方
法の説明図である。例えば、同時要素候補が図１８にお
ける時間関係であると仮定すると、上式（１２）は全て
の同時要素候補に共通なＣｓ（２）１８０１からＣｅ
（３）１８０２の時間範囲と、各同時要素の時間範囲
（Ｃｓ（１），Ｃｅ（１））（１８０１から１８０
２），（Ｃｓ（２），Ｃｅ（２））（１８０３から１８
０４），（Ｃｓ（３），Ｃｅ（３））（１８０５から１
８０６）との比のうちで、最も小さい比を同時要素間の
重なり度として求めることになる。重なり度としては、
この他に、全ての同時要素候補に共通な時間範囲に対す
る各同時要素候補の時間範囲の比の平均あるいはそれら
のうちの最も大きい値、あるいは任意の２つの同時要素
間で上記（１２）により求めた重なり度のうち、最も小
さい値または最も大きい値またはそれらの平均等を用い
ることが可能である。また、逐次要素候補の時間範囲
は、（ｍａｘ Ｃｓ（ｉ），ｍｉｎ Ｃｅ（ｉ））とす
る。

【００３２】図１９は、逐次要素の候補のフォーマット
図である。逐次要素候補には、辞書テンプレートの内容
に従って同時要素数１９０１と各同時要素の候補１９０
２から１９０３が記述される。このうち、同時要素候補
１９０２から１９０３は、図１７に示された同時要素候
補の記述がそのまま用いられる。同時要素数の後に記述
される同時要素間の重なり度は、前式（１２）により求
められる重なり度を記述する。次に、図１３のステップ
１３０４においては、以下の（１）〜（５）の５つの条
件を満足する逐次要素列を検索することにより、手話単
語候補を生成する。 （１）逐次要素列またはその繰り返しの先頭の逐次要素
は、同時要素候補の生成と同じく、ラベルの開始時刻に
最も近い開始時刻を持つ逐次要素、およびその逐次要素
と重なり度が閾値以上の逐次要素とする。重なり度Ｏ
は、基準となる逐次要素の時間範囲を（Ｓ（０），Ｅ
（０））、その他の逐次要素の時間範囲を（Ｓ（ｊ）Ｅ
（ｊ））として前式（２）により計算される。選択され
た逐次要素を用いた逐次要素の組み合わせが他の制約を
満足しない場合の処理も、同時要素候補の生成と同じで
ある。

【００３３】（２）同時要素候補の生成と同じく、連続
する逐次要素間のギャップが許容範囲内になる逐次要素
の組み合わせを選択する。ギャップに対する条件は、あ
る逐次要素を形成する動作要素状態列の最後の動作要素
状態の時間範囲のうち最も小さい時間範囲を（ｓ１，ｅ
１）、その逐次要素に続く逐次要素を形成する動作要素
状態列の最初の動作要素状態の時間範囲のうち、最も小
さい時間範囲を（ｓ２，ｅ２）として、前式（３）によ
り与えられる。図２０は、連続する逐次要素におけるギ
ャップの大きさを評価する方法を説明する図である。図
２０に示すように、逐次要素２００１が動作要素状態２
００２、２００３から形成される同時要素２００４と、
１つの動作要素状態２００５からなる同時要素２００６
を含み、それに続く逐次要素２００７は、１つの動作要
素状態２００８からなる同時要素２００９と、同じく１
つの動作要素状態２０１０からなる同時要素２０１１と
から形成されているものと仮定する。この場合、逐次要
素２００１からは動作要素状態２００３と２００５のう
ち、小さい方の動作要素状態２００３の時間範囲が、逐
次要素２００７からは動作要素状態２００８と２０１０
のうち、小さい方の動作要素状態２０１０の時間範囲が
前式（３）の条件を検証するために用いられる。また、
時間的に前に来る逐次要素が静的動作要素のみによる逐
次要素とのギャップに対しては、下式（１３）による条
件を満足する逐次要素の組み合わせを選択する。 ｓ２−ｅ１−１＜Θ_G （ｓ２−ｅ１−１＞０の場合) （ｓ２−ｅ１−１）÷（ｅ１−ｓ１＋１）＞Θ_o （ｓ２−ｅ１−１＜０の場合) ・・・・・・・ （１３） なお、Θ_Gは、連続する要素間の重なりに対する閾値
（＜０） Θ_Oは、連続する要素間のギャップに対する閾値（≧
０） この制約は、逐次要素列が繰り返される場合にも適用す
ることは、同時要素候補の生成と同じである。

【００３４】（３）逐次要素の時間長をＬ（ｉ）、その
直前のギャップの時間長をＧ（ｉ）として、前式（４）
の条件を満足する動作要素状態の組み合わせを選択す
る。 （４）同じ種類の動作要素が、異なる逐次要素の候補に
含まれる組み合わせを削除する。削除方法は、同時要素
候補の生成において同じ動作要素が異なる動作要素状態
に含まれる候補を削除する時に用いた方法と同じものを
用いることが可能である。繰り返し回数がｎ回以上に指
定される場合にも、同じ動作要素を含む組み合わせが多
数検出される。この場合には、繰り返し回数が最大とな
る組み合わせのみを出力する。また、全ての組み合わせ
を出力することも可能である。

【００３５】（５）ラベル情報の時間範囲を（Ｌ１，Ｌ
２）、手話単語の候補の時間範囲を（Ｍ１，Ｍ２）とし
て、重なり度Ｏが閾値以上の候補を選択する。重なり度
Ｏは、下式（１４）により求められる。

【数５】 ただし、最後の逐次要素が繰り返しにより形成される場
合には、繰り返し回数を満足していれば、ラベル情報と
の重なり度は閾値以上でなくてもよい。また、逐次要素
間の制約として、動作要素状態間の制約として用いた動
作方向および動作平面に関する制約を用いることも可能
である。さらに、動作の行われる位置、動作の大きさ、
動作の速さ等は、動作要素のパラメータに対する制約を
用いることができる。

【００３６】図２１は、手話単語の候補のフォーマット
図である。各手話単語候補には、辞書テンプレートに従
って手話単語名２１０１、繰り返し回数２１０２、逐次
要素数２１０３、および各逐次要素の候補２１０４〜２
１０７が記述される。各逐次要素の候補は、図１９で示
した逐次要素候補のフォーマットに従って該当する候補
が記述される。繰り返し回数２１０２が辞書テンプレー
ト中でｎ回以上と記述されている場合には、実際に検出
された繰り返し回数を記述する。また、繰り返し回数の
後に記述される繰り返し動作間のギャップに関するパラ
メータは、実際に検出された候補から求めた各ギャップ
の大きさを列挙して記述する。逐次要素数の後に記述さ
れる逐次要素間のギャップに関するパラメータに関して
も、同じく実際に検出された候補から求められた各ギャ
ップの大きさを列挙して記述する。繰り返し回数をＲ、
逐次要素数をｒとすると、繰り返し回数の後に記述され
るギャップの個数は（Ｒ−１）個、逐次要素数の後に記
述されるギャップの個数は（Ｒ−１）×ｒ個となる。

【００３７】以上が実施例の説明である。なお、実施例
では、手話単語候補の生成において、動作要素状態、同
時要素、逐次要素、手話単語の各々の候補を順番に生成
していく方法を説明した。しかし、この他に、手話単語
を形成する動作要素の組み合わせを動的な動作要素の認
識結果から直接生成し、その中における動作要素状態
間、同時要素間、逐次要素間の関係が上述の全ての制約
を満足する組み合わせのみを手話単語の候補として選択
することも可能である。手話単語候補生成部１０８で
は、手話単語の候補を生成した後に、生成された手話単
語候補の時間範囲に基づき静的動作要素パラメータ抽出
部１０９で、学習用手話データから静的動作要素のパラ
メータを抽出する。動作要素状態数が１の場合には、静
的動作要素を含む逐次要素候補の時間範囲を（Ｓｓ，Ｓ
ｅ）とすると、（Ｓｓ，Ｓｅ）における静的動作要素の
該当するパラメータを学習用手話データから抽出すれば
よい。動作要素状態数が２以上の場合には、対象となる
動作要素状態列を含む逐次要素候補の時間範囲から各動
作要素状態に対応する時刻を検出し、検出した部分のパ
ラメータを抽出する。動作要素状態の検出は、パラメー
タの変化が極小になる部分を検出することにより行われ
る。この場合、ノイズ等の影響による局部的な極小値が
検出される場合があるが、これを避けるために予め設定
した閾値以下の極小値のみを検出してもよい。繰り返し
回数の有無に応じ、以下のようにしてパラメータを抽出
する。

【００３８】（１）繰り返しが無い場合、これは、ある
静的動作要素から他の静的動作要素に変化する場合であ
って、最初と最後の動作要素状態以外には中間状態を示
すパラメータであればよい。図２２は、繰り返しがある
場合の静的動作要素の検出方法の説明図である。先ず、
逐次要素候補の開始時刻をＳｓ２２０１、終了時刻をＳ
ｅ２２０２、動作要素状態数をＮとする。開始時刻Ｓｓ
から終了時刻Ｓｅの方向に（Ｓｅ−Ｓｓ＋１）÷Ｒの範
囲２２０３で、パラメータ変化の最初の極小値２２０４
を検出する。なお、Ｎ＝２のとき、Ｒ＝３，Ｎ＞２のと
き、Ｒ＝２×（Ｎ−１）となる。極小値があれば、それ
を第１の検出点Ｄ（１）、極小値がなければ、ＳｓをＤ
（１）にする（２２０５参照）。次に、ＳｅからＳｓの
方向に（Ｓｅ−Ｓｓ＋１）÷Ｒの範囲２２０６で、パラ
メータの変化の最初の極小値２２０７を検出する。前述
と同じく、Ｎ＝２のときＲ＝３、Ｎ＞２のときＲ＝２×
（Ｎ−１）である。検出の結果、極小値があれば、それ
を第Ｎの検出点Ｄ（Ｎ）、極小値がなければ、ＳｅをＤ
（Ｎ）とする（２２０８参照）。Ｄ（１）とＤ（Ｎ）の
間を（Ｎ−１）区間に等分割して、Ｄ（１）からｎ番目
の分割点を検出点Ｄ（ｎ）とする（２２０９，２２１０
参照）。各検出点を中心に、下式（１５）の条件を満足
する範囲のパラメータを各動作要素状態のパラメータと
して抽出する。 ｄ（ｐ（ｉ），ｑ（ｔ））＜Θ_d （１５） なお、ｄ（ｐ，ｑ）は、パラメータベクトルｐとｑの距
離 ｐ（ｉ）は、ｉ番目の検出点のパラメータベクトル ｑ（ｔ）は、時刻ｔのパラメータベクトル Θ_dは、パラメータ抽出範囲を決定する閾値

【００３９】（２）繰り返し回数がある場合、図２３
は、繰り返しがある場合の静的動作要素の検出方法の説
明図である。静的動作要素列が繰り返される場合には、
通常の手話では動作要素状態数が２であるため、次の手
順でパラメータの抽出を行う。先ず、逐次要素候補の開
始時刻をＳｓ２３０１、終了時刻をＳｅ２３０２とす
る。開始時刻Ｓｓから終了時刻Ｓｅの間でパラメータの
変化が極小値になる時刻ｄ（ｎ）を、全て検出する（２
３０３０２３０４，２３０５，２３０６）。Ｓｓ２３０
１から（Ｓｅ−Ｓｓ＋１）÷Ｒ（前述と同じく、Ｎ＝２
のときＲ＝３、Ｎ＞２のときＲ＝２×（Ｎ−１））まで
の範囲にｄ（１）が検出されているとき、ｄ（１）を１
番目の検出点Ｄ（１）、検出されていないときにはＳｓ
を１番目の検出点Ｄ（１）とする。Ｄ（１）から計数し
て（２ｎ＋１）番目の極小値を各繰り返し動作の開始時
刻、（２ｎ）番目の極小値を各繰り返し動作の終了時
刻、（２ｎ）番目の極小値を各繰り返し条件を満足して
いれば、繰り返しが無いときと同じく、前式（１５）の
条件を満足する範囲のパラメータを各動作要素状態のパ
ラメータとして抽出する。

【００４０】図２４は、静的動作要素のみから形成され
る手話単語の構造の一例図であり、図２５は、静的動作
要素のみから形成される手話単語のパラメータ抽出方法
の説明図である。静的動作要素のパラメータを抽出する
場合、例外事項として、静的な動作要素のみで形成され
る手話単語がある。例えば、図２４において、手話単語
を形成する逐次要素２４０１および２４０２が、静的動
作要素である形状２４０３、２４０４、方向２４０５，
２４０６、位置２４０７、２４０８から形成される。こ
のようなとき、図２５に示すように、ラベルの開始時刻
２５０１、終了時刻２５０２をそれぞれ手話単語候補の
開始時刻、終了時刻とみなし、その範囲内でパラメータ
変化が極小となる時刻を検出する。すなわち、図２４の
逐次要素２４０１，２４０２のそれぞれを形成する動作
要素のパラメータの全てを含むパラメータベクトルの変
化２５０３、２５０４から、極小点Ｃ１（２５０５）、
Ｃ２（２５０６）を検索する。各検出点をそれぞれ逐次
要素の候補とみなし、手話単語候補の生成処理で用いた
条件と同じ条件を満足する組み合わせを検索する。この
場合、逐次要素候補間の条件を満足する組み合わせに関
して、それぞれの検出点から前式（１５）の条件により
パラメータを抽出する。静的な動作要素状態列を含む場
合にも、動作要素を示すパラメータの変化の極小点を検
出し、適切な関係を持つ組み合わせを検出することによ
り、同じようにパラメータを抽出することができる。ま
た、ある逐次要素のみが静的動作要素のみにより形成さ
れる場合には、動的な動作要素により決定される時間範
囲をラベル情報から除いた範囲に対して、上述と同じよ
うな方法によりパラメータの抽出を行うことが可能であ
る。

【００４１】図２６は、逐次要素の時間範囲と静的動作
要素列の時間範囲の差を説明する図である。手話単語候
補生成部１０８において手話単語候補を生成し、静的動
作要素パラメータ抽出部１０９において静的動作要素の
パラメータを抽出した後、手話単語辞書作成部１１０に
おいて手話単語辞書用のパラメータの計算を行い、計算
したパラメータにより辞書テンプレートを修正すること
により手話単語辞書を生成する。図７に、生成される手
話単語辞書のフォーマットが記述されている。辞書中に
記述されるパラメータは、生成された手話単語候補中の
動的な動作要素の属性パラメータの平均値および分散
値、抽出された静的動作要素のパラメータの平均値およ
び分散値、動作要素状態間、逐次要素間、およびそれら
の繰り返し間のギャップに関するパラメータの平均値と
分散値、同時要素間の重なりに関するパラメータの平均
値および分散値である。この場合、分散値には予め閾値
を設定しておき、計算結果がその閾値よりも小さくなっ
た場合、その閾値を記述してもよい。 また、静的な動
作要素状態列の場合には、図２６に示すように、静的動
作要素が変化する時間範囲２６０１が動的な動作要素の
時間範囲２６０２に比較して小さくなり、時間範囲も変
動し易いため、逐次要素中に動的な動作要素が含まれる
場合には、静的な動作要素状態列からなる同時要素の時
間範囲は、同時要素間の重なり度の計算には加えなくて
もよい。さらに、連続する動作要素状態間の動作方向や
動作平面に対する制約は、手話単語辞書を生成する際に
は省略する。または、他のパラメータと同じく、学習用
手話データから抽出した実際の動作方向や動作平面に関
するパラメータの平均値および分散値を求めて、手話単
語辞書中に記述してもよいのは勿論である。

【００４２】

【発明の効果】以上説明したように、本発明によれば、
手話単語辞書の作成の際に、ユーザは手話単語の概略の
記述のみを行うだけでよく、最も労力を必要とするパラ
メータの抽出や、その計算の作業は自動化されるので、
ユーザの労力を大幅に削減できる。また、動的な動作要
素の認識結果のみから生成した手話単語の候補に基づ
き、静的な動作要素のパラメータを抽出し、辞書に必要
なパラメータの学習を行うことで、高精度の手話単語辞
書を学習することができる。

【図面の簡単な説明】

【図１】本発明の一実施例を示す手話単語辞書学習装置
のブロック図である。

【図２】図１の手話単語辞書学習装置を実現するハード
ウェア構成図である。

【図３】手話データのフォーマット図である。

【図４】ラベル情報のフォーマット図である。

【図５】動作要素により表現された手話動作のモデル図
である。

【図６】動作要素の種類と属性パラメータの種類を示す
図である。

【図７】手話単語辞書および辞書テンプレートのフォー
マット図である。

【図８】動作要素のフォーマット図である。

【図９】手話単語『通う』を意味する人間の形態図であ
る。

【図１０】本発明における手話単語辞書の記述例を示す
図である。

【図１１】本発明における辞書テンプレートの記述例を
示す図である。

【図１２】認識された動作要素のフォーマット図であ
る。

【図１３】本発明の一実施例を示す手話単語候補生成部
の処理フローチャートである。

【図１４】動作要素状態の候補のフォーマット図であ
る。

【図１５】連続する動作要素の先頭の動作要素の選択方
法の説明図である。

【図１６】同じ種類の動作要素が連続する手話データか
ら動作要素を認識した結果の一例を示す図である。

【図１７】同時要素の候補のフォーマット図である。

【図１８】同時要素間の重なり度の計算方法の説明図で
ある。

【図１９】逐次要素の候補のフォーマット図である。

【図２０】連続する逐次要素のギャップの大きさを評価
する方法の説明図である。

【図２１】手話単語の候補のフォーマット図である。

【図２２】繰り返しが無い場合の静的動作要素の検出方
法の説明図である。

【図２３】繰り返しがある場合の静的動作要素の検出方
法の説明図である。

【図２４】静的動作要素のみから形成される手話単語の
構造の一例を示す図である。

【図２５】静的動作要素のみから形成される手話単語の
パラメータ抽出方法の説明図である。

【図２６】逐次要素の時間範囲と静的動作要素列の時間
範囲の差を説明する図である。

【符号の説明】

１０１…手話データ入力部、１０２…学習用手話データ
格納部、１０３…ラベル情報入力部、１０４…ラベル情
報格納部、１０５…辞書テンプレート入力部、１０６…
辞書テンプレート格納部、１０７…動的動作要素認識
部、１０８…手話単語候補生成部、１０９…静的動作要
素パラメータ抽出部、１１０…手話単語辞書作成部、１
１１…手話単語辞書格納部、２０１…文字入力装置、２
０２…キーボード、２０３…手話入力装置、２０４…手
袋型入力装置、２０５…ビデオカメラ、２０６…演算装
置、２０７…出力装置、２０８…ＣＲＴディスプレイ、
２０９…学習用手話データのメモリ、２１０…ラベル情
報メモリ、２１１…辞書テンプレートメモリ、２１６…
手話単語辞書メモリ、２１５…手話単語辞書作成プログ
ラムメモリ、２１４…静的動作要素パラメータ抽出プロ
グラムメモリ、２１３…手話単語候補生成プログラムメ
モリ、２１２…動的動作要素認識プログラムメモリ、５
０１，５０２…逐次要素、５０４，５０５…同時要素、
５０８，５０９…動作要素。

Claims (12)

【特許請求の範囲】
1. 【請求項１】 手話を形成する手動作を電気信号に変換
   し、手話データとして入力する入力手段と、 入力された上記手話データを学習用手話データとして格
   納する第１の格納手段と、 逐次要素、同時要素、動作要素等の種類および関係から
   なる辞書テンプレートを格納する第２の格納手段と、 動的な動作要素を上記学習用手話データから認識する動
   的動作要素認識手段と、 上記辞書テンプレートの内容
   に基づいて、認識された動的な動作要素から手話単語候
   補を生成する手話単語生成手段と、 生成された上記手話単語候補に基づき学習用手話データ
   から静的な動作要素の情報を抽出する静的動作要素抽出
   手段と、 上記手話単語候補と上記静的動作要素の情報を用いて辞
   書テンプレートを修正することにより、手話単語辞書を
   作成する手話単語辞書作成手段と、 作成された上記手話単語辞書を格納する第３の格納手段
   とを有することを特徴とする手話単語辞書学習装置。
2. 【請求項２】 請求項１に記載の手話単語辞書学習装置
   において、 前記辞書テンプレートには、 手話単語を形成する動作要素の種類と、学習用手話デー
   タからパラメータを抽出する必要のある属性値の種類
   と、動作要素間の時間的な前後関係とが記述され、 前
   記手話単語辞書作成手段は、上記辞書テンプレートの内
   容に基づき学習用手話データから必要なパラメータを抽
   出し、抽出したパラメータを辞書テンプレートに記述す
   ることにより、手話単語辞書を作成することを特徴とす
   ることを特徴とする手話単語辞書学習装置。
3. 【請求項３】 請求項２に記載の手話単語辞書学習装置
   において、 前記辞書テンプレートは、同一種類で、かつ属性が異な
   る１個以上の動作要素から構成される動作要素状態と、
   該動作要素状態の時系列により形成される同時要素と、
   同一時間範囲に生起する１個以上の同時要素により形成
   される逐次要素と、連続的に生起する１個以上の逐次要
   素により形成される手話単語とからなる形式で記述され
   ることを特徴とする手話単語辞書学習装置。
4. 【請求項４】 請求項１に記載の手話単語辞書学習装置
   において、 前記静的動作要素の情報を抽出する手段は、手話単語候
   補中の各逐次要素の時間範囲に基づき静的な動作要素に
   対応するパラメータの抽出を行うことを特徴とする手話
   単語辞書学習装置。
5. 【請求項５】 請求項４に記載の手話単語辞書学習装置
   において、 前記静的動作要素の情報を抽出する手段は、静的な動作
   要素の時系列が逐次要素に含まれる場合、逐次要素候補
   の時間範囲で静的な動作要素のパラメータの変化が極小
   となる時刻を検出することにより、各動作要素状態に対
   応する部分を検出し、検出した部分のパラメータを各動
   作要素状態中の動作要素のパラメータとして抽出するこ
   とを特徴とする手話単語辞書学習装置。
6. 【請求項６】 請求項１に記載の手話単語辞書学習装置
   において、 前記静的な動作要素の情報を抽出する手段は、手話単語
   が静的な動作要素のみから形成される場合、手話単語を
   形成する静的動作要素のパラメータの変化が極小になる
   時刻を検出し、検出した時刻を動作要素状態、同時要素
   あるいは逐次要素の候補とみなし、それらの関係が許容
   範囲内である組み合わせを検索することにより、手話単
   語候補を生成することを特徴とする手話単語辞書学習装
   置。
7. 【請求項７】 請求項２に記載の手話単語辞書学習装置
   において、 前記手話単語辞書作成手段が、辞書テンプレートの内容
   に基づき学習用手話データから必要なパラメータを抽出
   し、抽出したパラメータを辞書テンプレートに記述する
   場合に、手話単語辞書に記述される情報は、各動作要素
   に関するパラメータおよび動作要素間の時間関係に関す
   るパラメータであることを特徴とする手話単語辞書学習
   装置。
8. 【請求項８】 請求項７に記載の手話単語辞書学習装置
   において、 前記手話単語辞書に記述される動作要素に関するパラメ
   ータおよび動作要素間の時間関係に関するパラメータ
   は、複数の学習用手話データから生成された手話単語候
   補中の動的な動作要素のパラメータや抽出された静的な
   動作要素のパラメータを用いて、各動作要素毎あるいは
   動作要素間の関係毎に求めた平均値および分散値である
   ことを特徴とする手話単語辞書学習装置。
9. 【請求項９】 手話認識装置に使用される手話単語辞書
   の作成方法において、 該手話単語辞書に登録される手話単語候補を生成する手
   段は、 認識された動的な動作要素から手話単語を形成する動的
   な動作要素を抽出することにより動作要素状態の候補を
   生成する第１のステップと、 動作要素状態間の関係が許容範囲内である動作要素状態
   候補の時系列を検索することにより、同時要素の候補を
   生成する第２のステップと、 該同時要素候補間の関係が許容範囲内である同時要素候
   補の組み合わせを検索することにより、逐次要素の候補
   を生成する第３のステップと、 該逐次要素間の関係が許容範囲内である逐次要素候補の
   時系列を検索することにより、手話単語候補を生成する
   第４のステップとを有することを特徴とする手話単語辞
   書作成方法。
10. 【請求項１０】 請求項９に記載の手話単語辞書作成方
    法において、 前記手話単語候補を生成する手段は、 認識された動的な動作要素から手話単語を形成する動的
    な動作要素を抽出することにより、動作要素状態の候補
    を生成する第１のステップと、 生成された上記動作要素状態候補から手話単語を形成す
    る全ての動作要素状態に対応する動作要素状態候補を検
    索することにより、手話単語候補となる動作要素状態候
    補の組み合わせを生成する第２のステップと、 検索された上記組み合わせ中の動作要素状態間、同時要
    素間、逐次要素間の関係が許容範囲内である組み合わせ
    のみを手話単語候補として選択する第３のステップとを
    有することを特徴とする手話単語辞書作成方法。
11. 【請求項１１】請求項９に記載の手話単語辞書作成方法
    において、 前記手話単語候補を生成する各ステップで行われる動作
    要素状態間あるいは逐次要素間の関係の評価に用いる制
    約としては、 連続する動作要素状態あるいは逐次要素の先頭の動作要
    素状態あるいは逐次要素は、ラベル情報の時間範囲の開
    始時刻に最も近い動作要素を含むことと、 連続する動作要素状態間あるいは逐次要素間のギャップ
    の大きさは予め決められた上限と下限の範囲内であるこ
    とと、 連続する動作要素状態あるいは逐次要素の時間長の比が
    許容範囲内であることと、 連続する動作要素状態あるいは逐次要素における動作の
    方向や動作が行われる平面の関係が許容範囲内であるこ
    とと、 連続する動作要素状態あるいは逐次要素において、異な
    る動作要素状態あるいは逐次要素に同じ動作要素が含ま
    れない組み合わせであることと、 連続する動作要素状態あるいは逐次要素における動作の
    位置の関係が許容範囲内であることと、 連続する動作要素状態あるいは逐次要素における動作の
    大きさの関係が許容範囲内であることと、 連続する動作要素状態あるいは逐次要素に奥ける動作の
    速さの関係が許容範囲内であることと、 手話単語の候補とラベル情報の重なりが許容範囲内であ
    ることの各制約があって、 該制約のうちの少なくとも１つを用いることを特徴とす
    る手話単語辞書作成方法。
12. 【請求項１２】 請求項９または１０に記載の手話単語
    辞書作成方法において、 前記手話単語候補を生成する各ステップで行われる同時
    要素間の関係の評価は、時間的な重なりが許容範囲であ
    ることを制約として用いることを特徴とする手話単語辞
    書作成方法。