JP2017516176A - 手跡及びジェスチャを認識するための方法とシステム - Google Patents

Abstract

本発明は、手跡を認識するための、コンピュータ実装方法、コンピュータプログラム製品及びコンピュータシステム（１００）に関する。システムは、モーションセンサユニット（１０）から測定データ（１１）を受信するように構成されているインタフェースコンポーネント（１１０）を含んでいる。モーションセンサユニット（１０）は、ユーザの身体の可動部分（１）に物理的に結合されており、測定データ（１１）は、モーションセンサユニット（１０）のセンサのセンサデータを含んでいる。センサデータは、モーションセンサユニット（１０）の軌跡（２０）の時間に関する二次導関数に対応している。システムは更に、各キャラクタに関連付けられているテクニカルプロフィールを記憶するデータストレージコンポーネント（１３０）を有している。テクニカルプロフィールは、少なくとも、複数の事前定義された加速度プロフィールを含んでいる。各加速度プロフィールは、モーションセンサユニット（１０）の起こり得る軌跡の１つの特定の部分に関連付けられている動きを特徴付ける加速度データを、その起こり得る軌跡の少なくとも１つの先行の部分又は後続の部分のコンテクストにおいて含んでいる。システムのデコーディングコンポーネント（１２０）は、受信したセンサデータ（１１）を、複数の事前定義された加速度プロフィールと比較して、軌跡（２０）の複数の部分から成るシーケンスを識別する。軌跡（２０）の複数の部分から成る識別されたシーケンスが、特定のキャラクタを表している特定の起こり得る軌跡の複数の部分から成る、事前定義されたコンテクスト依存シーケンスに関連付けられている場合には、デコーディングコンポーネントが、受信したセンサデータ（１１）に対応する特定のキャラクタを識別する。識別されたキャラクタの表現が出力装置（２００）に供給される。

Description

本発明は、一般的には、電子的なデータ処理に関し、より詳細には、手跡、即ちハンドライティング及びジェスチャを認識するための、方法、コンピュータプログラム製品及びシステムに関する。

キャラクタを電子的に認識するためのシステム及び方法に関する多数のアプローチが従来技術から公知である。幾つかのアプローチは、２次元の表面、例えばタッチスクリーン又は特定の電子ペーパ上に書かれたキャラクタの手跡を認識することに向けられている。従来技術では、そのようなシナリオにおいて、各キャラクタを字画（ｓｔｒｏｋｅ）に、即ち各キャラクタを書く際の各工程に分解することが提案されている。このコンテクストにおいて、１つの字画は、各キャラクタを形作るために描かれる線の一部に対応する（例えば、文字「Ａ」は３画から成る）。そのようなアプローチは、空中に書かれたキャラクタ、つまりユーザが３次元の動きを行うことによって仮想的に書かれたキャラクタの認識には適していない。何故ならば、３次元の各軌跡をそのようなシステムによって処理することができないからである。

そのような３次元の仮想的なキャラクタをサポートする、従来技術による手跡認識システムは、米国特許第７７９６８１９号に記載されており、この文献には、ユーザの３次元の動きを解析する手跡認識方法が開示されている。そこにおいて提案されている方法は、字画の開始部分及び終了部分における動きの向きに基づき各字画を識別し、字画の組み合わせを使用してキャラクタを認識している。またそこにおいて提案されているシステムにおいては、ライティングを行うユーザ、即ちキャラクタを書くユーザが、システムの各スイッチ機能を使用することによって、手動で各字画の開始及び終了をシステムに指示しなければならない。スイッチのこの手動操作は、ユーザによる連続的で流れるようなライティングを妨げる。

別の従来技術によるシステムでは、カメラを使用して、３次元の手跡を認識し、ユーザの手の絶対的な位置を求めることによって、ライティングの間にユーザの手によって成される軌跡を求める解決手段が提供されている。絶対的な位置を求めるためには、例えばＭＩＣＲＯＳＯＦＴ ＫＩＮＥＣＴセンサシステムのような定置の固定されたカメラシステムが必要となる。

従来技術に鑑み、手による仮想的な３次元のライティングが行われる場合の、つまり空中への文字、サイン又は単語のライティングに関する、改善された手跡認識が必要とされている。定置のセンサを含んでいる複雑なシステムを必要とすることなく、連続的で流れるようなライティングをサポートするシステム及び方法を提供することが望まれている。

従って、手による仮想的な３次元のライティングが行われる場合の、改善されたキャラクタ認識及び手跡認識のためのデコーディングシステム及び方法を提供することが必要とされている。このコンテクストにおいて「仮想のライティング」とは、書き手が２次元の媒体（例えば紙、ディスプレイ等）への書き込みを強要されることのないライティングであると解される。その代わりに書き手は、例えば、制限なく空中に３次元の動きを行いながら空中へのライティングを行うことができる。この技術的な問題は、独立請求項に記載されている本発明の種々の実施の形態によって解決される。以下の記載のコンテクストにおいて、用語「キャラクタ」とは、複数の字画から成るシーケンス、即ち一連の字画から形成することができる何らかの文字、サイン又はシンボルを表している。キャラクタには例えば、情報交換用米国標準コード、即ちＡＳＣＩＩ（Ａｍｅｒｉｃａｎ Ｓｔａｎｄａｒｄ Ｃｏｄｅ ｆｏｒ Ｉｎｆｏｒｍａｔｉｏｎ Ｉｎｔｅｒｃｈａｎｇｅ）又はユニコード（Ｕｎｉｃｏｄｅ）のすべてのキャラクタが含まれるだけでなく、日本語、中国語又は他のアジア諸国のキャラクタ、並びにその他のサイン、例えば四角、円又は矢印等も含まれる。

１つの実施の形態においては、手跡を認識するためのデコーディングコンピュータシステムが、モーションセンサユニットから測定データを受信するためのインタフェースコンポーネントを含んでいる。モーションセンサユニットは、ユーザの身体の可動部分に物理的に結合されている。例えば、モーションセンサユニットをユーザの手に取り付けることができる。モーションセンサユニットは、何らかの種類のウェアラブルアイテムの一部、例えばユーザが着用する手袋、ブレスレット、腕時計又は指輪の一部であって良い。またモーションセンサユニットは皮膚にインプリントされても良いし、皮膚に注入されても良いし、又は、埋め込まれても良い。若しくは、モーションセンサユニットを、その他のやり方で人間の身体に一時的又は永続的に取り付けても良い。またモーションセンサユニットは、ユーザが手にするデバイス（例えばスマートフォン、電子ペン等）の一部であっても良い。更に、コンピュータシステム自体が、ユーザが手にする、又はユーザが着用するデバイスの一部であっても良い。つまり、モーションセンサユニットを、ユーザの身体に一時的又は永続的に取り付けることができる。測定データは、モーションセンサユニットの少なくとも１つのセンサのセンサデータを含んでいる。センサデータは、モーションセンサユニットの軌跡の時間に関する二次導関数に対応するものであって良い。適切なセンサを利用できる場合には、時間に関するより高次の導関数も使用することができる。つまり、測定データは、モーションセンサユニットの一部である加速度センサから供給される加速度データを含むことができる。択一的な実施の形態においては、モーションセンサユニットが、ジャイロスコープ、磁力計又は気圧計のような複数のセンサを含むことができる。その種の実施の形態においては、測定データが、モーションセンサユニットの回転及び向きに関するデータ及び気圧に関するデータを含むことができる。例えば、モーションセンサは、加速度センサに加えて、又は加速度センサの代わりに、ジャイロスコープを含むことができ、その場合、センサデータは角速度に対応することができる。例えば、モーションセンサは更に、加速度センサ及び／又はジャイロスコープに加えて、気圧計も含むことができる。この場合、各センサデータは気圧も含んでいる。モーションセンサの２つの箇所での気圧の差異は、センサのそれら２つの箇所での高さの差異を表し、従ってこの差異を鉛直方向における動きの尺度として使用することができる。その種の様々なタイプのセンサ測定データを組み合わせて使用することによって、手跡認識方法の精度を改善することができる。更にその種のタイプの測定データは、モーションセンサの相対的な動きの尺度を提供する。本発明により提案される手跡認識は、軌跡を求めるためにモーションセンサユニットの絶対的な位置測定には依存しないので、そのような相対的な動きの尺度が提供されることによって、定置の固定されたセンサセットアップはもはや時代遅れのものとなる。

コンピュータシステムは、基本的なモーションユニットのテクニカルプロフィールを記憶するためのデータストレージコンポーネントを含んでいる。テクニカルプロフィールは、少なくとも、複数の事前定義された加速度プロフィールを含んでいる。つまり、本明細書のコンテクストにおける基本的なモーションユニットのテクニカルプロフィールとは、生データとしての、又は前処理された形式の、加速度データ、向きデータ、回転データ及び／又は圧力データのような物理的なデータを反映するプロフィールである。物理的なデータは、各キャラクタ又はサインを描く又は書くために成される３次元の動きに関連付けられている。これによって、物理的なデータ（例えば加速度、角速度、気圧等）は、各物理的な動きを特徴付ける。換言すれば、各加速度プロフィールは、少なくとも、モーションセンサユニットの起こり得る軌跡の１つの特定の部分に関連付けられている動きを特徴付ける加速度データを、その起こり得る軌跡の少なくとも１つの先行の部分又は後続の部分のコンテクストにおいて含んでいる。起こり得る軌跡の１つの特定の部分に関連付けられている動きのコンテクストは、先行の部分及び／又は後続の部分によって定義されている。起こり得る軌跡の１つの部分が組み込まれているコンテクストは、各テクニカルプロフィールに対して影響を及ぼすので、異なるコンテクストにおいて現れる異なる軌跡の区別される複数の類似の部分に使用することができる。例えば、上への動きとそれに続く下への動きを表している、テクニカルプロフィールのコンテクスト依存シーケンスは、２つの動きの間に休憩を挟む場合と、休憩を挟まない場合とで異なる。従って、基本的なテクニカルプロフィール（プリミティブ）を単に連結させるだけでは、殆どの場合、実際のセンサ測定データを反映することはないので、プロフィールのコンテクスト依存シーケンスを記憶することは有利である。

更に、システムは、受信したセンサデータを複数の事前定義された加速度プロフィールと比較し、モーションセンサユニットに関連付けられている軌跡の複数の部分から成るシーケンスを識別するための、デコーディングコンポーネントを含んでいる。例えば、デコーディングコンポーネントは、モーションセンサユニットの軌跡の複数の部分から成る識別されたシーケンスが、受信したセンサデータに対応する特定のキャラクタを表している特定の起こり得る軌跡の複数の部分から成る、事前定義された（例えば専門家によって定義された、又は、利用可能な知識から導出された、又は、トレーニングデータから自動的に学習された）コンテクスト依存シーケンスに関連付けられている場合には、そのキャラクタを識別することができる。換言すれば、テクニカルプロフィールの、１つ又は複数の特有のコンテクスト依存シーケンスによって、各キャラクタを特定することができる。例えばデコーダは、例えばテクニカルプロフィールとしての隠れマルコフモデルと共にビタビアルゴリズムを使用して、観測されたセンサ信号によって与えられている隠れマルコフモデルの尤度を計算することによって、受信した測定データと、テクニカルプロフィールの各事前定義されたコンテクスト依存シーケンスとの類似性スコアを計算することができる。この場合、最も高い類似性スコアを有しているテクニカルプロフィールのコンテクスト依存シーケンスに関連付けられている特定のキャラクタがシステムによって識別される。更にデコーダは、手によって書かれて識別されたテキスト若しくは１つ又は複数のサインの表現を出力装置に供給することができる。例えば、テキスト若しくは１つ又は複数のサイン（例えば、キャラクタ又はテキスト）を表示装置に表示することができるか、又は、印刷することができるか、若しくは、それらをオーディオ信号に変換して、音声言語として供給することができる。デコーディングされたキャラクタ又はサインを、ディジタルデバイスを制御するための命令の一部として使用することができるか、又は、仮想オブジェクトを操作するために使用することができる。例えば、デコーディングされたキャラクタ又はサインが特定のシンボル、例えば右への矢印又はダッシュ記号に対応する場合には、それらを右へのスクロール機能をトリガするために使用することができる。例えば、デコーディングされたキャラクタがプッシュジェスチャ（つまり、ドアを閉じる際のように手を前に向かって動かすこと）に対応する場合には、そのキャラクタを、機能選択をトリガするために使用することができる。３Ｄ空間におけるその種のシンボルキャラクタのシーケンスを、仮想オブジェクトの操作に使用することができる。

１つの実施の形態においては、受信した測定データを、モーションセンサユニットの各動きを特徴付ける特徴空間に変換することができる。このステップの目標は、デコーディングコンポーネントに供給されるデータが、手跡認識タスクにとって重要な情報だけを含むように、生データを変換することである。従って、変換された測定データは、動きを特徴付ける元のセンサ生データに比べて少ない量のデータ及び情報を含むことができる。例えば、前処理コンポーネントは、平均値正規化及び／又は分散正規化を使用することによって、元の生データからのそのような特徴抽出を実施することができる。記憶されているテクニカルフィールドは、特徴空間における対応する表現でもって、起こり得る軌跡の複数の部分を特徴付けることができる。これによって、センサデータから抽出された、変換されたデータと、特徴空間における各部分を表している、対応するテクニカルプロフィールとの類似性を計算することができる。

１つの実施の形態においては、検出コンポーネントは、手跡に関する測定データを、モーションセンサユニットのその他の測定データから分離させることができる。種々の公知のデータ分離方法をこの目的のために使用して、コンピュータシステムによって散発的なライティングを認識することができ、また使用される方法に依存して、手跡認識デコーディングに関する処理負荷を軽減することができる。そのような自動的な分離／分割システムは、提案されるシステムの常時オン動作モードを可能にする。つまり、システムはバックグラウンドで連続的に動作することができ、従って、散発的なライティング及び連続的なライティングに関する正確な手跡認識を実現する。

１つの実施の形態においては、ディクショナリが識別可能な各キャラクタに対して、１つ又は複数のコンテクスト依存テクニカルプロフィールシーケンスを記憶することができる。各コンテクスト依存テクニカルプロフィールシーケンスは、識別可能なキャラクタに関連付けられているモーションセンサユニットの１つの起こり得る軌跡を表している。ディクショナリが１つの特定の識別可能なキャラクタに関する複数のコンテクスト依存テクニカルプロフィールシーケンスを含んでいる場合、それらのシーケンスは、その特定の識別可能なキャラクタを書くためのモーションセンサの複数の起こり得る異なる軌跡を表すことができる。その種の識別可能なキャラクタを、後述するような自動的なやり方で、システムによって学習することができるか、又は、データから導出することができる。結果として、システムはキャラクタの大きさ及び形状の変化、ライティングの性質及びその他のユーザの癖に対してよりロバストになる。ディクショナリは、複数の文字列又は単語に関するコンテクスト依存テクニカルプロフィールシーケンスも記憶することができる。その種の（単語）コンテクスト依存テクニカルプロフィールシーケンスは、複数のキャラクタ文字列に関連付けられている、モーションセンサユニットの１つの起こり得る軌跡を表している。これは、複数のキャラクタ文字列の少なくとも１つの先行のキャラクタと後続のキャラクタとの間の、起こり得る軌跡の連結部分を表している、１つ又は複数の連結テクニカルプロフィールを含んでいる。連結テクニカルプロフィールは、キャラクタの一部ではないが、結果として得られるテクニカルプロフィールのコンテクスト依存シーケンスに影響を及ぼす可能性がある、ユーザによって成される動きを表しているので、それらの連結テクニカルプロフィールは、連続的なライティングでの手跡認識を容易にする。

データストレージコンポーネントは、更に、複数のコンテクストから成るグループを表しているグループプロフィールを記憶することができる。複数のコンテクストから成るグループは、複数の類似するコンテクスト依存テクニカルプロフィールに関連付けることができる。その種の類似するコンテクスト依存テクニカルプロフィールをグループ分けすることによって、記憶する必要があるテクニカルプロフィールの総数をフレキシブルに管理することができる。このことは、十分なトレーニングデータが存在する場合には、多くの数のコンテクスト依存テクニカルプロフィールを使用できることを意味している。トレーニングデータの数が少ない場合には、より多くのコンテクスト依存テクニカルプロフィールを一緒にグループ分けし、トレーニングデータから評価する必要があるパラメータの数を低減することができる。換言すれば、使用されるコンテクスト依存テクニカルプロフィールが多くなるほど、必要とされるトレーニングデータも多くなる。複数のコンテクストをグループ分けすることによって、利用可能なトレーニングデータの量をフレキシブルに適合させることができる。また、低減された数のコンテクスト依存テクニカルプロフィールによって、例えば、データストレージコンポーネントによって消費されるメモリを節約することもできる。

１つの実施の形態においては、コンピュータシステムは、複数のキャラクタシーケンスに関する確率をデコーディングコンポーネントに供給するように構成されている言語データベースを含むことができる。その種の言語データベースは、言語モデルと称されることもあり、また検索空間を制限するために使用することができ、更には検索についてのガイダンスを提供し、それによって、手跡認識の精度が改善され、且つ、デコーディング時間が短縮される。２つのキャラクタが、テクニカルプロフィールの非常に類似するコンテクスト依存シーケンス（例えば、小文字の「ａ」及び小文字の「ｄ」を手で書く場合、それらは非常に類似する動きで書かれる）に関連付けられている場合には、システムによるキャラクタの識別は単に類似性の計算を基礎とするだけでは困難になる。しかしながら、言語モデルは、キャラクタシーケンス「ａｎｄ」がキャラクタシーケンス「ｄｎｄ」よりも高い確率を有しているという情報を提供することができる。何故ならば、「ａｎｄ」は、英単語として頻繁に出現するが、その一方で「ｄｎｄ」は英語の言語において意味を成していないからである。この場合、この言語モデル確率を、各キャラクタの識別に影響を及ぼすために使用することができる。更に、言語モデルは単語シーケンスに関する情報も提供することができる。例えば、単語シーケンス「ｂｅ ｍｙ ｇｕｅｓｔ」は、シーケンス「ｂｅ ｍｙ ｑｕｅｓｔ」よりも高い確率を有している。２つのシーケンスは小文字の「ｇ」と「ｑ」が異なるだけであるが、これを区別することは困難であると考えられる。単語シーケンスに関する確率は、正しいキャラクタ及び単語の識別に好適な影響を及ぼすことができる。

別の実施の形態においては、コンピュータプログラム製品が、コンピュータシステムのメモリにロードされ、コンピュータシステムの少なくとも１つのプロセッサによって実行されると、コンピュータシステムに、コンピュータシステムの機能を実行するための各コンピュータ実装方法のステップを実行させる。

本発明の更なる態様は、特に添付の特許請求の範囲に記載されている構成要素及び組み合わせによって実現及び達成される。上記の一般的な説明及び下記の詳細な説明のいずれも例示的なものであり、且つ説明を目的としたものであって、本発明を記載の通りに制限することを意図したものではない。

本発明の１つの実施の形態による、手跡を認識するためのコンピュータシステムの簡略化されたブロック図を示す。 本発明の実施の形態による、モーションセンサユニットの動きに関する空間次元を示す。 本発明の１つの実施の形態による、モーションセンサユニットの起こり得る軌跡の基本部分を示す。 本発明の１つの実施の形態による、モーションセンサユニットの起こり得る軌跡の基本部分を示す。 本発明の１つの実施の形態による、モーションセンサユニットの起こり得る軌跡の基本部分を示す。 本発明の１つの実施の形態による、モーションセンサユニットの起こり得る軌跡の基本部分を示す。 モーションセンサユニットの加速度センサによって記録された実際の加速度センサ測定データの一例を示す。 モーションセンサユニットの加速度センサによって記録された実際の加速度センサ測定データの一例を示す。 モーションセンサユニットの加速度センサによって記録された実際の加速度センサ測定データの一例を示す。 モーションセンサユニットの加速度センサによって記録された実際の加速度センサ測定データの一例を示す。 モーションセンサユニットの加速度センサによって記録された実際の加速度センサ測定データの一例を示す。 本発明の１つの実施の形態による、ライティングによって３次元の動きが成された際の、３軸加速度センサ及び３軸ジャイロスコープの実際のセンサ測定データを示す。 本発明の１つの実施の形態による、手跡を認識するためのコンピュータ実装方法の簡略化されたフローチャートを示す。 テクニカルプロフィールを作成するためのトレーニングコンポーネントを含んでいるコンピュータシステムの別の実施の形態を示す。 テクニカルプロフィールを作成するためのコンピュータ実装方法の簡略化されたフローチャートを示す。 ３つの空間次元におけるモーションセンサユニットのセンサ生データ信号の一実施例を示す。 センサ生データ信号の平均値・分散正規化（ＭＶＮ：Mean and Variance Normalization）後の正規化データの一例を示す。

図１Ａには、本発明の１つの実施の形態による、手跡を認識するためのコンピュータシステム１００の簡略化されたブロック図が示されている。システム１００は、モーションセンサユニット１０から測定データ１１を受信するためのインタフェースコンポーネント１１０を含んでいる。モーションセンサユニット１０を、有線式の通信手段又は無線式の通信手段（例えばＢｌｕｅｔｏｏｔｈ，ＷＬＡＮ等）を介して、システム１００に接続し、通信を行うことができる。モーションセンサユニット１０は、ユーザの身体の可動部分（例えば、手、腕、指等）に物理的に結合されている。またモーションセンサユニット１０は皮膚にインプリントされても良いし、皮膚に注入されても良いし、又は、埋め込まれても良い。若しくは、モーションセンサユニット１０を、その他のやり方で人間の身体に一時的又は永続的に取り付けても良い。例えば、モーションセンサユニットをユーザの手に取り付けることができる。モーションセンサユニットは、ユーザが着用する手袋、腕時計、リストストラップ、ブレスレット又は指輪の一部であって良い。またモーションセンサユニットは、ユーザが手にするデバイス（例えばスマートフォン、電子ペン等）の一部であっても良い。集積型のモーションセンサを備えているその他の任意のウェアラブルデバイス、例えば眼鏡も使用することができる。更に、コンピュータシステム自体が、ユーザが手にする、又はユーザが着用するデバイスの一部であっても良い。つまり、モーションセンサユニット１０を、所定の期間にのみ、ユーザの身体１に取り付けることができるか、又は、ユーザの身体１で保持することができる。この例において、測定データ１１は、モーションセンサユニット１０に組み込まれている加速度センサのセンサデータを含んでいる。加速度センサによって測定された加速度データは、ユーザが各身体部位１を動かしている間にモーションセンサユニットが成す軌跡（動き）２０の時間に関する二次導関数に対応している。図中、モーションセンサユニット１０が取り付けられているユーザの手に関して、太線は動きの開始時を表しており、また破線は動きの終了時を表している。センサユニット１０が成す軌跡２０は、点線のカーブした矢印によって表されている。

一旦、図１Ｂを参照する。モーションセンサユニットは、すべての空間次元ｘ、ｙ及びｚに動かすことができる。ここでは、ｚ次元は図示されているデカルト座標系の原点における黒丸によって表されている。つまり、軌跡の動きを表すベクトルは、すべての空間次元におけるベクトル成分を有することができる。

再び図１Ａを参照する。モーションセンサユニット１０は、別のセンサ、例えばジャイロスコープ、磁力計又は気圧計を含むことができる。その種の実施の形態において、測定データは更に、モーションセンサユニットの向き及び回転に関するデータ及びモーションセンサが位置する場所における気圧に関するデータを含むことができる。例えば、ジャイロスコープは、動いている間に生じる角速度に関するデータを測定することができる。磁力計は、動いている間のモーションセンサユニット１０の向きに関する測定データを供給するためにコンパス機能を実施することができる。気圧計は、モーションセンサユニットの鉛直方向における位置の測定データを供給することができる。

コンピュータシステム１００は、キャラクタのテクニカルプロフィールを記憶するためのデータストレージコンポーネント１３０を含んでいる。テクニカルプロフィールは、少なくとも、複数の事前定義された加速度プロフィールを含んでいる。向きプロフィール、角速度プロフィール（回転プロフィール）及び気圧プロフィールでもってテクニカルプロフィールを拡張することによって、手跡認識システムの全体の精度を改善することができる。これについては図８に基づきより詳細に説明する。本明細書のコンテクストにおける特定のキャラクタのテクニカルプロフィールとは、物理的なパラメータ、例えば、各キャラクタを描く又は書くために行われる３次元の動きに関連付けられている加速度データ、向きデータ、回転データ及び／又は気圧データを反映し、且つ、その物理的なパラメータによって、各物理的な動きを特徴付けるプロフィールである。換言すれば、各加速度プロフィールは、少なくとも、モーションセンサユニットの起こり得る軌跡の１つの特定の部分に関連付けられている動きを特徴付ける加速度データを、その起こり得る軌跡の少なくとも１つの先行の部分又は後続の部分のコンテクストにおいて含んでいる。テクニカルプロフィールは、生（未加工）の形式又は変換された形式での、所定の期間にわたるセンサ値の学習された表現、例えば隠れマルコフモデルの形式の表現と見なすことができる。例えば、この表現は、機械学習アルゴリズムによってトレーニングデータから自動的に学習することができる確率分布を含むことができる。起こり得る軌跡の１つの特定の部分に関連付けられている動きのコンテクストは、先行の部分及び／又は後続の部分によって定義されている。つまり、左から右に向かう線部分が先行し、且つ、別の左から右に向かう線部分が後に続く、上から下に向かう線部分の加速度／向き／回転／圧力のプロフィールは、下から上に向かう線部分が先行し、且つ、左から右に向かう線部分が後に続く、上から下に向かう線部分の加速度／向き／回転／圧力のプロフィールとは異なる。起こり得る軌跡の１つの部分が組み込まれているコンテクストは、各テクニカルプロフィールに対して影響を及ぼすので、異なるコンテクストにおいて現れる異なる軌跡の区別される複数の類似の部分に使用することができる。これを図２から図７に基づきより詳細に説明する。

更に、システム１００は、受信したセンサデータ１１を複数の事前定義されたテクニカルプロフィール（例えば加速度プロフィール）１３０と比較し、モーションセンサユニット１０に関連付けられている軌跡２０の複数の部分から成るシーケンスを識別するための、デコーディングコンポーネント１２０を含んでいる。図２Ａから図２Ｄに基づき、この態様をより詳細に説明する。デコーディングコンポーネント１２０は、モーションセンサユニットの軌跡の複数の部分から成る識別されたシーケンスが、受信したセンサデータに対応する特定のキャラクタを表している特定の起こり得る軌跡の複数の部分から成る、事前定義されたコンテクスト依存シーケンスに関連付けられている場合には、そのキャラクタを識別することができる。換言すれば、各キャラクタは、テクニカルプロフィールの１つ又は複数の特有のコンテクスト依存シーケンスによって定義されている。

例えば、ディクショナリ１４０は、複数のテクニカルプロフィールから成る、その種のキャラクタ固有のコンテクスト依存シーケンスを記憶するために使用することができる。デコーダは、受信した測定データを、記憶されているコンテクスト依存シーケンスプロフィールと比較し、最も類似する（最も高い類似性を有している）キャラクタシーケンスを出力する／返す。識別されたキャラクタ／キャラクタシーケンスの表現を出力装置２００に供給することができる。例えば、キャラクタを表示装置（例えば、コンピュータのスクリーン、拡張現実眼鏡等）に表示することができるか、又は印刷することができるか、若しくは、音声信号に変換して、音声言語として供給することができる。デコーディングされたキャラクタを、ディジタルデバイスを制御するための命令の一部として使用することもできる。

ディクショナリ１４０は、キャラクタ及び単語から部分（プリミティブ）及びそれらの各テクニカルプロフィールへのマッピングを定義するように構成されている。ディクショナリ１４０を、別個のキャラクタ及び単語ディクショナリから生成することができる。キャラクタディクショナリは、キャラクタから部分へのマッピングを定義する。特定のキャラクタを書くために１つ以上の可能性が存在する場合がある。従って、１つのキャラクタに関して、複数のテクニカルプロフィールの変型をディクショナリにおいて規定／定義することができる。ディクショナリは、複数のテクニカルプロフィールから成るシーケンスを相応に規定して、新たなキャラクタ、新たな単語、新たな変型を追加することによってフレキシブルに拡張することができる。表１は、文字「Ｅ」に関するキャラクタディクショナリにおける複数の変型に関する例を示す。この例において、省略表記は、「下（ｄｏｗｎ）」への移動（Ｄ）に対応する部分、「右（ｒｉｇｈｔ）」への移動（Ｒ）に対応する部分、「左（ｌｅｆｔ）」への移動（Ｌ）に対応する部分、「左下（ｄｏｗｎ−ｌｅｆｔ）」への移動（ＤＬ）に対応する部分、「左上（ｕｐ−ｌｅｆｔ）」への移動（ＵＬ）に対応する部分を表すために使用される。以下の明細書においては、より詳細な表記を紹介する。
表１：文字「Ｅ」に関する変型ディクショナリ

表２は、複数の個々のキャラクタから成る各シーケンスに単語（文字列）が直接にマッピングされている、単語ディクショナリ収録語の一例を示す。
表２：キャラクタシーケンスへの単語のマッピングディクショナリ

表３は、一例として、１単語内では「Ｅ」の変型ディクショナリは混在しておらず、即ち、１単語内でのユーザのＥの書き順には一貫性があり、また、キャラクタ「Ｌ」は部分シーケンス「ＤＲ」にマッピングされているという仮定のもとで、生成されたディクショナリはどのようなものになるかを示す。連続する２つのキャラクタを連結部分によってリンクさせることができる。しかしながら、この連結部分は必須のものではない。提案される方法では、この連結部分が所定の信号データとより良く整合しているかを自動的に検出する。これらの部分をオプションとして、個々のキャラクタの字画間に挿入することができ、またこれらの部分は分かり易くするために、表３の例示的なディクショナリ収録語において括弧書きで示されている。例えば、すべてのキャラクタが定位置に書かれる場合、つまり、各キャラクタが仮想的にその他のキャラクタの上に書かれる場合、左への動きが、表３に示されている「ＥＥＬ」の第１の変型についての文字間では必要になる。これは、キャラクタ「Ｅ」を書く場合、通常は、右側で終了し、またキャラクタ「Ｅ」及び「Ｌ」を書く場合、いずれも左側で開始されることに拠る。従って、左への動きに関する動きシンボルを、コンテクストに関して、キャラクタ間に挿入することができる。
表３：部分シーケンスの変型への単語のマッピングディクショナリ（変型には数字が付されている）

１つの実施の形態においては、コンピュータシステムは、センサ測定生データを特徴空間に変換する前処理コンポーネントを含むことができる。これによって、生データのサンプルの数及び／又は次元数を変更することができ、それによって、手跡認識タスクに関する重要な情報のみが変換後に存在する。この変換は、種々のセンサ（即ち、異なるタイプのセンサの複数のセンサ）の融合も含むことができる。例えば、加速度計、ジャイロスコープ及び磁力計からのデータを融合させ、センサの絶対的な向きを評価することができる。その種の向き評価に関する種々の融合技術は当業者には公知であり、例えばカルマンフィルタ、Ｍａｈｏｎｙフィルタ又はＭａｄｇｅｗｉｃｋフィルタが挙げられる。

受信したセンサ生データに適用することができる典型的な前処理ステップは、平均値正規化及び分散正規化である。平均値正規化は、信号平均を減算する（従って平均を０にセットする）ことによって、生データ信号における一定のオフセットを除去する。加速度信号に関しては、平均値正規化は重力加速度の影響をある程度まで除去することができる。重力加速度は地球上では常に存在し、また、ハードウェアの構成に依存して、その向きに依存する加速度センサの軸に沿って測定することができる。例えば、ハンドライティングの間は、センサの向きが一定ではないが、センサの向きは大きな変化にも晒されない。従って、一定のオフセットの除去によって、重力の影響をある程度除去することができる。ジャイロスコープ及び磁力計を利用できる場合には、重力を減算するためのより正確な方法を使用することができる。所定の期間にわたり測定データからセンサの向きを評価するために、当業者には公知の種々の方法が存在している（例えばカルマンフィルタ、Ｍａｄｇｗｉｃｋ／Ｍａｈｏｎｙフィルタ）。評価された向きを、信号平均の単純な減算の代わりに、重力を減算するために使用することができる。評価された向きを、特徴空間における付加的な次元として使用することもできる。

分散正規化は、生データ信号の分散を１にセットし、また、異なる書き速度及び書き方（書き速度及び書き方のいずれもユーザ毎に非常に異なると考えられる）によって惹起される高い又は低い振幅を補償することができる。平均値正規化と分散正規化の融合用途は、一般的にｚ正規化（ｚ−ｎｏｒｍａｌｉｚａｔｉｏｎ）と表される。図１２Ａ及び図１２Ｂは、３つの空間次元ｘ，ｙ，ｚにおけるセンサ生データ信号１１−ｘ，１１−ｙ，１１−ｚの例（図１２Ａを参照されたい）、及び、ｚ正規化後の各正規化データ１４−ｘ，１４−ｙ，１４−ｚの例（図１２Ｂを参照されたい）を示す。連続的なライティングに関して、ｚ変換をリアルタイムで、即ち対応するデータ信号を受信している間に、効率的に計算することができる。

別のオプションとしての前処理ステップは、受信したセンサ生データ信号のフィルタリングを含むことができる。通常の場合、人間の動きは低周波数（約３０Ｈｚ未満）に関連付けられているので、例えばデータ信号をローパスフィルタリングして、ユーザの振動又はセンサノイズによって惹起される信号中の高周波数部分を除去することができる。信号正規化の他に、生信号を移動平均フィルタによってフィルタリングすることができる。移動平均フィルタは当業者には公知である広範囲にわたる他のフィルタのうちの１つのオプションである。

パターン認識に関する信号前処理及び特徴抽出において一般的に使用される他の変換には、信号の積分及び微分、ダウンサンプリング又はアップサンプリング、信号圧縮、ビット分解の変更、窓内の信号平均のような統計的な特徴を計算するための窓関数の適用、又は、スペクトル特徴を抽出するための短時間フーリエ変換と組み合わされた窓関数が含まれる。但し、変換はこれらに限定されるものではない。主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔｓ Ａｎａｌｙｓｉｓ）又は線形判別分析（ＬＤＡ：Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ）又は独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）のような方法が、特徴空間の次元数を低減するために一般的に使用されている。例えばスプライン近似、区分線形近似、シンボル表現又はウェーブレット変換のような信号近似を、圧縮された形態の信号を表すために使用しても良い。情報融合を使用してセンサ測定を融合させ、それによって、より高いレベルの情報を生成することができ、数ある例のうちの一部に過ぎないが、例えばカルマンフィルタ又はその変型のうちの１つを使用することによって、加速度、ジャイロスコープ及び磁力計の読み出しからセンサの向きの計算値を生成することができる。変換は所定の期間にわたる後続のサンプルの蓄積又は後続のサンプルのｎ次微分も含むことができる。

種々の方法のあらゆる組み合わせも元の信号（測定生データ）を変換するために一緒に使用することができる。前処理の出力は、特徴空間に変換された信号である。サンプルの数及び次元数は、変換を介して変更することができる。変換されたサンプルは一般的に特徴ベクトルと称され、従って、前処理の出力は複数の特徴ベクトルから成るシーケンスである。

センサ測定データ信号の複数の特有の特徴ベクトルから成るシーケンスを、受信したセンサ測定データから抽出することができる。例えば、窓関数を測定データ又は前処理されたデータに適用することができ、また窓毎の平均が信号の各次元ｘ，ｙ，ｚについて計算される。その他のアプローチは信号ピーク又はゼロ交差率の使用を含むが、アプローチはそれらに限定されるものではない。その種のデータ前処理の出力は、元の信号の特徴空間への変換である。

デコーディングコンポーネント１２０は、統計的及び確率的な技術、例えば隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）又は条件付き確率場（ＣＲＦ：Ｃｏｎｄｉｔｉｏｎａｌ Ｒａｎｄｏｍ Ｆｉｅｌｄ）、又は、ＨＭＭ又はＣＲＦデコーディング問題を解決するための適切なアルゴリズム（例えば、プレフィックス木、Ａ＊Ｓｔａｒのようなスタックデコーダストラテジ又は有限状態トランスデューサを用いる、ビタビビーム探索の適切なメッセージパッシング変型）を用いるシャローネットワーク（Ｓｈａｌｌｏｗ ｎｅｔｗｏｒｋ）又はディープニューラルネットワーク（Ｄｅｅｐ Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を使用することができる。ＨＭＭが使用される場合には、デコーディングコンポーネントの出力は、仮説が所定の信号を表している尤度を定量化する各尤度スコアを有しているｎ個の最善の仮説のｎベストリストである。１ベスト仮説、即ち最も高い尤度を有している１つの仮説は、典型的には、認識エンジン出力とみなされる。尤度は、事前定義されたテクニカルプロフィールと、軌跡２０に関連付けられている、観測された特徴シーケンスとの間の整合度を定量化することによって計算される。従って、テクニカルプロフィールと、特徴空間に変換されたセンサ信号との類似性の尺度として、尤度を使用することができる。一般的に、キャラクタシーケンス及び／又は単語シーケンスの尤度を考慮することもできる。後者は言語モデルをデコーディングプロセス（言語データベース）１５０に統合することによって計算することができる。言語モデルは、典型的には、用途の言語及び領域について固有である、複数のキャラクタ又は単語から成るシーケンスに関する確率を含んでいる。キャラクタ言語モデルは、そのキャラクタ言語モデルに先行する固定数のキャラクタ言語モデルによって与えられるキャラクタの確率を返すことができる。単語言語モデルは、それまでに観測された単語の履歴によって与えられる単語に関する確率を返す。これによって、例えば音声認識及び手跡認識の分野における当業者には周知である機械学習アルゴリズムを介してトレーニングテキストから統計的な特性を導出することによって、ある言語の構文的な特性及び意味的な特性を利用することができる。言語モデルは、統計的なＮ−ｇｒａｍモデル又は文法として実施することができる。文法は、認識することができるキャラクタシーケンスを制限することができ、また認識のより高いロバスト性を提供することができる。言語モデルの影響に対するテクニカルプロフィールの尤度の影響を、重み付け係数によって調整することができる。換言すれば、デコーディングコンポーネントは、異なる２種類の確率スコア、例えば動きのパターンとの類似性を定量化する確率スコア及びシーケンス内に現れるキャラクタ又は単語の確率スコアを使用することができる。ＨＭＭアプローチに関する詳細は、ＤＯＩ １０．１００７／Ｓ００７７９−０１３−０６３７−３においてオンラインで入手できる、Ａｍｍａ Ｃ．；Ｇｅｏｒｇｉ Ｍ．；Ｓｃｈｕｌｔｚ Ｔ．の「Ａｉｒｗｒｉｔｉｎｇ： ａ ｗｅａｒａｂｌｅ ｈａｎｄｗｒｉｔｉｎｇ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ」，Ｐｅｒｓｏｎａｌ ａｎｄ Ｕｂｉｑｕｉｔｏｕｓ Ｃｏｍｐｕｔｉｎｇに記載されている。

１つの実施の形態においては、コンピュータシステムが更に、受信したセンサデータをフィルタリングし、キャラクタに関するライティングの動きに関連付けられているセンサデータのみがデコーディングコンポーネントに供給されるように構成されている検出コンポーネント１６０を含むことができる。それによって、ユーザがライティングを行う際には、システムをバックグラウンドで連続的に動作させることができ、またシステムは自動的に検出を行うことができる。これによって、スイッチ又は特別なジェスチャを手動でアクティブ化して、ライティングの開始及び終了を指示する必要がないので、ユーザにはより良い便利性を提供することができる。換言すれば、この特徴によってユーザはシステムを常時身に付けることができ、また、システムのオン及びオフの手動での切り替え／意識的な切り替えを行うことを心配する必要がなくなる。つまり、システムは常に動作状態にあるが、しかしながらユーザが確かにライティングを行ったときにだけキャラクタ又は単語を認識する。検出コンポーネント１６０は、供給された測定データ１１を手跡部分と非手跡部分とに分割することができる。例えば、このことは二項分類を使用して達成することができる。つまり、供給されたデータストリームがスライディングウィンドウの適用によってウィンドウ化され、個々のウィンドウが手跡又は非手跡に分類され、その結果、入力信号が分割される。このアプローチに関する詳細は、ＤＯＩ １０．１００７／Ｓ００７７９−０１３−０６３７−３においてオンラインで入手できる、Ａｍｍａ Ｃ．；Ｇｅｏｒｇｉ Ｍ．；Ｓｃｈｕｌｔｚ Ｔ．の「Ａｉｒｗｒｉｔｉｎｇ： ａ ｗｅａｒａｂｌｅ ｈａｎｄｗｒｉｔｉｎｇ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ」，Ｐｅｒｓｏｎａｌ ａｎｄ Ｕｂｉｑｕｉｔｏｕｓ Ｃｏｍｐｕｔｉｎｇに記載されている。

手跡に関するデータをその他の測定データから分離するためのその他の可能性は、隠れマルコフモデル内のガベジモデル（ｇａｒｂａｇｅ ｍｏｄｅｌ）によって、非手跡の動きを処理することである。つまり、テクニカルプロフィールに関するキャラクタに加えて、非手跡（ガベジ）モデルに関する特別なテクニカルプロフィールが作成される。この技術は、Ｗｉｌｐｏｎ，Ｊ．Ｇ．；Ｒａｂｉｎｅｒ，Ｌ；Ｃｈｉｎ−Ｈｕｉ Ｌｅｅ；Ｇｏｌｄｍａｎ，Ｅ．Ｒ．の「Ａｕｔｏｍａｔｉｃ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ｋｅｙｗｏｒｄｓ ｉｎ ｕｎｃｏｎｓｔｒａｉｎｅｄ ｓｐｅｅｃｈ ｕｓｉｎｇ ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌｓ」，Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ，ｖｏｌ．３８，ｎｏ．１１，ｐｐ．１８７０，１８７８，１９９０年１１月において、自動音声認識に関して説明されている。当業者であれば、このアプローチを本発明のコンテクストにおいて適用することができる。

別の可能性は、Ｈｙｅｏｎ−Ｋｙｕ Ｌｅｅ；Ｋｉｍ，Ｊ．Ｈの「Ａｎ ＨＭＭ−ｂａｓｅｄ ｔｈｒｅｓｈｏｌｄ ｍｏｄｅｌ ａｐｐｒｏａｃｈ ｆｏｒ ｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎ」，Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ，ｖｏｌ．２１，ｎｏ．１０，ｐｐ．９６１，９７３，１９９９年１０月において提案及び記載されているような閾値ベースのアプローチを使用することである。

図２Ａから図２Ｄには、キャラクタを表す複数の部分から成るシーケンスを構成することができる基本軌跡部分（プリミティブ）の種々の例を示す。これらの代わりに、別のプリミティブも使用することができる。特に、それらの所定のプリミティブを、ユーザに近付く動き又はユーザから遠ざかる動きを含む３Ｄ空間に拡張することができる。それらは図面を見やすくするために図示していない。これらの例において使用されているラベルは以下のように解することができる。コロンの左側では線種が符号化されている。つまり、「ｓ」は直線の線種を表しており、また「ｃ」は環状の線種を表している。環状の線種は、９０°の中心角を有している円弧を表している。コロンの右側では、各部分の開始及び終了が「ｆｒｏｍ−ｔｏ（〜から〜まで）」の形式で符号化されている。考えられる符号は、中心（ｃｅｎｔｅｒ）を表す「ｃ」、上（ｕｐ）を表す「ｕ」、下（ｄｏｗｎ）を表す「ｄ」、右（ｒｉｇｈｔ）を表す「ｒ」、及び、左（ｌｅｆｔ）を表す「ｌ」である。当業者であれば、異なる粒度で軌跡を区別することもできる。図面における幾つかの例を明確に説明する。

図２Ａにおいて、「ｓ：ｃ−ｌ」は中心から始まり左で終わる直線を表している。「ｓ：ｃ−ｄｒ」は中心から始まり右下で終わる直線を表している。

図２Ｂにおいて、「ｃ：ｌ−ｕ」は左から始まり上に向かう（これは右に向かうことを含んでいる）環状の線を表している。「ｃ：ｒ−ｄ」は右から始まり下に向かう（これは左に向かうことを含んでいる）環状の線を表している。

図２Ｃにおいて、「ｃ：ｄｌ−ｕｌ」は左下から始まり左上に向かう環状の線を表している。「ｃ：ｄｌ−ｄｒ」は左下から始まり右上へと向かう環状の線を表している。

その他のすべての符号もこの理論体系に従って復号することができる。この理論体系を、各部分から成るシーケンスとしてキャラクタのモデルを作成するために使用することができる。例えば、この理論体系に従って、図２Ｄに示した文字Ｂを書くために成される動きを表している、複数の部分から成るシーケンスを以下のように表すことができる（読みやすくするために、各部分をコンマによって区切っている）。ｓ：ｃ−ｄ，ｓ：ｃ−ｕ，ｃ：ｕ−ｒ，ｃ：ｒ−ｄ，ｃ：ｕ−ｒ，ｃ：ｒ−ｄ。

各部分に対して、それぞれテクニカルプロフィールを作成することができる。その種のテクニカルプロフィールは、部分のコンテクストに依存している。何故ならば、その部分を特徴付ける物理的なパラメータは、先行の部分及び後続の部分に依存しているからである。その種のテクニカルプロフィールによってキャラクタを表すことは、完全なキャラクタモデルのモデリングを必要としないので、非常にフレキシブルである。むしろ、何らかの任意のキャラクタ又はシンボルを、その種の基本コンテクスト依存プリミティブ又はコンテクストアウェアプリミティブから形成することができ、その結果、システムのデコーディングコンポーネントによって認識することもできる。従って、既存のモデル及びシステムを変更、修正又は維持する必要なく、新たなシンボル、キャラクタ及び単語を、オン・ザ・フライで定義して統合することができる。

図３から図７には、キャラクタ又はシンボルの特有の部分に関するテクニカルプロフィールのコンテクスト依存性が示されている。各図には、加速度センサから受信した実際の測定データ（信号パターン）が示されている。しかしながら、これらの図には、各テクニカルプロフィールが作成された際に考慮される部分のコンテクスト依存性によって生じる物理的な効果をはっきりと示されている。

個々の部分に関する信号パターンは、先行の部分及び／又は後続の部分に依存して変化する。例えば、連続する２つの動き（軌跡の部分）が、休憩を挟んで行われた場合と、休憩を挟まずに行われる場合とでは、複数のテクニカルプロフィールから成るコンテクスト依存シーケンスに大きな差異が生じると考えられる。

図３には、上への移動に関するパターン１１−１（部分「ｓ：ｃ−ｕ」）が示されている。図４には、下への移動に関するパターン１１−２（部分「ｓ：ｃ−ｄ」）が示されている。パターン１１−１及びパターン１１−２を連結した場合、連結結果パターンは、２つの部分間に休憩を挟まずに実行された、部分「ｓ：ｃ−ｕ」及び「ｓ：ｃ−ｄ」に関するパターン１１−３（「上下」と表記されている図５を参照されたい）とは明確に異なる。換言すれば、上への動き又は下への動きに関するコンテクスト依存テクニカルプロフィールは、それぞれ、先行して行われた動き又は続けて行われる動きに依存して変化する。これは、「上」部分の終了時の加速の方向が、「下」部分の開始時の加速の方向と同じであるということに起因している。それらの部分間に休憩は挟まれていないので、加速度値は連続する２つの部分間では０にならない。従って、休憩を挟まずに連続的に実行される複数の部分に関するテクニカルプロフィールは、各部分の開始時及び終了時に休憩を挟んで実行される個々の部分のテクニカルプロフィールを単に連結したものとは異なるので、各部分に関するパターン（テクニカルプロフィール）をストレージコンポーネント１３０（図１を参照されたい）に記憶するだけでは十分ではない。従って、ストレージコンポーネント１３０は、図５の例に示されているようなコンテクスト依存テクニカルプロフィールも記憶する。

別の例は、図６において、「上」（ｓ：ｃ−ｕ）及び「右」（ｓ：ｃ−ｒ）の部分シーケンスに関して示されている。「右」部分は鉛直方向の動きを一切含んでいないので、「上」部分に関するｘ次元（図１Ｂを参照されたい）におけるパターン１１−４は、図３に示したパターン１１−１に非常に類似している。パターン１１−４’は、ｙ次元における加速度データを示しており、このケースにおいては「右」への垂直な動きに対応している。この例は、「右」部分がこのケースにおいて「上」部分に影響を及ぼしていないことを示している。またこの例は、先行の部分及び後続の部分の種々の組み合わせに関して、種々のコンテクスト依存テクニカルプロフィールを記憶することが有利であることを示している。

以下の命名規則は、先行の部分及び後続の部分（次の部分）のコンテクストにおいて１つの部分を表すために使用される：ｐ（ｐｐ｜ｓｐ）。ここで、ｐは部分であり、ｐｐは先行の部分（先行のコンテクスト）を表しており、またｓｐは次の部分（後続のコンテクスト）を表している。

例えば、テクニカルプロフィールを、先行のコンテクスト及び後続のコンテクストの考えられるすべての組み合わせに関して記憶することができる。択一的に、テクニカルプロフィールを、複数のコンテクストから成るグループに関して作成及び記憶することができる。例えば、「左上」及び「上」の先行の部分のコンテクストにおいて「下」部分に関するテクニカル加速度プロフィールは１つだけ作成すれば良い。何故ならば、「下」のパターンは大抵の場合、先行のいずれのコンテクストに対しても同じだからである（図７、パターン１１−５「左上」とそれに続く「下」、及び図５、パターン１１−３「上」とそれに続く「下」を参照されたい）。これによって、作成すべきテクニカルプロフィールの量をフレキシブルに管理することができる。このことは、十分なトレーニングデータが存在する場合には、多くの数のコンテクスト依存テクニカルプロフィールを使用できることを意味している。トレーニングデータの数が少ない場合には、より多くのコンテクスト依存テクニカルプロフィールを一緒にグループ分けし、トレーニングデータから評価する必要があるパラメータの数を低減することができる。換言すれば、使用されるコンテクスト依存テクニカルプロフィールが多くなるほど、必要とされるトレーニングデータも多くなる。複数のコンテクストをグループ分けすることによって、利用可能なトレーニングデータの量をフレキシブルに適合させることができる。また、低減された数のコンテクスト依存テクニカルプロフィールによって、例えば、ストレージコンポーネント１３０のメモリ消費量を低減することができる。複数のコンテクストから成るグループは、専門家によって定義することができるか、又は、クラスタリングアルゴリズム（例えばＫ平均法、Ｋ−ｍｅｄｉａｎ法、ニューラルガス）及び適切な距離測定又は類似性測定（例えばユークリッド距離、動的時間伸縮法、カルバック・ライブラー・ダイバージェンス）を用いて類似性に基づきテクニカルプロフィールをクラスタリングすることによって、データから学習することができる。

図８には加速度及び回転（角速度）に関するセンサデータの例が示されている。この図は、文字「Ａ」のライティングの例に関する。キャラクタの字画に関する複数の部分から成る各シーケンスを、ｓ：ｃ−ｕｒ，ｓ：ｃ−ｄｒ，ｓ：ｃ−ｕｌ，ｓ：ｃ−ｒとして表すことができる。

上記において述べたように、加速度センサデータを別のセンサデータ、例えば回転センサデータ及び／又は向きセンサデータでもって補完することによって、手跡認識の精度を改善することができる。これらの３つすべてのタイプのセンサデータを、相関的なセンサデータに基づく手跡認識のために使用することができる。換言すれば、モーションセンサユニットの空間内での絶対的な位置を知る必要なく、加速度センサデータ、向きセンサデータ及び回転センサデータを、システムに記憶されている事前定義されたテクニカルプロフィールとの整合性を求めるために使用することができる。従って、従来技術において提案されているような、定置のカメラセンサを備えている複雑な固定的なシステムを用いる必要はない。本発明の実施の形態による正確な手跡認識は、いずれの絶対空間座標にも依存しないセンサによって測定されたデータにのみ基づいている。図８には、ユーザが空中に文字「Ａ」を書いている間に、モーションセンサユニット１０（図１を参照されたい）によって記録された信号の例が示されている。この例において、モーションセンサユニットは、３軸加速度計及び３軸ジャイロスコープを含んでいる。グラフの各行において、左側には１つの空間次元に関する加速度測定データが示されており、右側には同一の次元に関する角速度測定データが示されている。モーションセンサユニットとユーザの手との位置合わせに基づいて、鉛直方向及び水平方向の動きは３つすべての次元において部分的に観測される（１行目にはｘ軸、２行目にはｙ軸、３行目にはｚ軸がそれぞれ示されている）。しかしながら、主な鉛直方向の動きは主としてｚ軸及びｘ軸に沿って観測することができ、また主な水平方向の動きは主としてｙ軸に沿って観測することができる。実験的な試みによって、本発明のコンセプトによる手跡認識の精度は、モーションセンサユニットの各センサから受信した加速度、回転及び向きに関するデータを反映する測定データを組み合わせることによって改善されることが分かった。例えば、Ａｍｍａ Ｃ，Ｇｅｈｒｉｇ Ｄ．及びＳｃｈｕｌｔｚ Ｔ．の「Ａｉｒｗｒｉｔｉｎｇ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｗｅａｒａｂｌｅ ｍｏｔｉｏｎ ｓｅｎｓｏｒｓ」，Ａｕｇｍｅｎｔｅｄ Ｈｕｍａｎ Ｃｏｎｆｅｒｅｎｃｅ，２０１０，Ｍｅｇｅｖｅ，Ｆｒａｎｃｅには、ジャイロスコープから供給される情報が加速度計のみを使用するシステムに比べて認識の性能が向上することが示されている。

図９には、本発明の１つの実施の形態による、手跡を認識するためのコンピュータ実装方法１０００の簡略化されたフローチャートが示されている。この方法を、コンピュータシステム１００の種々のコンポーネント（図１を参照されたい）によって実行することができる。センサデータを特徴空間に変換するステップ１２００及びセンサデータを分離させるステップ１３００は、基本となる実施の形態においては実施されなくても良いオプションのステップであって良い。

コンピュータシステムは、ユーザの身体の可動部分に物理的に結合されているモーションセンサユニットからセンサ測定データを受信する（ステップ１１００）。センサ測定データは、モーションセンサユニットの軌跡の時間に関する二次導関数を含んでいる。軌跡は、ユーザによって成された動きに対応する複数の部分から成るシーケンスを含んでいる。例えば、ユーザは、モーションセンサユニットが取り付けられている自身の手を動かし、モーションセンサユニットは、モーションセンサユニットの加速度、回転又は向きに関する測定データを所定の期間にわたり記録する。続いて、コンピュータシステムはその種のデータを受信することができる。

コンピュータシステムは、受信したセンサ測定データを複数のテクニカルプロフィールから成る複数のシーケンスと比較する（ステップ１４００）。その種のテクニカルプロフィールは、少なくとも、複数の事前定義された加速度プロフィールを含んでいる。代替的な実施の形態においては、テクニカルプロフィールは更に、向きプロフィール、回転プロフィール及び／又は圧力プロフィールを含むことができる。各加速度プロフィールは、モーションセンサユニットの起こり得る軌跡の１つの特定の部分に関連付けられている動きを特徴付ける加速度データの分布に関する情報を、その起こり得る軌跡の少なくとも１つの先行の部分又は後続の部分のコンテクストにおいて含んでいる。これによって、各テクニカルプロフィールは、所定の期間にわたる測定の変化の確率論的な記述を含むことができ、この場合、測定データはモーションセンサユニットの起こり得る軌跡の各特定の部分に関連付けられている動きを特徴付ける。これによって、測定データと各テクニカルプロフィールを正確に整合させる必要はなくなる。事前定義された類似性範囲内にある類似性は、各テクニカルプロフィールを識別するには十分であると考えられる。複数のコンテクスト依存テクニカルプロフィールから成る、考えられるシーケンスはディクショナリに定義されている。受信したセンサデータ又はそのセンサデータを特徴空間に変換したものは、複数のテクニカルプロフィールから成る考えられるシーケンス（例えば複数のキャラクタ又は単語）によって調整される。類似性スコアは、複数のテクニカルプロフィールから成る考えられるシーケンス及び受信したセンサデータ又はそのセンサデータを特徴空間に変換したものに関して計算される。複数のテクニカルプロフィールから成るシーケンスによってデータを調整するために、複数のテクニカルプロフィールがディクショナリに従い連結され、元の複数のテクニカルプロフィールから成るシーケンスを表している、新たな仮想のテクニカルプロフィールを形成する。そのシーケンスにおける個々のテクニカルプロフィールは、それらのコンテクストに従って、つまり先行のテクニカルプロフィール及び後続のテクニカルプロフィールに従って選択される。最も高い類似性スコアを有している、複数のテクニカルプロフィールから成るシーケンスが出力として選択される。

モーションセンサユニットが回転データ及び／又は向きデータも供給する場合には、テクニカルプロフィールは更に、モーションセンサユニットの起こり得る軌跡の１つの特定の部分に関連付けられている各所定の回転データ、向きデータ及び／又は圧力データを、その起こり得る軌跡の少なくとも１つの先行の部分又は後続の部分のコンテクストにおいて含むことができる。これによって、手跡認識方法の全体の精度を向上させることができる。上述の手跡認識方法はモーションセンサユニットの軌跡を求めるためにいずれの絶対位置値にも依存しないので、上述の４つのタイプのセンサ測定データ（加速度、向き、回転、気圧）は、複雑な定置のセンサを設置する必要なく、モーションセンサユニットの相対的な動きをすべての空間次元において所定の期間にわたって測定することに適している。

１つの実施の形態においては、システムが、受信したセンサデータを特徴空間に変換して、その変換されたデータをテクニカルプロフィールにおける表現と比較することができる（ステップ１２００）。この表現（即ち、変換されたモーションセンサ測定データ）は、モーションセンサデータの加速度データ、回転データ、向きデータ及び／又は圧力データを表している。換言すれば、測定データは特徴空間に変換され、それらの特徴空間は、単位時間あたり異なる数のサンプル及び異なる次元数を有することができる。特徴空間におけるサンプルは特徴ベクトルと称され、従って、変換によって複数の特徴ベクトルから成るシーケンスが得られる。受信したセンサデータから抽出された、そのような複数の特徴ベクトルから成るシーケンスを、続けて、対応するテクニカルプロフィールと比較することができる。これによって、各テクニカルプロフィールは、所定の期間にわたる各特徴の変化の確率論的な記述を含むことができ、この場合、それらの特徴はモーションセンサユニットの起こり得る軌跡の各特定の部分に関連付けられている動きを特徴付ける。これによって、測定データから導出された特徴ベクトルと各テクニカルプロフィールを正確に整合させる必要はなくなる。事前定義された類似性範囲内にある類似性は、各テクニカルプロフィールを識別するには十分であると考えられる。測定生データの代わりに前処理された特徴を使用することによって、記憶すべき、またシステムによって処理すべきデータ量を低減することができ、更には、テクニカルプロフィールをより良好に生成し、手跡認識方法のより高い精度を実現することができる。

１つの実施の形態においては、センサ測定データの受信に基づき、システムは、手跡に関する測定データを、モーションセンサユニットのその他の測定データから分離させることができる（ステップ１３００）。この前処理ステップによって、システムを明示的にオン又はオフする必要なく、バックグラウンドにおいてシステムの連続的な動作を実現することができる。更にこのことは、前述の比較ステップによって処理する必要があるデータの量の低減にとって有用であり、従って、手跡認識方法１０００の性能の改善に寄与する。

続けてシステムは、測定生データに基づき、又は、動き特性を表している特徴空間に変換されたデータの表現を使用することによって、受信したセンサデータに対応する特定のサイン、キャラクタ又は単語を識別することができる（ステップ１５００）。軌跡の複数の部分から成る識別されたシーケンスが、特定のサイン、キャラクタ又は単語を表している特定の起こり得る軌跡の複数の部分から成る、事前定義されたコンテクスト依存シーケンスに関連付けられている場合には、その特定のサイン、キャラクタ又は単語が識別される。

最後に、システムは、識別されたサイン、キャラクタ又は単語の表現を出力装置に供給する（ステップ１６００）。

コンピュータシステムの記述において、コンピュータ実装方法１０００と組み合わせることができる別のオプションとしての方法ステップ、例えば言語モデルの使用が開示されることは当業者にとって自明である。

図１０には、モーションセンサユニット１０から受信したセンササンプルデータ１２に基づいて、テクニカルプロフィール１３０を作成するように構成されているトレーニングコンポーネント１７０を含んでいるコンピュータシステム１００の別の実施の形態が示されている。これは、複数の異なるユーザ２がサンプルとなる手跡に関する動きを成している間に、それらユーザ２からセンサデータ１２を記録することができる。この記録は、事前定義された記録プロトコルに従うことができ、これによってシステム１００は、各センササンプルデータ１２の記録後に、それらの記録された信号のどの部分がどのキャラクタ、単語又は文に属するかを知ることができる。換言すれば、ユーザに例えば単一の「Ａ」を書くことが指示されると、対応するデータが記憶される。このことは、すべてのコンテクスト依存テクニカルプロフィールが収集されるまで、複数のその他のキャラクタ又は複数のキャラクタから成るシーケンスに対して繰り返される。記録されたセンササンプルデータを、人工的なトレーニングデータ１３によって補完することができるか、それどころか置換することもできる。人工的なトレーニングデータは、システム１００を使用する実際のユーザをシミュレートするシミュレータ２１０から取得される信号に対応すると考えられる。図１０においてシミュレータ２１０はコンピュータシステム１００の一部ではないが、このシミュレータ２１０をコンピュータシステム１００内に実装することもできる。取得されたトレーニングサンプル１２，１３を、サンプルデータベース１８０に記憶することができる。

トレーニングサンプルデータ１２，１３は、異なるユーザ及び記録されたキャラクタの複数のインスタンスに由来するデータを含むことができる。記録されたキャラクタの複数のインスタンスは、同一のキャラクタを書くために使用されている複数の字画から成る異なるシーケンスに関して、異なるユーザの異なるライティングの性質を基礎とすることができる。一般的に、同一の人間が特定のキャラクタの書く過程では、通常は僅かな差異しか観測されないが、それに対し、種々の人々が特定のキャラクタを書く過程では大きな差異が観測される。トレーニングコンポーネント１７０は、結果として得られた加速度センサ信号、回転センサ信号、向きセンサ信号及び／又は圧力センサ信号が反映された、ユーザの動きにおけるその差異を表しているテクニカルプロフィールを識別するように構成されている。このことは、統計的及び／又は確率的な方法、例えば隠れマルコフモデル（ＨＭＭ）を使用することによって達成することができる。トレーニングコンポーネントは、ＨＭＭに関する公知のトレーニング方法のうちの１つ、例えばバウムウェルチ（Ｂａｕｍ−Ｗｅｌｃｈ）アルゴリズム、ビタビトレーニング又は識別トレーニング（ｄｉｓｃｒｉｍｉｎａｔｉｖｅ ｔｒａｉｎｉｎｇ）を使用することができる。

図１１には、テクニカルプロフィールを作成するためのコンピュータ実装方法２０００の簡略化されたフローチャートが示されている。この方法２０００は、手跡を認識するために使用されるテクニカルプロフィールを作成するために、方法１０００（図９を参照されたい）に先行して実施することができる。

テクニカルプロフィールを作成するために、システムはトレーニングサンプルデータを受信する（ステップ２１００）。図１０を用いて説明したように、トレーニングサンプルデータを、一人以上のユーザによって使用されており、ライティングに関する特定の動きを繰り返すモーションセンサユニットによって生成することができる。その種のサンプルトレーニングデータを生成するための別の可能性はシミュレータの使用であり、シミュレータは、複数のユーザの動き及び／又はライティングの様式及びライティングのヴァリエーションを、シミュレーションパラメータを変更することによってシミュレートする。トレーニングサンプルデータは更なる処理のためにデータベースに記憶される。

受信したトレーニングサンプルデータを、事前定義されたプロトコルに従い分類することができる（ステップ２２００）。この事前定義されたプロトコルによって、システムは動き（軌跡）のどのシーケンスがどのキャラクタ又は文字列に属するかを識別することができる。

後続のステップにおいて、トレーニングコンポーネント１７０（図１０を参照されたい）は、例えば隠れマルコフモデル（ＨＭＭ）を使用して、記憶されているトレーニングサンプルからテクニカルプロフィール１３０を生成する。このトレーニングの目標は、テクニカルプロフィールとトレーニングサンプルデータ１２，１３（図１０を参照されたい）の整合度を定量化する目的関数を最小化するために、テクニカルプロフィールのパラメータを評価することにある（ステップ２３００）。従って、トレーニングコンポーネントの結果は、少なくとも目的関数の局所的な最大値を表している複数のテクニカルプロフィールから成るセットである。トレーニングコンポーネントは、ＨＭＭに関する公知のトレーニング方法のうちの１つ、例えばバウムウェルチアルゴリズム、ビタビトレーニング又は識別トレーニングを使用することができる。これらのトレーニングアルゴリズムによって、軌跡のコンテクスト依存部分の正確な境界が既知でなく、例えばキャラクタ、即ちコンテクスト依存部分のシーケンスのみが既知である場合であってもトレーニングを実施することができる。例えば、トレーニングサンプルが、４つの字画、即ち４つのコンテクスト依存テクニカルプロフィールから成る「Ａ」のセンサデータを含んでいる場合には、それらの４つのテクニカルプロフィールのパラメータを、測定データにおける字画の境界に関する知識がなくてもトレーニングすることができる。パラメータを評価するために（ステップ２３００）、実際のトレーニングの前に、ＨＭＭパラメータがフラットスタート（ｆｌａｔ ｓｔａｒｔ）プロシージャによって初期化される。線形ＨＭＭが使用される場合には、これは、サンプルデータ又はそのサンプルデータを特徴空間に変換したものを、それぞれ、ＨＭＭに存在する状態と同数の区画に分割することによって行うことができる。状態の放出確率分布は、この状態に属している区画におけるサンプルデータに基づき評価される。例えば混合ガウスモデルが確率分布をモデリングするために使用される場合には、これはｋ平均クラスタリングによって平均及び共分散を評価することによって行うことができる。例えば、ニューラルネットワークが使用される場合には、これは、バックプロパゲーションアルゴリズムを使用してサンプルデータに基づきネットワークをトレーニングすることによって行うことができる。トレーニングに関して挙げたいずれの方法も手跡認識又は音声認識の技術分野における当業者には公知である。

トレーニングコンポーネントは、複数のコンテクストから成るグループに関して１つのテクニカルプロフィールを作成することもできる。つまり、テクニカルプロフィールは、先行のコンテクスト又は後続のコンテクストの所定のセットに対して同一である。例えば、これは、軌跡の１つの部分が複数の先行のコンテクスト及び後続のコンテクストに対して同一である場合には有用であると考えられる。その種の複数の類似するコンテクスト依存テクニカルプロフィールをグループ分けすることによって、記憶する必要があるテクニカルプロフィールの総数を低減し、データストレージコンポーネントによって消費されるメモリを節約することができる。付加的に、トレーニング中に評価する必要があるパラメータの数を低減することができ、従って、システムパフォーマンスが改善される。その種のグループを専門家によって定義することができるか、又は、システムによって自動的に定義することができる。システムによる定義は、先ず、コンテクストの考えられるすべての組み合わせに関してテクニカルプロフィールを作成し、続けて、テクニカルプロフィールに関する類似性測定に従いテクニカルプロフィールが類似しているすべてのコンテクストが包含されることによって行われる。これは、クラスタリングアルゴリズムによって、例えばｋ平均法によって行うことができるか、又は、最大の類似度に関する所定の閾値に基づき行うことができる。

本発明の方法ステップを、入力データに基づく演算及び出力の生成によって本発明の機能を実施するためにコンピュータプログラムを実行する、プログラミング可能な１つ又は複数のプロセッサによって実施することができる。方法ステップを専用論理回路、例えばＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）又はＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）によって実施することもでき、また本発明の装置をその種の専用論理回路として実施することができる。

コンピュータプログラムの実行に適しているプロセッサには、例えば、汎用マイクロプロセッサ及び専用プロセッサのいずれも含まれ、また、任意の種類のディジタルコンピューティングデバイスのいずれかの１つ又は複数のプロセッサも含まれる。一般的に、プロセッサはリードオンリメモリ又はランダムアクセスメモリ若しくは両メモリから命令及びデータを受信する。コンピュータの本質的な構成要素は、命令を実行するための少なくとも１つのプロセッサ並びに命令及びデータを記憶するための１つ又は複数のメモリ装置である。一般的に、コンピュータは、データを記憶するための１つ又は複数の大容量記憶装置、例えば磁気ディスク、光磁気ディスク又は光学ディスクを含んでいるか、若しくは、大容量記憶装置からデータを受信するか、大容量記憶装置にデータを送信するか、又は、受信及び送信のいずれも行うように、大容量記憶装置に機能的に接続されている。その種の記憶装置をオンデマンドで供給することができ、また、インターネットを介してその種の記憶装置にアクセスすることもできる（クラウドコンピューティング）。コンピュータプログラム命令及びデータの実施に適している情報担体には、あらゆる形態の不揮発性メモリが含まれ、例えば、半導体メモリ装置、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリ装置、磁気ディスク、例えば内部ハードディスク又はリムーバブルディスク、光磁気ディスク、並びにＣＤ−ＲＯＭ及びＤＶＤ−ディスクが含まれる。プロセッサ及びメモリを、専用論理回路によって補完することができるか、又は、専用論理回路に組み込むことができる。

ユーザとの対話を提供するために、本発明を、情報をユーザに表示するための表示装置、例えばブラウン管（ＣＲＴ）モニタ又は液晶ディスプレイ（ＬＣＤ）モニタと、ユーザがコンピュータに対して入力を行うことができる入力装置、例えばキーボード、タッチスクリーン又はタッチパッド、ポインティングデバイス、例えばマウス又はトラックボールと、を有しているコンピュータにおいて実施することができる。ユーザとの対話を提供するために、その他の種類の装置も使用することができる。例えば、ユーザに提供されるフィードバックは、いずれの形式の感覚フィードバックであって良く、例えば、視覚的なフィードバック、聴覚的なフィードバック又は触覚的なフィードバックであって良く、また、ユーザからの入力を、音響的な入力、音声による入力又は触覚的な入力を含むいずれかの形式の入力で受信することができる。

本発明を、バックエンドコンポーネント、例えばデータサーバを含むか、又は、ミドルウェアコンポーネント、例えばアプリケーションサーバを含むか、又は、フロントエンドコンポーネント、例えば、ユーザが本発明の実現形態と対話することができるグラフィカルユーザインタフェース又はウェブブラウザを有しているクライアントコンピュータを含むか、又は、その種のバックエンドコンポーネント、ミドルウェアコンポーネント又はフロントエンドコンポーネントの任意の組み合わせを含んでいるコンピューティングシステムにおいて実施することができる。クライアントコンピュータは、モバイル装置、例えばスマートフォン、タブレットＰＣ、又は、その他の任意のハンドヘルドコンピューティングデバイスであっても良い。システムの各コンポーネントを、ディジタル通信のいずれかの形態又は媒体によって、例えば通信ネットワークによって相互に接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）及びワイドエリアネットワーク（ＷＡＮ）、例えばインターネット又はワイヤレスＬＡＮ又は電気通信網が含まれる。

コンピューティングシステムはクライアント及びサーバを含むことができる。一般的に、クライアントとサーバは相互に離れた場所に設けられており、通常は通信ネットワークを介して対話する。クライアントとサーバの関係は、各コンピュータにおいて実行されるコンピュータプログラムによって、また、それらが相互にクライアントサーバ関係を有していることによって生じる。

Claims (15)

1. 手跡を認識するためのデコーディングコンピュータシステム（１００）において、
   モーションセンサユニット（１０）から測定データ（１１）を受信するように構成されているインタフェースコンポーネント（１１０）と、
   各キャラクタに関連付けられているテクニカルプロフィールを記憶するように構成されているデータストレージコンポーネント（１３０）と、
   デコーディングコンポーネント（１２０）と、
   を備えており、
   前記モーションセンサユニット（１０）は、ユーザの身体の可動部分（１）に物理的に結合されており、
   前記測定データ（１１）は、前記モーションセンサユニット（１０）のセンサのセンサデータを含んでおり、
   前記センサデータは、前記モーションセンサユニット（１０）の軌跡（２０）の時間に関する少なくとも１つの二次導関数に対応しており、
   前記テクニカルプロフィールは、少なくとも、複数の事前定義された加速度プロフィールを含んでおり、
   各加速度プロフィールは、前記モーションセンサユニット（１０）の起こり得る軌跡の１つの特定の部分に関連付けられている動きを特徴付ける加速度データを、前記起こり得る軌跡の少なくとも１つの先行の部分又は後続の部分のコンテクストにおいて含んでおり、
   前記デコーディングコンポーネント（１２０）は、
   受信したセンサデータ（１１）を、前記複数の事前定義された加速度プロフィールと比較し、前記軌跡（２０）の複数の部分から成るシーケンスを識別し、
   前記軌跡（２０）の複数の部分から成る前記識別されたシーケンスが、前記受信したセンサデータ（１１）に対応する特定のキャラクタを表している特定の起こり得る軌跡の複数の部分から成る、事前定義されたコンテクスト依存シーケンスに関連付けられている場合には、前記特定のキャラクタを識別し、
   前記識別されたキャラクタの表現を出力装置（２００）に供給する、
   ように構成されている、
   ことを特徴とする、デコーディングコンピュータシステム（１００）。
2. 前記測定データは、更に、前記モーションセンサユニット（１０）の別のセンサのセンサデータを含んでおり、
   前記別のセンサデータは、前記モーションセンサユニット（１０）の向きデータ、回転データ及び／又は気圧データに対応しており、
   前記テクニカルプロフィールは、更に、前記モーションセンサユニット（１０）の前記起こり得る軌跡の前記特定の部分に関連付けられている各事前定義された向きデータ及び／又は回転データを、前記起こり得る軌跡の少なくとも１つの先行の部分又は後続の部分のコンテクストにおいて含んでいる、
   請求項１に記載のコンピュータシステム（１００）。
3. 各テクニカルプロフィールは、特徴空間における前記センサデータの表現を含んでおり、
   前記表現は、前記モーションセンサユニット（１０）の前記起こり得る軌跡の各特定の部分を特徴付けるものであり、
   前記デコーディングコンポーネント（１２０）は、前記受信したセンサデータ（１１）を前記特徴空間に変換して、前記変換されたデータを前記テクニカルプロフィールにおける前記表現と比較するように構成されている、
   請求項１又は２に記載のコンピュータシステム（１００）。
4. 更に、手跡に関する測定データを、前記モーションセンサユニットのその他の測定データから分離させるように構成されている検出コンポーネントを備えている、
   請求項１乃至３のいずれか１項に記載のコンピュータシステム（１００）。
5. 更に、識別可能な各キャラクタに関する、１つ又は複数のコンテクスト依存テクニカルプロフィールシーケンスを記憶するように構成されているディクショナリ（１４０）を備えており、
   各コンテクスト依存テクニカルプロフィールシーケンスは、識別可能なキャラクタに関連付けられている前記モーションセンサユニットの１つの起こり得る軌跡を表している、
   請求項１乃至４のいずれか１項に記載のコンピュータシステム（１００）。
6. １つの特定の識別可能なキャラクタに関する複数のコンテクスト依存テクニカルプロフィールシーケンスは、前記特定の識別可能なキャラクタを書くための前記モーションセンサユニットの複数の起こり得る異なる軌跡を表している、
   請求項５に記載のコンピュータシステム（１００）。
7. 前記ディクショナリ（１４０）は、更に、別のコンテクスト依存テクニカルプロフィールシーケンスを記憶するように構成されており、
   各別のコンテクスト依存テクニカルプロフィールシーケンスは、複数のキャラクタ文字列に関連付けられている、前記モーションセンサユニットの１つの起こり得る軌跡を表しており、且つ、前記複数のキャラクタ文字列の少なくとも１つの先行のキャラクタと後続のキャラクタとの間の、前記起こり得る軌跡の連結部分を表している、１つ又は複数の連結テクニカルプロフィールを含んでいる、
   請求項５又は６に記載のコンピュータシステム（１００）。
8. 前記データストレージコンポーネント（１３０）は、更に、複数のテクニカルプロフィールから成る類似するコンテクスト依存シーケンスに関連付けられている複数のコンテクストから成るグループを表しているグループプロフィールを記憶するように構成されている、
   請求項１乃至７のいずれか１項に記載のコンピュータシステム（１００）。
9. 更に、前記デコーディングコンポーネント（１２０）に、キャラクタの特定のシーケンスに関する確率を供給するように構成されている言語データベース（１５０）を備えている、
   請求項１乃至８のいずれか１項に記載のコンピュータシステム（１００）。
10. 手跡を認識するためのコンピュータ実装方法（１０００）において、
    ユーザの身体の可動部分（１）に物理的に結合されているモーションセンサユニット（１０）から、前記ユーザによって成される動きに対応している複数の部分から成るシーケンスを含んでいる、前記モーションセンサユニット（１０）の軌跡（２０）の時間に関する少なくとも１つの二次導関数を含んでいるセンサ測定データ（１１）を受信するステップ（１１００）と、
    前記センサ測定データ（１１）を、少なくとも複数の事前定義された加速度プロフィール（１３０−１〜１３０−５）を含んでいる複数のテクニカルプロフィールと比較して、前記軌跡（２０）の複数の部分から成る前記シーケンスを識別するステップ（１４００）であって、各加速度プロフィールは、前記モーションセンサユニット（１０）の起こり得る軌跡の１つの特定の部分に関連付けられている動きを特徴付ける加速度データを、前記起こり得る軌跡の少なくとも１つの先行の部分又は後続の部分のコンテクストにおいて含んでいる、ステップ（１４００）と、
    前記軌跡（２０）の複数の部分から成る前記識別されたシーケンスが、受信したセンサデータ（１１）に対応する特定のキャラクタを表している特定の起こり得る軌跡の複数の部分から成る、事前定義されたコンテクスト依存シーケンスに関連付けられている場合には、前記特定のキャラクタを識別するステップ（１５００）と、
    前記識別されたキャラクタの表現を出力装置（２００）に供給するステップ（１６００）と、
    を備えていることを特徴とする、コンピュータ実装方法（１０００）。
11. 前記センサ測定データの受信に基づき、手跡に関する測定データを、前記モーションセンサユニット（１０）のその他の測定データから分離させるステップ（１３００）を更に備えている、
    請求項１０に記載のコンピュータ実装方法（１０００）。
12. 前記測定データは、更に、前記モーションセンサユニット（１０）の別のセンサのセンサデータを含んでおり、
    前記別のセンサデータは、前記モーションセンサユニット（１０）の向きデータ、回転データ及び／又は気圧データに対応しており、
    前記テクニカルプロフィールは、更に、前記モーションセンサユニット（１０）の前記起こり得る軌跡の前記特定の部分に関連付けられている各事前定義された向きデータ、回転データ及び／又は気圧データを、前記起こり得る軌跡の少なくとも１つの先行の部分又は後続の部分のコンテクストにおいて含んでいる、
    請求項１０又は１１に記載のコンピュータ実装方法（１０００）。
13. 各テクニカルプロフィールは、特徴空間における前記センサデータの表現を含んでおり、
    前記表現は、前記モーションセンサユニット（１０）の前記起こり得る軌跡の各特定の部分を特徴付けるものであり、
    更に、
    前記受信したセンサデータ（１１）を前記特徴空間に変換して、前記変換されたデータを前記テクニカルプロフィールにおける前記表現と比較するステップ（１２００）を備えている、
    請求項１０乃至１２のいずれか１項に記載のコンピュータ実装方法（１０００）。
14. センサ測定データを受信する前記ステップ（１１００）に先行して、更に、
    前記モーションセンサユニット（１０）の軌跡の特有の加速度データを表しているトレーニングサンプルデータ（１２，１３）を受信するステップ（２１００）と、
    前記受信したトレーニングサンプルデータを対応するキャラクタに関連付けることができる事前定義されたプロトコルに従って、前記トレーニングサンプルデータ（１２，１３）を分類するステップ（２２００）と、
    トレーニングデータとのベストフィットに従ってテクニカルプロフィールのパラメータを評価するステップ（２３００）と、
    前記テクニカルプロフィールをデータストレージコンポーネント（１３０）に記憶するステップ（２５００）と、
    を備えている、
    請求項１０乃至１３のいずれか１項に記載のコンピュータ実装方法（１０００）。
15. コンピューティングデバイスのシステムのメモリにロードされ、前記コンピューティングデバイスの少なくとも１つのプロセッサによって実行されると、請求項１０乃至１４のいずれか１項に記載のコンピュータ実装方法のステップを実行することを特徴とする、コンピュータプログラム製品。

Images