JP2000502479A - 時系列フレームから取出した集合体化観測を用いる特徴ベクトルに基づくオンライン手書き文字認識方法および装置 - Google Patents

時系列フレームから取出した集合体化観測を用いる特徴ベクトルに基づくオンライン手書き文字認識方法および装置

Info

Publication number
JP2000502479A
JP2000502479A JP10517341A JP51734198A JP2000502479A JP 2000502479 A JP2000502479 A JP 2000502479A JP 10517341 A JP10517341 A JP 10517341A JP 51734198 A JP51734198 A JP 51734198A JP 2000502479 A JP2000502479 A JP 2000502479A
Authority
JP
Japan
Prior art keywords
handwritten character
character
online
recognition method
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP10517341A
Other languages
English (en)
Other versions
JP2000502479A5 (ja
Inventor
ジャネス ヘイスベルタス アーノルダス ドルフィン
ラインホルト ヘブ―ウンバハ
Original Assignee
フィリップス エレクトロニクス ネムローゼ フェンノートシャップ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フィリップス エレクトロニクス ネムローゼ フェンノートシャップ filed Critical フィリップス エレクトロニクス ネムローゼ フェンノートシャップ
Publication of JP2000502479A publication Critical patent/JP2000502479A/ja
Publication of JP2000502479A5 publication Critical patent/JP2000502479A5/ja
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/30Individual registration on entry or exit not involving the use of a pass
    • G07C9/32Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/35Individual registration on entry or exit not involving the use of a pass in combination with an identity check by means of a handwritten signature
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/22Character recognition characterised by the type of writing
    • G06V30/226Character recognition characterised by the type of writing of cursive writing
    • G06V30/2268Character recognition characterised by the type of writing of cursive writing using stroke segmentation
    • G06V30/2276Character recognition characterised by the type of writing of cursive writing using stroke segmentation with probabilistic networks, e.g. hidden Markov models
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/32Digital ink
    • G06V30/333Preprocessing; Feature extraction
    • G06V30/347Sampling; Contour coding; Stroke extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Character Discrimination (AREA)

Abstract

(57)【要約】 オンライン手書き文字認識方法は隠れマルコフモデルに基づくとともに次のステップ含む。即ち、前記手書き文字の少なくとも瞬時書込み位置をリアルタイムで感知し;前記手書き文字からサンプルの時間−規格合致文字列(ストリング)を取出すとともにこの文字列から各々が手書き文字特徴ベクトルへの導出により関連する一連の手書き文字間隔を取出し;取出された特徴ベクトルの時間−規格合致列(シーケンス)を当該手書き文字に関連するデータベースからの1つ以上の例シーケンスモデリングと整合し;このモデリングから隠れマルコフ処理により充分に整合された認識文字列を選択し;あるいはこの手書き文字を認識失敗として除去するステップを含む。特に、前記特徴ベクトルは単一セグメントから取出したローカル観測に基づくとともに時間−逐次セグメントから取出した簡潔な観測に基づく。

Description

【発明の詳細な説明】 時系列フレームから取出した集合体化観測を用いる特徴ベクトルに基づくオンラ イン手書き文字認識方法および装置発明の技術分野 本発明は隠れマルコフモデルに基づくオンライン手書き文字認識方法に関する ものである。発明の背景 現在、人の音声は隠れマルコフ処理およびニューラルネットワークを用いるデ ータ処理方法によって認識されている。最近、同様のアルゴリズムが人の手書き 文字をその書込み中にオンラインで認識するために用いられている。標準テキス トの場合には、認識は種々の文字モデルを相関し、特定のモデルシーケンスを書 込みに割当てることを意味しする。署名の場合には、認識は種々の異なる署名を 相関するか、またはむしろ相関によりただ1つの署名を検証することを意味する 。モデリングは最終的なテキストの抜粋のあるレベルで記載されている。出力は ASCIIシリーズ、手書き文字の様式化表現、会話テストのような再現性また は検証の場合におけるイエス/ノー出力のように認識に対してさらに規制するこ とができる。 本発明者等は単一特徴ベクトルのみを有する関連する各手書き文字間隔が不満 足な認識結果を有することを確かめた。複数の手書き文字間隔のシーケンスに存 在する全ての情報から各特徴ベクトルを取出すことができるが、これは結果の関 連する改良を行うことなく、扱いにくい計算を必要とする。結果的に、従来の状 態の効率を改善するに充分な余地がある。発明の概要 本発明の目的は比較的に低い処理コストで比較的に高い認識スコアを得るよう にした計算モデルを提供せんとするものである。 本発明は隠れマルコフモデルに基づくオンライン手書き文字認識を行うに当た り、次のステップ:前記手書き文字の少なくとも瞬時書込み位置をリアルタイム で感知し,前記手書き文字からサンプルの時間−規格合致文字列(ストリング) を取出すとともにこの文字列から各々が手書き文字特徴ベクトルへの導出により 関連する一連の手書き文字間隔を取出し;取出された特徴ベクトルの時間−規格 合致列(シーケンス)を当該手書き文字に関連するデータベースからの1つ以上 の例シーケンスモデリングと整合し;このモデリングから隠れマルコフ処理によ り充分に整合された認識文字列を選択し;この選択結果の本質的要素を出力し; あるいはこの手書き文字を認識失敗として除去する;ステップを具えるオンライ ン手書き文字認識方法において、前記特徴ベクトルは単一手書き文字間隔から取 出したローカル観測に基づく1つ以上のベクトル成分を含むとともに関連する遅 延に亘り規定された時間−空間手書き文字間隔から取出した集合体観測に基づく 1つ以上のベクトル成分を含むことを特徴とする。 集合体化により、ベクトル成分の数によるとファクタの大きさは手書き文字間 隔のシーケンスから得られた合成情報から追従する大きさよりも充分低く保持す ることができる。それにもかかわらず、認識品質は優れている。この結果は認識 モデルの次の特徴から導出し得ることを確かめた。 a.集合体化観測は組合せて可調整期間即ち、遅延を有する手書き文字間隔の 一時的または空間的シーケンスに関連する。この遅延は当該単一筆者の手書き文 字の特異性に調整された大きなまたは小さな値を有することができる。他の変数 は、当該ベクトル成分が関連する情報の特定の型、即ち、手書き文字輪郭は書込 みの種々の先鋭度間の角度よりも大きな遅延を用いる。 b.集合体化の結果は特徴ベクトルのベクトル成分の数が小さく、これにより この大きさで増大する多数の計算を各々がとる比較的多くの処理ステップを完全 に実行することができる。 本発明より前に達成されたステップでそれとなく示唆されるものの、単独また は組合せによる従来文献はなかった。本発明によれば、手書き文字間隔はこの場 合フレームと称される均一数のサンプルとして限定することができる。或は又、 手書き文字間隔はこの場合セグメントと称される手書き文字の特徴位置または手 書き瞬時によって限定することができる。集合体化の特定の利点は順次の連続手 書き文字間隔に関連する点間の種々の異なる角度を計算することにある。この方 法は標準点文字テキストまたは署名の検証に用いることができる。集合体化特徴 ベクトル成分は順次の手書き文字間隔に関連する主点から取出した角度を具える のが有利である。これは、計算が比較的簡単明瞭な特定の識別態様であることを 確かめた。集合体化すべき特徴ベクトル成分は順次の手書き文字間隔に関連する 主点間に空間経路長を含むのが有利である。これは特定の識別態様であることを 確かめた。当該経路はX−および/またはY−方向に、あるいは手書き文字自体 の経路に沿って測定することができる。 署名認識または検証のためには、少なくとも1つの集合体化特徴ベクトル成分 を瞬時書込み圧力の感知に起因させるのが好適である。書込み器具の圧力または 傾斜の感知は表面の直下に配列された電磁ループに基づき電磁作動書込みタブレ ットにより容易に行うことができる。 また、本発明は手書き文字認識方法を実現するように配列且つプログラムされ たデータ処理装置にも関するものである。本発明のさに他の利点は従属請求項か ら明らかである。図面の簡単な説明 図1は2チャネル認識システムの1例を示す概略説明図、 図2はテキストサンプリングの一例を示す説明図、 図3Aは1つのテキストの他の例を示す説明図、 図3Bは同じくそのセグメントへの分割を示す説明図、 図4Aはフレーム経路の例を示す説明図、 図4Bはセグメント経路の例を示す説明図、 図5はセグメントシーケンスの他の例を示す説明図、 図6は特徴重心の他の例を示す説明図、 図7は特徴相対遅延角度の他の例を示す説明図、 図8は特徴輪郭情報の他の例を示す説明図、 図9は特徴相対輪郭角度の他の例を示す説明図、 図10はテキストの圧力信号の他の例を示す説明図、 図11はいわゆる“ハット”特徴の他の例を示す説明図である。 発明を実施するための最良の形態 図1は双−チャネル認識システム、即ち、左側チャネルで音声、右側チャネル で手書き文字および/または署名認識を行う認識システムを示す。入力部23は 電話型音声入力サブシステム20およびグラフィック入力タブレット22を具え る。集められた情報は無線21により中央データ処理システム(図示せず)に転 送する。ブロック24は瞬時会話信号を示し、ブロック26は手書き文字信号を 示す。会話信号については、システムは音響プロセッサ28、探索および分類3 6、言語モデル30、観測/特徴ベクトルを占める音響モデル34およびワード シーケンスモジュール34を具え、最終的に結果40を出力する。手書き文字信 号については、手書き文字予備プロセッサ32および手書き文字モデル記述38 を具える。 図2は各ブロックが特定のサンプルを表わすテキストサンプリングの例を示す 。 図示のように、ブロック間−分離は10倍以上変化する。 図3Aは他の処理の例示に用いられる他のテキスト資料を示す。この際、ペン はXY座標システムで動かせるようにする。図3Bは図3Aのように例を5つの 連続セグメントs1−s5に分割した場合を示す:1つのセグメントはY−速度が 零となった際に終了する。今、セグメントs4を現在のセグメントとする。この 単一セグメントからの特徴抽出を行うことによって特徴ベクトルの成分として使 用し得る観測s4を発生する。種々のかかる特徴は従来技術で用いられている。 この観測s4は当該セグメントに専ら属するローカル情報のみを含む。本発明に よれば,観測o4に基づき、且つ、観測o4、o3,o2間の関係を記述することに よって、集合体特徴を集合体観測o′4のように構成する。解釈の他の方法では 、3つの遅延タップを有するシステムとしてこれを考慮する必要がある。そのう ちに、セグメントの他のサブセット観測o4、o3,o2等のように集合体となる 。負の遅延値が実行可能である。 一例では図4Bはフレーム経路を示し、これによって特定の手書き文字文字の 順次の連続サンプルを固定の大きさのフレームに群別する。ここに、各フレーム は4つのサンプルを有し、さらに、順次の連続フレームは50%だけ重複する。 即ち、4つの順次のフレームが示され、これらは単一文字記号の頂部、頂部左側 および左側をほぼカバーするようにしている。この重複は任意である。これらフ レームは手書き文字の瞬時曲率によって表わされる観測のような種々の特徴ベク トル成分の導出に用いられる。 他の例では、図4Bはセグメント経路を示す。ここに、順次の奇数セグメント 間の限定は垂直(Y)−速度が零となる瞬時に有効となる。偶数セグメントは直 接先行セグメントおよび直接後続セグメントの双方の半分が重複する。以下、特 に奇数フレームを用いてこれに関連する特徴ベクトル成分を集合体化する。特徴 ベクトルの特徴を大きさに関係なく選択する。vy=0の分割点は文字記号の大 きさにか関係なく、文字記号当たりのセグメントの均一数を保証する。 従って 、“セグメント”表示は自動的に大きさに無関係となる。同様に、偶数セグメン ト間の集合体化は大きさに無関係な集合体化特徴ベクトルを発生する。 まず第1に、図1の予備処理によって各セグメントまたはフレームから種々の 特徴、即ち、O=(o1,o2,o3)に従って当該セグメントまたはフレームの 特徴ベクトル成分に集合体化し得る種々の特徴を一括して取出す。いわゆる、重 ね継ぎ特徴ベクトルは、特徴自体のレベルでの集合体化を行うことなく、順次の 連続フレームまたはセグメントから取出した種々の特徴を特定の特徴ベクトルに 組合せることによって従来の状態に従って取出すことができる。 この場合には特徴ベクトルの大きさを管理し得ないレベルまでしばしば高めるよ うになる。本発明によれば、これらベクトルの大きさは、順次の連続フレームま たはセグメントの個別の特徴を以下に記号的に示される単一の集合体化された特 徴に集合体化することによって充分低くおさえることができる。 o12 f1(o1 ・・・o1-d) f1(o2 ・・・o2-d) o'1= f2(o1 ・・・o1-d) o'2= f2(o2 ・・・o2-d) ・・・ ・・・ fm(o1 ・・・o1-d) fm(o2 ・・・o2-d) ここに多数のセグメントに付された記号dは順次の連続フレームまたはセグメン ト間の遅延の最大量に相当し、mは実際に使用される機能の数を示す。“デルタ ”特徴の場合と同様に特徴セグメントに関連する観測は実際の特徴ベクトルに同 様に集合体化することができる。 図5はセグメントシーケンスの他の例を示す。まず第1に、各セグメントに関 連するサンプルから、各サンプルが均一な重さを計数する重心を計算する。ず6 においてこれら重心は各セグメントに属するクロス(×印)として示される。或 は又、他の計算を、y座標値のみ、x座標の値のみ、文字記号ストロークとかか る座標との交点に対して行うことができる。一連の直接先行重心を実際の重心に 連結することにより、図7に相対遅延角度の特徴を示す。図示のように、4つの 角度が形成され、これにより次式に従って集合体化特徴ベクトルを発生させるこ とができる。 o'4=(o4,sinθ1,sinθ2,sinθ3) この式により元のローカル情報と3×2個の他の特徴の関連部分とを組合せるこ とができる。集合体化ベクトルはその大きさが寄与特徴の数に比べて小さい。 比較し得るように、種々のフレームまたはセグメントI1・・・I4の大きさ計 算は次式に従う順次の連続セグメントに基づく集合体化ベクトルを構成するため に用いることができる。 o4″=(o4,(14,/(I3+I4)),(I4/(I2+I4)),(I1/(I1+I4))) 再び、集合体化特徴ベクトルの大きさを減少する。 図8は特徴集合体化輪郭情報の導出を示す。まず第1に、図示のように、各セ グメントs1・・・s4の頂部および底部サンプルを夫々×印および〇印で示すよ うに決定する。図示のセグメントのサブセットに対しては個別の回帰ラインを夫 々その頂部および底部に対して計算するとともにこれらラインに関連する角度を 用いて次式に従ってこれら4つのセグメントまたはフレームに対する集合体化と ともにベクトルを発生させるようにする。 o4'=(o4,sin θ1,sinθ2) ここに後者の符号θ1、θ2は輪郭情報(図9)を示す。 図10は特に、署名認識または検証に用いられるテキストの圧力信号に基づく 集合体化特徴ベクトルの導出を示す。署名の使用自体は古く、主識別対標準テキ ストは個別の文字記号のマッピングが不必要となる点にある。瞬時圧力は図8に 示す種々のセグメントまたはフレームの始端および終端と相関する。図8におい て、圧力は時間の関数として導入される。実験的には、圧力は、書く表面におい て最初垂直方向に移行するセグメントの中間でしはしば最高となる個とが検証さ れている。即ち、関連する点は×印で示され、且つ個別の圧力値p1 ・・・p4 を有する。集合体化特徴ベクトルは例えば次式で表わすことができる。 o4'=(o4,p4/(p3+P4),p4/(p2+P4),p4/(p1+P4)) 集合体化特徴値の種々の他の導出は容易となる。 図11はいわゆる“ハット−特徴”を例示する。この特徴は手書き文字のある 部分がその標準の順序で書込まれないことを意味する。この点は文字iおよびj のアクセントまたは点、文字tの水平ストローク等で最もしばしば生じる。図1 1は5つの標準セグメントs1−s5と文字i上の点に相当する単一ハットセグメ ントs6とに分割された文字列“ai”の手書き文字の例である。“ハット”の 重畳位置は後者のセグメントの例外的なケースにおいて、特定の早期のセグメン トの垂直方向対非重畳における重なり合いとして与えられる。他の発生は、小さ なループが生じる場合には連続書込み中に発生するセグメントは互いに重なり合 うことである。発生または非発生は結合された前のセグメント全部に対して単一 のビットによって特定することができる。即ち、集合体化の例は量((2/(maximu m delay))として形成する。他の実現は、3つの最も最近のセグメントのような 適切であると見なされる各前のセグメントに対して個別のビットとしてハット特 徴を表わすことであり:これはビットストリングを導出する。従って、集合体化 はこれら種々のビットの関数として計算することにより達成される。 他の実現は、距離測定又は多数のサンプル点測定としてセグメント(s6,s5 )間の重なり合いのような多値またはアナログ量として重なり合いを与えること である。従って、ハットセグメントに対してはこれはアナログ値のストリングに 到達するようになる。これがため、このストリングはハットセグメント自体の特 定の特性で集合体化することができる。更に他の発展は関連する関数f((overlap (s6,s5),overlap(s6,s4))の種々の重なり合い距離を組合せることである。従っ て、この関数はハットセグメント自体の特定の特性で集合体化されるものである 。 1.性能の他の記述 オンライン手書き文字認識システムに基づく制約されない書き手自由の隠れマ ルコフモデル(HMM)を使用する。主要な努力は特徴抽出、即ち、タブレット に記録された乱筆シーケンスの一部分の好適な表示を見いだすことである。特徴 ベクトルは不適切な変化に感応しない続く分類に好適なすべての情報を含むと同 時に低いベクトル値を有する。従って次の結果が得られた。 かかる方法の汎用性は検証される。即ち、最新の認識結果が生じた。本質的に は、認識される個別の文字記号および連続入力並びに言語モデルを有するまたは 有さない200ワード乃至20、000ワードの語彙に対して用いることができ る。得られ認識精度、即ち、20、000ワードの連続書き続け認識タスクに対 して90%までの補正は他の刊行結果と比較する。 書込みサイズ不変システムを得るためには、2つの表示、即ち、フレームおよ びセグメントを比較し、隣接サンプルが特徴ベクトルに群別されるようにこれら を相違させる。フレーム表示では、一定数のサンプルが1つの特徴ベクトルに寄 与し良好なピーク性能が得られる。性能に対しては、サンプル間の境界を同一の 特徴ベクトルで表わし、これらを零である垂直手書き文字速度によって規定する とともに書込み大きさに対して一層活発なものとする。誤りレートは8倍までの 倍率変化によって影響を受けることはなかった。 本発明は特に遅延特徴の概念に関するものである。この遅延特徴によれば現在 の観測ベクトルおよび前の観測ベクトル間の構造的関係を表現することによって 手書き文字−特定知識の表現への取り込みを行う可撓性フレームワークを提供す る。従って、重心および次の特徴の大きさ関係間の角度を計算することができる とともに“ハット特徴”のような一層複雑な関係をも計算することができる。遅 延特徴の組込みによって誤りレートをつ50%も低減することができる。また、 デルタ特徴でも実験を行った。その理由はこれらが音声認識から既知であるから であるが、著しく高いベクトル寸法で同様の改良を得ることができた。 直線性識別解析(LDA)によって識別規準に対して最大限に簡潔な表示を得 ることができる。ベクトル寸法は性能を劣化することなく2分の1に減少させる ことができる。2.ベースラインシステム 手書き文字を得るためのプラットホ ームは200ppsまでのペン及びフィンガー入力サンプリング(x,y,p)に対する LCDプラス直角センサーより成るせにょうタブレットである。このタブレット をペンウインドウ型のパーソナルコンピ ュータに接続する。データをフィルタ処理するとともに表示に依存して空間的に 再サンプリングする。各文字記号は状態間のループ、前方およびスキップ遷移を 有する左−右隠れマルコフモデルによってモデル化する。観測確率は密度比対角 共分散マトリックスを有するガウス密度の連続混合とする。HMMパラメータの 学習は最大尤度基準を用い且つビタビ近似を適用することにより行うことかでき る。認識はツリー組織化辞を用いる一段ビーム探索アルゴリズムに基づくもので ある。全ての知識ソース(ペン信号、辞書およびある経験に対する言語モデル) は一度適用し、従って、あらゆる早期決定を防止する。 実験として、学習データは、ほぼ60人の筆者および現場で集められたデータ およびユニペン学習データからの数個の国籍人からの10000ワード以上で構 成される。本質的には、200ワードおよび20000ワード辞書に対する文字 記号、ワードまたは全文章に対して同一の識別者を用いた。HMMフレームワー クは最適のセグメンテーションを同時に決めるとともに復号化を実行する。20 0ワード語彙に対して90%−99%のワード認識率を得、且つ言語モデルなし では20Kワード語彙に対して73%−90%の正しいワードを得た。これらの 結果を無制約手書き文字認識に対する他の刊行物の結果と良好に比較した。文章 認識の初期実験も行った。 3.書込みサイズの不変性 書込みおよびサンプル速度と同様に、書込みサイズも明確に正規化する。この 手段は正規化前に全ての入力が有効となる分離ワードを認識するのに好適である が、予備処理および認識を同時に行うオンライン認識には左程好適ではない。或 は又、大きさに依存しない表現について調査する。 サンプルを特徴ベクトルを計算するブロックに群別するには2つの代替例を学 習する。セグメントに対しては垂直手書き文字速度が零;即ち、vy=0となる 基準を用いてブロック境界を決める。これに対して、1つのフレームは固定数の 連続再サンプリング点で構成する。ペン筆跡を再サンプリングすることは等間隔 点を得るため、従って、書込み速度の変化を補償するために必要である。双方の 場合に、サンプルブロックを用いて隣接特徴ベクトルが50%だけ重なり合うよ うな計算を行った。平均ではモデル当たり7(5)状態に相当する文字記号当た りほぼ10フレーム(7セグメント)であった。 特徴ベクトルはフレームに対 しおよびセグメントに対し同一であり、アスペクト比、経路長、5つの角度、ペ ン−ダウン特徴および4つのいわゆる遅延特徴のような13個の低−レベル特徴 を含んでいた。 書込み大きさの依存性をテストするために、10人の筆者が4種類の異なる大き さ(スケール:0.5,1,2,4;ここにスケール1は学習データの平均書き 込み大きさに相当する)の1組が50ワードの書き込みを行った。筆者はさもな ければ無制約である低いケースを書込むように命令された。その結果1組が50 0ワードの4倍のものがフレームまたはセグメントの何れかで表現され、且つ2 00ワードおよび20Kワードの語彙を用いて認識する。従って、表1の結果は 、フレームが良好なピーク性能(99%の正しいワード)を有するもセグメント は書込み大きさに本質的に無関係にあると云うことを明瞭に示している。 表1:4つの異なる大きさのフレームおよびセグメントの比較 この表には夫々200ワード大きさ20,000ワードに対する認識レートが含 まれている。4.遅延およびデルタ特徴 数個の点に亘る手書き文字の動向を述べる特徴によって認識精度を改善するこ とができる。その1つの方法は隣接フレームを拡大特徴ベクトルに接続すること である。印加に代替方法を検討する。 今、ot、を現在のフレームtの特徴とする。音声認識から採用された信号の ダイナミックスを記述する方法はデルタ特徴、即ち、次に示す観測ベクトル対時 間 の導関数への近似を用いることである。 △ot=1/2(ot+1-ot-1) 新規な遅延特徴はX軸およひ重心を接続するライン間の相対角度および更に順次 の特徴ベクトル間の大きさ関係を計算することによって信号の空間ダイナミック スを示す。遅延n=2に対して特徴sin(angle(cog(ot)cog,cog(ot-2))),cos(a ngle(cog(ot),cog(ot-2)))によって特徴ベクトルot-2およびot間の書込み方 向の変化を記述する。さらに、この遅延特徴の概念によっていわゆる“ハット特 徴”を規定する。 計量性テストの500個の正規の大きさのワードに基づき、ベースライン表現 (13−成分特徴ベクトル)対デルタ特徴および遅延特徴を夫々含む特徴ベクト ルの性能を比較する。表2は、増大した特徴ベクトルはベースライン表現よりも 一層効率がよく、デルタ特徴および遅延特徴も同様に良好であることを示す。し かし、遅延特徴の場合には、性能を改善するためにすうこの追加のベクトル成分 を必要とする。 表2:200ワード辞書および20000ワード辞書に対するセグメント型 特徴ベクトルの認識率(%) #特徴 13 13+6遅延 13+13デルタ 200W 91.4 96.8 96.7 20000W 71.7 83.3 81.0 5.直線性判別式分析 直線性判別式分析(LDA)を用いて特徴ベクトルの(分類に対する)情報内 容をち直線性変換により圧縮する。特徴ベクトルがデルタまたは遅延特徴により 増大した後、合成ベクトルはLDA変換により変換した。最大固有値に相当する ある数の特徴が保持され、その他の特徴は廃棄される。斯様にすることにより、 ベクトルの大きさは性能を損なうことなく、1/2に減少させることができた。 6.参考文献 E.J. Bellegarda, J.R. Bellegarda, D.Nahamoo K.S. Nathan 著“A Fast Sta tistical Mixture Algorithm for On-line Handwriting Recognition″IEEE Tra nbactions on Pattern Analysis and Machine Intelligen,第16巻第12号, 第 1227−1233頁,1994年12月:特徴ベクトルを大きくし過ぎる所謂接続に基づく文 字認識が記載されている。 音響、音声および信号処理国際会議において発表されたK.S. Nathan, H.S.M.B eigi, J. Subrahmonia, G.J. clary,H.Maruyamaによる“Real Time On-line Unc onstrained Handwriting Recognition Usin Statistical Methods”第2619-2622 頁,1995年:HMMに基づく完全手書き文字認識が記載されている。

Claims (1)

  1. 【特許請求の範囲】 1.隠れマルコフモデルに基づくオンライン手書き文字認識を行うに当たり、次 のステップ:前記手書き文字の少なくとも瞬時書込み位置をリアルタイムで感知 し;前記手書き文字からサンプルの時間−規格合致文字列(ストリング)を取出 すとともにこの文字列から各々が手書き文字特徴ベクトルへの導出により関連す る一連の手書き文字間隔を取出し;取出された特徴ベクトルの時間−規格合致列 (シーケンス)を当該手書き文字に関連するデータベースからの1つ以上の例シ ーケンスモデリングと整合し;このモデリングから隠れマルコフ処理により充分 に整合された認識文字列を選択し;この選択結果の本質的要素を出力し;あるい はこの手書き文字を認識失敗として除去する;ステップを具えるオンライン手書 き文字認識方法において、前記特徴ベクトルは単一手書き文字間隔から取出した ローカル観測に基づく1つ以上のベクトル成分を含むとともに関連する遅延に亘 り規定された時間−空間手書き文字間隔から取出した集合体観測に基づく1つ以 上のベクトル成分を含むことを特徴とするオンライン手書き文字認識方法。 2.前記手書き文字間隔を手書き文字フレームとすることを特徴とする請求項1 に記載のオンライン手書き文字認識方法。 3.前記手書き文字間隔を手書き文字セグメントとすることを特徴とする請求項 1に記載のオンライン手書き文字認識方法。 4.前記集合体特徴ベクトル成分は連続手書き文字間隔に関連する主点から取出 した種々の異なる角度を具えることを特徴とする請求項1に記載のオンライン手 書き文字認識方法。 5.集合すべき特徴ベクトル成分は連続手書き文字間隔に関連する主点間の空間 経路長を含むことを特徴とする請求項1に記載のオンライン手書き文字認識方法 。 6.前記集合体特徴ベクトル成分は空間的に連続する文字記号(キャラクタ)セ グメントが一時的に非シーケンシャルに発生する信号方式を含むことを特徴とす る請求項1に記載のオンライン手書き文字認識方法。 7.前記集合体特徴ベクトル成分は1ラインまたは書込みの一般的な方位に対し て直角をなす方向に順次の文字記号セグメント間の輪郭変化を含むことを特徴と する請求項1に記載のオンライン手書き文字認識方法。 8.署名認識に対して適用することを特徴とする請求項1に記載のオンライン手 書き文字認識方法。 9.少なくとも1つの集合体特徴ベクトル成分は瞬時書込み圧力を感知すること に基づくことを特徴とする請求項8に記載のオンライン手書き文字認識方法。 10.請求項1に記載のオンライン手書き文字認識方法を実現するように配列され 、且つプログラムされたことを特徴とするデータ処理装置。
JP10517341A 1996-10-04 1997-10-02 時系列フレームから取出した集合体化観測を用いる特徴ベクトルに基づくオンライン手書き文字認識方法および装置 Ceased JP2000502479A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP96202779.3 1996-10-04
EP96202779 1996-10-04
PCT/IB1997/001198 WO1998015914A1 (en) 1996-10-04 1997-10-02 Method and apparatus for on-line handwriting recognition based on feature vectors that use aggregated observations derived from time-sequential frames

Publications (2)

Publication Number Publication Date
JP2000502479A true JP2000502479A (ja) 2000-02-29
JP2000502479A5 JP2000502479A5 (ja) 2005-06-16

Family

ID=8224463

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10517341A Ceased JP2000502479A (ja) 1996-10-04 1997-10-02 時系列フレームから取出した集合体化観測を用いる特徴ベクトルに基づくオンライン手書き文字認識方法および装置

Country Status (5)

Country Link
US (1) US6084985A (ja)
EP (1) EP0865638B1 (ja)
JP (1) JP2000502479A (ja)
DE (1) DE69724405T2 (ja)
WO (1) WO1998015914A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545807A (ja) * 2006-07-31 2009-12-24 マイクロソフト コーポレーション 2段階テキスト認識
US9594952B2 (en) 2014-12-26 2017-03-14 Fujitsu Limited Computer-readable recording medium, method, and apparatus for character recognition

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6393395B1 (en) 1999-01-07 2002-05-21 Microsoft Corporation Handwriting and speech recognizer using neural network with separate start and continuation output scores
WO2000042563A2 (en) * 1999-01-13 2000-07-20 Computer Associates Think, Inc. Signature recognition system and method
JP3974359B2 (ja) * 2000-10-31 2007-09-12 株式会社東芝 オンライン文字認識装置及び方法並びにコンピュータ読み取り可能な記憶媒体及びオンライン文字認識プログラム
KR100417774B1 (ko) * 2001-02-23 2004-02-14 박주현 컴퓨터내로 문자를 입력하는 장치 및 문자 인식방법
US7298903B2 (en) * 2001-06-28 2007-11-20 Microsoft Corporation Method and system for separating text and drawings in digital ink
AUPR824301A0 (en) * 2001-10-15 2001-11-08 Silverbrook Research Pty. Ltd. Methods and systems (npw001)
EP1345163B2 (en) * 2002-03-15 2010-12-29 Computer Sciences Corporation Methods for analysis of writing in documents
EP1376484A1 (en) * 2002-06-25 2004-01-02 Mars Incorporated Method and apparatus for processing signals in testing currency items
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US8542219B2 (en) * 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US20050276454A1 (en) * 2004-06-14 2005-12-15 Rodney Beatson System and methods for transforming biometric image data to a consistent angle of inclination
US8050500B1 (en) 2006-07-06 2011-11-01 Senapps, LLC Recognition method and system
JP4958497B2 (ja) * 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
US7974472B2 (en) 2007-06-29 2011-07-05 Microsoft Corporation Feature design for HMM based Eastern Asian character recognition
US7983478B2 (en) 2007-08-10 2011-07-19 Microsoft Corporation Hidden markov model based handwriting/calligraphy generation
US9411800B2 (en) * 2008-06-27 2016-08-09 Microsoft Technology Licensing, Llc Adaptive generation of out-of-dictionary personalized long words
US20100239168A1 (en) * 2009-03-20 2010-09-23 Microsoft Corporation Semi-tied covariance modelling for handwriting recognition
US20110280484A1 (en) * 2010-05-12 2011-11-17 Microsoft Corporation Feature design for hmm-based handwriting recognition
US9305245B2 (en) * 2013-05-07 2016-04-05 Xerox Corporation Methods and systems for evaluating handwritten documents
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5502774A (en) * 1992-06-09 1996-03-26 International Business Machines Corporation Automatic recognition of a consistent message using multiple complimentary sources of information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009545807A (ja) * 2006-07-31 2009-12-24 マイクロソフト コーポレーション 2段階テキスト認識
US9594952B2 (en) 2014-12-26 2017-03-14 Fujitsu Limited Computer-readable recording medium, method, and apparatus for character recognition

Also Published As

Publication number Publication date
US6084985A (en) 2000-07-04
EP0865638A1 (en) 1998-09-23
WO1998015914A1 (en) 1998-04-16
EP0865638B1 (en) 2003-08-27
DE69724405D1 (de) 2003-10-02
DE69724405T2 (de) 2004-05-06

Similar Documents

Publication Publication Date Title
US6084985A (en) Method and apparatus for on-line handwriting recognition based on feature vectors that use aggregated observations derived from time-sequential frames
US7227993B2 (en) Learning-based system and process for synthesizing cursive handwriting
US6538187B2 (en) Method and system for writing common music notation (CMN) using a digital pen
US6285785B1 (en) Message recognition employing integrated speech and handwriting information
US4573196A (en) Confusion grouping of strokes in pattern recognition method and system
JP4274941B2 (ja) 手書き文字を復号化するための方法および装置
Kosmala et al. On-line handwritten formula recognition using hidden Markov models and context dependent graph grammars
CN107492382A (zh) 基于神经网络的声纹信息提取方法及装置
CN101101752A (zh) 基于视觉特征的单音节语言唇读识别系统
JPH05189617A (ja) 手書き文字認識に於けるアークのセグメント化の方法と装置
JPH04311286A (ja) オンライン手書き文字認識における類似文字のプロトタイプを改良するための方法および装置
CN100358006C (zh) 地理信息的语音识别方法及其在导航系统中的应用
JP3335538B2 (ja) 手書き文字列の照合方法および装置
Abdelaziz et al. A large vocabulary system for Arabic online handwriting recognition
Fang et al. A novel approach to automatically extracting basic units from chinese sign language
JP3125904B2 (ja) 手書き文字認識方法及び手書き文字認識システム
Manke et al. A connectionist recognizer for on-line cursive handwriting recognition
CN107909003B (zh) 一种针对大词汇量的手势识别方法
Liwicki et al. Feature selection for HMM and BLSTM based handwriting recognition of whiteboard notes
CN101315666A (zh) 一种基于语音的多通道手写中文纠错方法
JP4652232B2 (ja) 話者の圧縮表現用の音声信号の分析のための方法およびシステム
Hosny et al. Using advanced Hidden Markov Models for online Arabic handwriting recognition
CN118016073A (zh) 一种基于音视频特征融合的课堂粗粒度声音事件检测方法
Kong et al. Sign language phoneme transcription with rule-based hand trajectory segmentation
Ge et al. Online Chinese character recognition system with handwritten Pinyin input

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040930

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A313 Final decision of rejection without a dissenting response from the applicant

Free format text: JAPANESE INTERMEDIATE CODE: A313

Effective date: 20070718

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070828