JPH06348904A - 手書き字号の認識システム及び認識方法 - Google Patents
手書き字号の認識システム及び認識方法Info
- Publication number
- JPH06348904A JPH06348904A JP6059239A JP5923994A JPH06348904A JP H06348904 A JPH06348904 A JP H06348904A JP 6059239 A JP6059239 A JP 6059239A JP 5923994 A JP5923994 A JP 5923994A JP H06348904 A JPH06348904 A JP H06348904A
- Authority
- JP
- Japan
- Prior art keywords
- stroke
- handwriting
- stroke information
- feature
- list
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/333—Preprocessing; Feature extraction
- G06V30/347—Sampling; Contour coding; Stroke extraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/32—Digital ink
- G06V30/36—Matching; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Character Discrimination (AREA)
Abstract
(57)【要約】
【目的】 手書き文字の認識処理のエラー率を改善する
こと。 【構成】 本発明の方法は(a)ユーザからの手書き文
字入力に応答して、時間で順序付けられた動的なストロ
ーク情報を与えるステツプと、(b)時間で順序付けら
れた動的なストローク情報と、(c)時間で順序付けら
れたストローク情報を静的なストローク情報に変換する
ステツプと、(d)静的なストローク情報が表わす少な
くとも1つの可能性ある文字を含む第2のリストを決定
するステツプと、(e)時間で順序付けられた動的なス
トローク情報が表わそうと意図している最も可能性の高
い文字を表わす少なくとも1つのエレメントを含む第3
の均質化リストを与えるために、第1及び第2のリスト
を併合するステツプとを含んでいる。
こと。 【構成】 本発明の方法は(a)ユーザからの手書き文
字入力に応答して、時間で順序付けられた動的なストロ
ーク情報を与えるステツプと、(b)時間で順序付けら
れた動的なストローク情報と、(c)時間で順序付けら
れたストローク情報を静的なストローク情報に変換する
ステツプと、(d)静的なストローク情報が表わす少な
くとも1つの可能性ある文字を含む第2のリストを決定
するステツプと、(e)時間で順序付けられた動的なス
トローク情報が表わそうと意図している最も可能性の高
い文字を表わす少なくとも1つのエレメントを含む第3
の均質化リストを与えるために、第1及び第2のリスト
を併合するステツプとを含んでいる。
Description
【0001】
【産業上の利用分野】本発明は、手書き字号(characte
r)(字号とは、可視的なすべての文字及び記号を意味す
る)の認識システム及びその方法に関する。
r)(字号とは、可視的なすべての文字及び記号を意味す
る)の認識システム及びその方法に関する。
【0002】
【従来の技術】コンピユータ・ベースの手書き字号認識
に関する2つの基本的なアプローチは、オンライン手書
き字号認識(handwriting recognition-HWR)とオフ
ラインHWRとして知られている。また、オフラインH
WRのアプローチは、光学字号認識(OCR)とも呼ば
れている。一般論として言えば、オンラインHWR技術
は動的な手書き字号情報を用いているのに反して、オフ
ラインHWR技術は静的な手書き字号情報を用いてい
る。これら2つのアプローチは、歴史的に言えば、手書
き字号の異なつた環境において用いるために夫々別個に
開発されてきた。
に関する2つの基本的なアプローチは、オンライン手書
き字号認識(handwriting recognition-HWR)とオフ
ラインHWRとして知られている。また、オフラインH
WRのアプローチは、光学字号認識(OCR)とも呼ば
れている。一般論として言えば、オンラインHWR技術
は動的な手書き字号情報を用いているのに反して、オフ
ラインHWR技術は静的な手書き字号情報を用いてい
る。これら2つのアプローチは、歴史的に言えば、手書
き字号の異なつた環境において用いるために夫々別個に
開発されてきた。
【0003】与えられた入力字号の組に対して、オンラ
インHWRは通常、オフラインHWR技術よりも、より
良い字号認識の精度を与えるので、手書き字号の入力装
置がストローク(運筆)の方向及びストロークの順序の
ような動的な情報を与える場合については、オンライン
HWR技術の使用が元来好まれていた。一体化されたデ
ジタイザ・タブレツトからのストロークを獲得するスタ
イラス・ベース(またはペン・ベース)のコンピユータ
は、オンラインHWRの使用からの利益を享受する1つ
の例である。
インHWRは通常、オフラインHWR技術よりも、より
良い字号認識の精度を与えるので、手書き字号の入力装
置がストローク(運筆)の方向及びストロークの順序の
ような動的な情報を与える場合については、オンライン
HWR技術の使用が元来好まれていた。一体化されたデ
ジタイザ・タブレツトからのストロークを獲得するスタ
イラス・ベース(またはペン・ベース)のコンピユータ
は、オンラインHWRの使用からの利益を享受する1つ
の例である。
【0004】他方、オフラインHWR技術は、通常、デ
イジタイザからの動的な情報が入手できない場合のアプ
リケーシヨンに対して用いられてきた。1例を挙げる
と、文書がスキヤナから走査される時に、入力データ・
ストリームは動的な手書き字号情報を含んでいない。こ
のような場合には、オンラインHWRアプローチは使用
するのに不適当であり、オフラインHWRアプローチは
有用な代替方法を与える。
イジタイザからの動的な情報が入手できない場合のアプ
リケーシヨンに対して用いられてきた。1例を挙げる
と、文書がスキヤナから走査される時に、入力データ・
ストリームは動的な手書き字号情報を含んでいない。こ
のような場合には、オンラインHWRアプローチは使用
するのに不適当であり、オフラインHWRアプローチは
有用な代替方法を与える。
【0005】動的なストローク情報が利用可能な場合に
は、オンラインHWR技術は秀れた結果を与えるけれど
も、これは同時に欠点を持つている。例えば、オンライ
ンHWR技術は、字号の形成がユーザに依存するので、
認識処理の結果が左右される。これを換言すると、オン
ラインHWR技術は文字や、数字の構成ストロークを良
好に形成した表示に対して最高の認識を与えるというこ
とである。従つて、オンラインHWR技術は、字号形成
の順序と、構成ストロークの数とに対して認識結果が影
響されることになる。例えば、代表的なオンラインHW
R技術は、ユーザが文字「C」を書く場合に、紙上から
ペンを離すことのない一筆書き(1ストローク書き)
と、反時計方向のストロークとをユーザに期待する。然
しながら、これは、ユーザが文字「C」を書く場合に生
じる1つの可能性しか与えていない。例えば、他のユー
ザが文字「C」を書く場合、複数のストロークを用いる
かも知れないし、ペンの運びを時計方向にするかも知れ
ない。
は、オンラインHWR技術は秀れた結果を与えるけれど
も、これは同時に欠点を持つている。例えば、オンライ
ンHWR技術は、字号の形成がユーザに依存するので、
認識処理の結果が左右される。これを換言すると、オン
ラインHWR技術は文字や、数字の構成ストロークを良
好に形成した表示に対して最高の認識を与えるというこ
とである。従つて、オンラインHWR技術は、字号形成
の順序と、構成ストロークの数とに対して認識結果が影
響されることになる。例えば、代表的なオンラインHW
R技術は、ユーザが文字「C」を書く場合に、紙上から
ペンを離すことのない一筆書き(1ストローク書き)
と、反時計方向のストロークとをユーザに期待する。然
しながら、これは、ユーザが文字「C」を書く場合に生
じる1つの可能性しか与えていない。例えば、他のユー
ザが文字「C」を書く場合、複数のストロークを用いる
かも知れないし、ペンの運びを時計方向にするかも知れ
ない。
【0006】ユーザに依存する字号形成によつて与えら
れる問題をしばしば複雑にするものは、通常のスタイラ
ス及びデイジタイザ・タブレツトによりユーザが書き込
む場合に多くのユーザが経験する不自然さである。デイ
ジタイザ・タブレツトの表面と接触するスタイラスの感
触は、紙上に接触するペン、または鉛筆の感触をそのま
ま引き写したものではなく、ユーザの視覚によるフイー
ドバツクは、ユーザが普段見馴れている字号とは異なつ
ているから、結果の入力字号は、形が悪く形成されるこ
とになるか、あるいは、通常でないストローク順序及び
/またはストローク方向によつて形成されることにな
る。ユーザによつてストロークを再度重ね書きすること
は、動的なHWR技術を適正に取り扱うために特に困難
な問題を生じる。その結果、オンラインHWR技術を使
用する場合、認識エラーを生じることになる。
れる問題をしばしば複雑にするものは、通常のスタイラ
ス及びデイジタイザ・タブレツトによりユーザが書き込
む場合に多くのユーザが経験する不自然さである。デイ
ジタイザ・タブレツトの表面と接触するスタイラスの感
触は、紙上に接触するペン、または鉛筆の感触をそのま
ま引き写したものではなく、ユーザの視覚によるフイー
ドバツクは、ユーザが普段見馴れている字号とは異なつ
ているから、結果の入力字号は、形が悪く形成されるこ
とになるか、あるいは、通常でないストローク順序及び
/またはストローク方向によつて形成されることにな
る。ユーザによつてストロークを再度重ね書きすること
は、動的なHWR技術を適正に取り扱うために特に困難
な問題を生じる。その結果、オンラインHWR技術を使
用する場合、認識エラーを生じることになる。
【0007】動的なストローク情報が考慮されていない
オフラインHWR技術は、このような規則から外れた手
書き字号を与えられた場合、認識の精度がより良いこと
が分つている。然しながら、上述したように、オフライ
ンHWR技術の全体の認識精度は、通常、オンラインH
WR技術を用いた時に得られる精度よりも低い。
オフラインHWR技術は、このような規則から外れた手
書き字号を与えられた場合、認識の精度がより良いこと
が分つている。然しながら、上述したように、オフライ
ンHWR技術の全体の認識精度は、通常、オンラインH
WR技術を用いた時に得られる精度よりも低い。
【0008】
【発明が解決しようとする課題】本発明の目的は、オン
ラインHWR及びオフラインHWRのいずれか一方を使
用した時に、両方の技術の何れかを使用した場合を越え
て向上した認識精度を達成したオンラインHWR及びオ
フラインHWRの両方を用いた手書き字号認識システム
及びその方法を提供することにある。
ラインHWR及びオフラインHWRのいずれか一方を使
用した時に、両方の技術の何れかを使用した場合を越え
て向上した認識精度を達成したオンラインHWR及びオ
フラインHWRの両方を用いた手書き字号認識システム
及びその方法を提供することにある。
【0009】本発明の他の目的は、動的な字号表示が静
的な字号表示に変換され、動的及び静的な表示が並列に
処理され、かつ、認識される字号として最も可能性の高
い字号を選択するために動的及び静的な字号表示が、組
合わせられる手書き字号認識システムを提供することに
ある。
的な字号表示に変換され、動的及び静的な表示が並列に
処理され、かつ、認識される字号として最も可能性の高
い字号を選択するために動的及び静的な字号表示が、組
合わせられる手書き字号認識システムを提供することに
ある。
【0010】
【課題を解決するための手段】手書き字号の認識システ
ムを動作する方法及び本発明の方法に従つて動作する手
書き字号の認識システムによつて、上述の問題及び他の
問題を解決することができる。本発明の方法は、(a)
ユーザからの手書き字号入力に応答して、時間で順序付
けられた動的なストローク情報を与えるステツプと、
(b)時間で順序付けられた動的なストローク情報が表
示しようと意図している少なくとも1つの可能性ある字
号を含む第1のリストを決定するステツプと、(c)時
間で順序付けられた動的なストローク情報を静的なスト
ローク情報に変換するステツプと、(d)静的なストロ
ーク情報が表わす少なくとも1つの可能性ある字号を含
む第2のリストを決定するステツプと、(e)時間で順
序付けられた動的なストローク情報が、表わそうと意図
している最も可能性の高い字号を表わす少なくとも1つ
のエレメントを含む第3の均等化リストを与えるため
に、第1のリスト及び第2のリストを併合するステツプ
とを含んでいる。
ムを動作する方法及び本発明の方法に従つて動作する手
書き字号の認識システムによつて、上述の問題及び他の
問題を解決することができる。本発明の方法は、(a)
ユーザからの手書き字号入力に応答して、時間で順序付
けられた動的なストローク情報を与えるステツプと、
(b)時間で順序付けられた動的なストローク情報が表
示しようと意図している少なくとも1つの可能性ある字
号を含む第1のリストを決定するステツプと、(c)時
間で順序付けられた動的なストローク情報を静的なスト
ローク情報に変換するステツプと、(d)静的なストロ
ーク情報が表わす少なくとも1つの可能性ある字号を含
む第2のリストを決定するステツプと、(e)時間で順
序付けられた動的なストローク情報が、表わそうと意図
している最も可能性の高い字号を表わす少なくとも1つ
のエレメントを含む第3の均等化リストを与えるため
に、第1のリスト及び第2のリストを併合するステツプ
とを含んでいる。
【0011】変換するステツプは、ストローク情報の筆
跡の方向に基づいて1つ、またはそれ以上の第1のスト
ローク・フイーチヤを発生するステツプを含んでいる。
また、例えば凸形状及び凹形状のストローク情報に基づ
くフイーチヤのような他のタイプのストローク・フイー
チヤを発生し、使用することも本発明の技術的範囲に属
している。
跡の方向に基づいて1つ、またはそれ以上の第1のスト
ローク・フイーチヤを発生するステツプを含んでいる。
また、例えば凸形状及び凹形状のストローク情報に基づ
くフイーチヤのような他のタイプのストローク・フイー
チヤを発生し、使用することも本発明の技術的範囲に属
している。
【0012】更に、変換するステツプは、時間で順序付
けられた動的なストローク情報をN×Mビツト・マツプ
された表示にマツプする開始ステツプを含んでいる。マ
ツプするステツプは、ストロークがN×Mビツト・マツ
プされた表示の中に完全に含まれるように、時間で順序
付けられた動的なストローク情報を縮尺するステツプを
含んでいる。
けられた動的なストローク情報をN×Mビツト・マツプ
された表示にマツプする開始ステツプを含んでいる。マ
ツプするステツプは、ストロークがN×Mビツト・マツ
プされた表示の中に完全に含まれるように、時間で順序
付けられた動的なストローク情報を縮尺するステツプを
含んでいる。
【0013】第2のリストを決定するステツプは、少な
くとも第1のストローク・フイーチヤを受け取るための
複数個の入力ノードを有する少なくとも1つの神経系的
ネツトワーク(neural network)で行なうことができ
る。更に、少なくとも1つの神経系的ネツトワークは第
1のストローク・フイーチヤに応答して、可能性ある少
なくとも1つの字号を出力するための少なくとも1つの
出力ノードを持つている。
くとも第1のストローク・フイーチヤを受け取るための
複数個の入力ノードを有する少なくとも1つの神経系的
ネツトワーク(neural network)で行なうことができ
る。更に、少なくとも1つの神経系的ネツトワークは第
1のストローク・フイーチヤに応答して、可能性ある少
なくとも1つの字号を出力するための少なくとも1つの
出力ノードを持つている。
【0014】
【実施例】図1は本発明に従つて構成された実施例を示
す図であつて、オンラインHWRサブシステム16及び
オフラインHWRサブシステム22を含む手書き字号認
識システム10が示されている。手書き字号認識システ
ム10は、全体としてデイジタイザ・タブレツト12及
びスタイラス、またはペン14として示された手書き字
号変換装置を含んでいる。デイジタイザ・タブレツト1
2の出力はフイーチヤ・ベクトル(FV)である。換言
すれば、これは、アルフアベツトの組の中の文字、数
字、または、他の記号を構成するストロークの時間的に
順序付けられた列である。1つのストロークは、ペン1
4の筆跡を表わすX−Y座標値のアレイである。1つの
ストロークはペンをタブレツト上に降した時に開始し、
ペンを持ち上げた時に終了する。
す図であつて、オンラインHWRサブシステム16及び
オフラインHWRサブシステム22を含む手書き字号認
識システム10が示されている。手書き字号認識システ
ム10は、全体としてデイジタイザ・タブレツト12及
びスタイラス、またはペン14として示された手書き字
号変換装置を含んでいる。デイジタイザ・タブレツト1
2の出力はフイーチヤ・ベクトル(FV)である。換言
すれば、これは、アルフアベツトの組の中の文字、数
字、または、他の記号を構成するストロークの時間的に
順序付けられた列である。1つのストロークは、ペン1
4の筆跡を表わすX−Y座標値のアレイである。1つの
ストロークはペンをタブレツト上に降した時に開始し、
ペンを持ち上げた時に終了する。
【0015】手書き字号変換装置の出力は、オンライン
HWRエンジン、即ちオンラインHWRサブシステム1
6に接続されている。オンラインHWRサブシステム1
6はデイジタイザ・タブレツト12の出力から、動的な
手書き字号情報(フイーチヤ・ベクトル)を受け取り、
そして、入力ストロークを表わす最も可能性の高い字
号、即ち候補字号のリストを得るために、ストローク数
及びストローク方向のようなこの動的な情報を処理す
る。オンラインHWRサブシステムは幾つかの適当なオ
ンラインHWR装置及び方法によつて実行することがで
きる。オンラインHWR技術の1例は米国特許第502
9223号に開示されており、本発明の実施例において
参照されている。
HWRエンジン、即ちオンラインHWRサブシステム1
6に接続されている。オンラインHWRサブシステム1
6はデイジタイザ・タブレツト12の出力から、動的な
手書き字号情報(フイーチヤ・ベクトル)を受け取り、
そして、入力ストロークを表わす最も可能性の高い字
号、即ち候補字号のリストを得るために、ストローク数
及びストローク方向のようなこの動的な情報を処理す
る。オンラインHWRサブシステムは幾つかの適当なオ
ンラインHWR装置及び方法によつて実行することがで
きる。オンラインHWR技術の1例は米国特許第502
9223号に開示されており、本発明の実施例において
参照されている。
【0016】本発明に従つて、HWRシステム10はベ
クトル複製装置18、ベクトルからラスタへの変換器2
0及びオフラインHWRエンジン、即ちオフラインHW
Rサブシステム22を含んでいる。複製装置18はデイ
ジタイザ・タブレツト12によつて出力されたフイーチ
ヤ・ベクトルを複製する、即ちコピーするためのデータ
・バツフアと同じ態様で動作する。次に、動的なストロ
ーク情報をエンコードする複製されたフイーチヤ・ベク
トル(RFV)は、オフラインHWRサブシステム22
へ入力するために、コンバータ20により静的な字号表
示に変換される。本発明のこの良好な実施例において、
オフラインHWRサブシステム22は3つのサブシステ
ム、即ち、大文字の英字を認識するためのオフラインH
WRサブシステム22aと、小文字の英字を認識するた
めのオフラインHWRサブシステム22bと、数字及び
特殊記号を認識するためのオフラインHWRサブシステ
ム22cとを含んでいる。オフラインHWRサブシステ
ム22の出力は静的な字号情報を表わす可能性の高い字
号、即ち候補字号のリストである。
クトル複製装置18、ベクトルからラスタへの変換器2
0及びオフラインHWRエンジン、即ちオフラインHW
Rサブシステム22を含んでいる。複製装置18はデイ
ジタイザ・タブレツト12によつて出力されたフイーチ
ヤ・ベクトルを複製する、即ちコピーするためのデータ
・バツフアと同じ態様で動作する。次に、動的なストロ
ーク情報をエンコードする複製されたフイーチヤ・ベク
トル(RFV)は、オフラインHWRサブシステム22
へ入力するために、コンバータ20により静的な字号表
示に変換される。本発明のこの良好な実施例において、
オフラインHWRサブシステム22は3つのサブシステ
ム、即ち、大文字の英字を認識するためのオフラインH
WRサブシステム22aと、小文字の英字を認識するた
めのオフラインHWRサブシステム22bと、数字及び
特殊記号を認識するためのオフラインHWRサブシステ
ム22cとを含んでいる。オフラインHWRサブシステ
ム22の出力は静的な字号情報を表わす可能性の高い字
号、即ち候補字号のリストである。
【0017】オフラインHWRサブシステム22は幾つ
かの適当なオフラインHWR(OCR)装置及び方法に
よつて実行することができる。この良好な実施例は、公
知の神経系的ネツトワークを用いており、これは、19
91年フランスのサン・マロ(Saint-Malo)における文
書分析及び認識の第1回国際会議(First Internationa
l Conference for Document Analysis and Recognitio
n)の会報中の高橋(H.Takahasi)による「A Neural Ne
t OCR Using Geometrical and Zonal-pattern Feature
s」と題する論文の821頁乃至828頁に記載された
OCR技術に或る意味で類似するものである。
かの適当なオフラインHWR(OCR)装置及び方法に
よつて実行することができる。この良好な実施例は、公
知の神経系的ネツトワークを用いており、これは、19
91年フランスのサン・マロ(Saint-Malo)における文
書分析及び認識の第1回国際会議(First Internationa
l Conference for Document Analysis and Recognitio
n)の会報中の高橋(H.Takahasi)による「A Neural Ne
t OCR Using Geometrical and Zonal-pattern Feature
s」と題する論文の821頁乃至828頁に記載された
OCR技術に或る意味で類似するものである。
【0018】本発明の技術範囲における「オフライン」
HWR技術は、動的な(オンライン)手書き字号情報の
処理とは逆に、静的な手書き字号情報が処理されること
を表わすために意図されていることには注意を払う必要
がある。後述されるように、「オフライン」HWRサブ
システム22は、本質的に実時間の態様でユーザの手書
き字号を処理し、認識するために、オンラインHWRサ
ブシステム16と並列に動作する能力を持つている。従
つて、オンラインHWR及びオフラインHWRという術
語を用いることは、処理の速度とか、情報が処理される
時点とかに基づく区別をするためではなく、処理される
情報のタイプに基づいて一方の情報と他方の情報(静的
な情報と動的な情報)とを区別することを意図してい
る。
HWR技術は、動的な(オンライン)手書き字号情報の
処理とは逆に、静的な手書き字号情報が処理されること
を表わすために意図されていることには注意を払う必要
がある。後述されるように、「オフライン」HWRサブ
システム22は、本質的に実時間の態様でユーザの手書
き字号を処理し、認識するために、オンラインHWRサ
ブシステム16と並列に動作する能力を持つている。従
つて、オンラインHWR及びオフラインHWRという術
語を用いることは、処理の速度とか、情報が処理される
時点とかに基づく区別をするためではなく、処理される
情報のタイプに基づいて一方の情報と他方の情報(静的
な情報と動的な情報)とを区別することを意図してい
る。
【0019】オンラインHWRサブシステム16の出力
及びオフラインHWRサブシステム22の出力は、併合
処理装置24に接続されており、併合処理装置24は候
補字号のリストを併合するのに動作し、そしてまた、シ
ステム10の認識処理の結果として可能性の高い1つ以
上の字号を選択することができる。その後、認識処理の
結果はストアされるか、あるいは、ワード処理プログラ
ムか、またはユーザ・インターフエース・プログラムの
ような認識字号の処理装置に与えられる。認識字号の処
理装置の細部は本発明に直接関係がないので、これ以上
の説明は省略する。
及びオフラインHWRサブシステム22の出力は、併合
処理装置24に接続されており、併合処理装置24は候
補字号のリストを併合するのに動作し、そしてまた、シ
ステム10の認識処理の結果として可能性の高い1つ以
上の字号を選択することができる。その後、認識処理の
結果はストアされるか、あるいは、ワード処理プログラ
ムか、またはユーザ・インターフエース・プログラムの
ような認識字号の処理装置に与えられる。認識字号の処
理装置の細部は本発明に直接関係がないので、これ以上
の説明は省略する。
【0020】図1の手書き字号認識システム10は図3
に示された第1のタイプの書き込み(記号W1で示され
ている)を認識するのに特に有利である。このタイプの
書き込みは、個々の字号が個々の領界、即ちボツクス中
に形成され、これにより字号のセグメント化の処理を単
純化するボツクス分離型(box discrete)として知られ
ている。つまり、与えられたボツクスの中で形成された
すべてのストロークは単一の字号の形成ストロークであ
ると見做される。第2のタイプの書き込み(図3中の記
号W2で示されている)は、字号が相互に接触しないよ
うにユーザが各字号を意識的に形成するタイプの間隔分
離型(spaced discrete)と呼ばれている。第3のタイ
プの手書き(図3中の記号W3で示されている)は、ユ
ーザが相互に接触した字号、または「重なつた(run-o
n)」字号を形成することができるランオン分離型(run
-on discrete)と呼ばれている。
に示された第1のタイプの書き込み(記号W1で示され
ている)を認識するのに特に有利である。このタイプの
書き込みは、個々の字号が個々の領界、即ちボツクス中
に形成され、これにより字号のセグメント化の処理を単
純化するボツクス分離型(box discrete)として知られ
ている。つまり、与えられたボツクスの中で形成された
すべてのストロークは単一の字号の形成ストロークであ
ると見做される。第2のタイプの書き込み(図3中の記
号W2で示されている)は、字号が相互に接触しないよ
うにユーザが各字号を意識的に形成するタイプの間隔分
離型(spaced discrete)と呼ばれている。第3のタイ
プの手書き(図3中の記号W3で示されている)は、ユ
ーザが相互に接触した字号、または「重なつた(run-o
n)」字号を形成することができるランオン分離型(run
-on discrete)と呼ばれている。
【0021】第2及び第3のタイプの手書き字号は図2
に示された手書き字号認識システム10'により処理さ
れるのが好ましい。システム10'は、手書き字号認識
システムのタブレツトと他の部分との間にセグメント化
プロセツサ26が接続されているのを除けば、図1の手
書き字号認識システム10の構成及び動作と本質的には
同じである。セグメント化プロセツサ26の目的は、1
つ、またはそれ以上のストロークのフイーチヤ・ベクト
ルを、字号を表示するビツト集合にグループ化すること
にある。例えば、隔離分離型の手書き(W2)に対し
て、セグメント化プロセツサ26は、接触するすべての
ストローク、または、所定の距離内に相互に接近してい
るすべてのストロークを識別する。接触し、または殆ど
接触しているストロークは同じ字号の構成ストロークで
あると見做され、関連するフイーチヤ・ベクトルは、認
識するためにシステム10'の残りの部分に通される。
に示された手書き字号認識システム10'により処理さ
れるのが好ましい。システム10'は、手書き字号認識
システムのタブレツトと他の部分との間にセグメント化
プロセツサ26が接続されているのを除けば、図1の手
書き字号認識システム10の構成及び動作と本質的には
同じである。セグメント化プロセツサ26の目的は、1
つ、またはそれ以上のストロークのフイーチヤ・ベクト
ルを、字号を表示するビツト集合にグループ化すること
にある。例えば、隔離分離型の手書き(W2)に対し
て、セグメント化プロセツサ26は、接触するすべての
ストローク、または、所定の距離内に相互に接近してい
るすべてのストロークを識別する。接触し、または殆ど
接触しているストロークは同じ字号の構成ストロークで
あると見做され、関連するフイーチヤ・ベクトルは、認
識するためにシステム10'の残りの部分に通される。
【0022】図1及び図2に示したオフラインHWRプ
ロセツサ22の細部を以下に説明すると、複製装置29
は字号のストロークのRFV表示を、オフラインの手書
き字号のフイーチヤの取り出しに適したN×Mビツト・
マツプに変換する動作を行なう。このビツト・マツプか
ら取り出された静的なフイーチヤに基づいて、オフライ
ンHWRサブシステム22は入力の認識処理を遂行し、
オフラインの候補字号リストを与える。オフライン及び
オンラインの候補字号リストは、一体化された認識結果
を発生するために併合処理装置24に入力される。
ロセツサ22の細部を以下に説明すると、複製装置29
は字号のストロークのRFV表示を、オフラインの手書
き字号のフイーチヤの取り出しに適したN×Mビツト・
マツプに変換する動作を行なう。このビツト・マツプか
ら取り出された静的なフイーチヤに基づいて、オフライ
ンHWRサブシステム22は入力の認識処理を遂行し、
オフラインの候補字号リストを与える。オフライン及び
オンラインの候補字号リストは、一体化された認識結果
を発生するために併合処理装置24に入力される。
【0023】上述の説明に基いて、本発明の手書き字号
の認識システム10は、相互に並列に動作する能力を有
する複数個のHWRエンジン、即ちHWRサブシステム
を含んでいることが分る。本発明の良好な実施例におい
て、並列に動作することのできる4つのHWRエンジン
がある。それらは、 a.オンラインHWRサブシステム16と、 b.大文字の英字を認識するためのオフラインHWRサ
ブシステム22aと、 c.小文字の英字を認識するためのオフラインHWRサ
ブシステム22bと、 d.数字及び特殊記号を認識するためのオフラインHW
Rサブシステム22c とである。
の認識システム10は、相互に並列に動作する能力を有
する複数個のHWRエンジン、即ちHWRサブシステム
を含んでいることが分る。本発明の良好な実施例におい
て、並列に動作することのできる4つのHWRエンジン
がある。それらは、 a.オンラインHWRサブシステム16と、 b.大文字の英字を認識するためのオフラインHWRサ
ブシステム22aと、 c.小文字の英字を認識するためのオフラインHWRサ
ブシステム22bと、 d.数字及び特殊記号を認識するためのオフラインHW
Rサブシステム22c とである。
【0024】手書き字号変換器の出力、つまりデイジタ
イザ・タブレツト12の出力はストロークのアレイであ
る。このアレイは「E」、「a」及び「7」などのよう
な字号を表示するようにされている。ストローク・アレ
イの各エレメントは字号の構成ストロークに対応してい
る。字号が単一のストロークで書かれているとき、スト
ローク・アレイのデメンシヨンは1である。転じて、各
ストロークはX及びY座標のアレイによつて表わされ
る。X及びY座標値の対は、時間で順序付けられてお
り、そして、ペン14がデイジタイザ・タブレツト12
の表面に押付けられている間か、または、タブレツト1
2の表面に接触している間におけるデイジタイザ・タブ
レツト12に対するペン14の筆跡を表わしている。デ
イジタイザ・タブレツト12によるペンの位置のX及び
Y座標値のサンプル動作は、例えば10ミリ秒毎の時間
間隔で発生する。
イザ・タブレツト12の出力はストロークのアレイであ
る。このアレイは「E」、「a」及び「7」などのよう
な字号を表示するようにされている。ストローク・アレ
イの各エレメントは字号の構成ストロークに対応してい
る。字号が単一のストロークで書かれているとき、スト
ローク・アレイのデメンシヨンは1である。転じて、各
ストロークはX及びY座標のアレイによつて表わされ
る。X及びY座標値の対は、時間で順序付けられてお
り、そして、ペン14がデイジタイザ・タブレツト12
の表面に押付けられている間か、または、タブレツト1
2の表面に接触している間におけるデイジタイザ・タブ
レツト12に対するペン14の筆跡を表わしている。デ
イジタイザ・タブレツト12によるペンの位置のX及び
Y座標値のサンプル動作は、例えば10ミリ秒毎の時間
間隔で発生する。
【0025】ストローク・アレイの出力は、ストローク
のアレイにおいて検出された筆跡のX−Y座標値に最も
近似しているASCIIコードを決定するために、オン
ラインHWRサブシステム16に入力される。オンライ
ンHWRサブシステム16の動作の詳細は、上述の米国
特許第5029223号に記載されているので、ここで
は説明しない。
のアレイにおいて検出された筆跡のX−Y座標値に最も
近似しているASCIIコードを決定するために、オン
ラインHWRサブシステム16に入力される。オンライ
ンHWRサブシステム16の動作の詳細は、上述の米国
特許第5029223号に記載されているので、ここで
は説明しない。
【0026】オンラインHWRサブシステム16により
処理されると、オンライン候補字号リストがオンライン
HWRサブシステム16によつて出力される。この候補
字号リストはペンの筆跡に対して可能性ある(可能性の
高い)1つ、またはそれ以上の候補字号を含んでいる。
候補字号は優度の順序でストアされており、各候補字号
は優度に関連したスコア(点数)を持つている。スコア
が高ければ高い程、候補字号が正しい字号である可能性
が高くなる。
処理されると、オンライン候補字号リストがオンライン
HWRサブシステム16によつて出力される。この候補
字号リストはペンの筆跡に対して可能性ある(可能性の
高い)1つ、またはそれ以上の候補字号を含んでいる。
候補字号は優度の順序でストアされており、各候補字号
は優度に関連したスコア(点数)を持つている。スコア
が高ければ高い程、候補字号が正しい字号である可能性
が高くなる。
【0027】次に、オフラインHWR(OCR)サブシ
ステム22を参照すると、ベクトルからラスタ変換器2
0はストローク・アレイからN行×M列のビツト・マツ
プを発生する。本発明の良好な実施例においては、N=
24でM=16である(図9参照)。また、変換器20
は24×16ビツト・マツプ中に字号のサイズを縮尺し
て平均化するよう動作する。
ステム22を参照すると、ベクトルからラスタ変換器2
0はストローク・アレイからN行×M列のビツト・マツ
プを発生する。本発明の良好な実施例においては、N=
24でM=16である(図9参照)。また、変換器20
は24×16ビツト・マツプ中に字号のサイズを縮尺し
て平均化するよう動作する。
【0028】これに関連して、図10乃至図12を参照
すると、図10は1つ、またはそれ以上のストロークが
適合される取り囲みボツクス、即ち領界ボツクス(boun
dingbox)の2つの変形(A及びB)を示している。領
界ボツクスは、領界ボツクスの形状比(高さ対幅)に制
限されるが、すべてのストロークを収容するために、必
要に応じて、伸長(A)または縮小(B)がある。本発
明の実施例では、形状比は24/16、または3/2で
ある。図11は、ストロークが領界ボツクスの上限及び
下限に接触するように領界ボツクス中に置かれた文字
「I」を表わすストロークを示している。ストローク
は、ストロークのグラビテイ(gravity)の中心(C
G)が領界ボツクスの形状の中心と一致するように水平
(X軸)方向に沿つて整置される。図12は文字「W」
の場合を示す図であつて、領界ボツクスの左側及び右側
が文字の左側及び右側に接触し、そして、ストロークの
グラビテイの中心(CG)が領界ボツクスの形状の中心
と一致するように垂直(Y軸)方向に沿つて整置されて
いる。
すると、図10は1つ、またはそれ以上のストロークが
適合される取り囲みボツクス、即ち領界ボツクス(boun
dingbox)の2つの変形(A及びB)を示している。領
界ボツクスは、領界ボツクスの形状比(高さ対幅)に制
限されるが、すべてのストロークを収容するために、必
要に応じて、伸長(A)または縮小(B)がある。本発
明の実施例では、形状比は24/16、または3/2で
ある。図11は、ストロークが領界ボツクスの上限及び
下限に接触するように領界ボツクス中に置かれた文字
「I」を表わすストロークを示している。ストローク
は、ストロークのグラビテイ(gravity)の中心(C
G)が領界ボツクスの形状の中心と一致するように水平
(X軸)方向に沿つて整置される。図12は文字「W」
の場合を示す図であつて、領界ボツクスの左側及び右側
が文字の左側及び右側に接触し、そして、ストロークの
グラビテイの中心(CG)が領界ボツクスの形状の中心
と一致するように垂直(Y軸)方向に沿つて整置されて
いる。
【0029】i番目のストロークのj番目の座標値を下
記「数1」として表わした図5を参照すると、変換技術
は下記のように動作する。
記「数1」として表わした図5を参照すると、変換技術
は下記のように動作する。
【0030】
【数1】
【0031】図5のブロツクA: 上記の「数1」で表
わした各ストローク座標値が領界ボツクスの座標系中の
ポイントから測られるように、タブレツト12の座標系
から相対座標系にストロークを変換する。 図5のブロツクB及びC: どのストロークでも24×
16の範囲の領界ボツクスの境界線に接触してもよい
が、しかし境界線を越えずに、領界ボツクスの領界内に
収まるように、座標系を縮尺する。予め決められたパラ
メータにより特定して縮尺される寸法にするためのこの
縮尺処理は、すべての構成ストロークの筆跡がより小さ
なボツクス(N×Mビツト・マツプよりも小さなボツク
ス)内に収納できない場合だけに限つて適用されるのが
望ましい。これは、例えば終止符とか、コンマが24×
16マトリツクスの領界ボツクスの境界線に接触するよ
うに縮尺される問題が生じるのを回避する。 図5のブロツクD: 寸法が平均化されたストロークの
筆跡は、ストロークをビツト・マツプ化するために、領
界ボツクスの24×16領域内に計量化される(図9参
照)。ただ1つのビツト、または1つの画素だけが領界
ボツクスの各領域、または各セルの中に表示される。上
述の実施例においては、領界ボツクスは24×16=3
84の独立した領域、即ちセルを持つことになる。
わした各ストローク座標値が領界ボツクスの座標系中の
ポイントから測られるように、タブレツト12の座標系
から相対座標系にストロークを変換する。 図5のブロツクB及びC: どのストロークでも24×
16の範囲の領界ボツクスの境界線に接触してもよい
が、しかし境界線を越えずに、領界ボツクスの領界内に
収まるように、座標系を縮尺する。予め決められたパラ
メータにより特定して縮尺される寸法にするためのこの
縮尺処理は、すべての構成ストロークの筆跡がより小さ
なボツクス(N×Mビツト・マツプよりも小さなボツク
ス)内に収納できない場合だけに限つて適用されるのが
望ましい。これは、例えば終止符とか、コンマが24×
16マトリツクスの領界ボツクスの境界線に接触するよ
うに縮尺される問題が生じるのを回避する。 図5のブロツクD: 寸法が平均化されたストロークの
筆跡は、ストロークをビツト・マツプ化するために、領
界ボツクスの24×16領域内に計量化される(図9参
照)。ただ1つのビツト、または1つの画素だけが領界
ボツクスの各領域、または各セルの中に表示される。上
述の実施例においては、領界ボツクスは24×16=3
84の独立した領域、即ちセルを持つことになる。
【0032】本発明の良好な実施例において、オフライ
ンHWRサブシステム22は3つの同じ神経系的ネツト
ワーク(22a、22b及び22c)を含んでいる。各
神経系的ネツトワークはS字型関数マツピング(sigmoi
d function mapping)を持つ前進(feed-forward)3層
ネツトワークとして実行される。然しながら、各神経系
的ネツトワークは入力に基づく異なつたクラスの符号を
認識するために訓練される。特に、神経系的ネツトワー
ク22aは大文字の英字(A乃至Z)のクラスに対して
訓練され、神経系的ネツトワーク22bは小文字の英字
(a乃至z)のクラスに対して訓練され、神経系的ネツ
トワーク22cは数字(0乃至9)と、複数の特殊記号
とにクラスに対して訓練される。
ンHWRサブシステム22は3つの同じ神経系的ネツト
ワーク(22a、22b及び22c)を含んでいる。各
神経系的ネツトワークはS字型関数マツピング(sigmoi
d function mapping)を持つ前進(feed-forward)3層
ネツトワークとして実行される。然しながら、各神経系
的ネツトワークは入力に基づく異なつたクラスの符号を
認識するために訓練される。特に、神経系的ネツトワー
ク22aは大文字の英字(A乃至Z)のクラスに対して
訓練され、神経系的ネツトワーク22bは小文字の英字
(a乃至z)のクラスに対して訓練され、神経系的ネツ
トワーク22cは数字(0乃至9)と、複数の特殊記号
とにクラスに対して訓練される。
【0033】図6及び図9に示されているように、オフ
ラインHWRサブシステム22の前端は24×16ビツ
ト・マツプされたイメージを通して22個の区分、即ち
22個のスライスから、「筆跡方向に基づくフイーチ
ヤ」(FD)と呼ばれる88個のフイーチヤを取り出
す。88個のフイーチヤは下記の4種類の射影(projec
tion)で構成される。図6に示したように、それらの射
影は、(a) 24×16ビツト・マツプ中のエツジ2
3aに沿つてX軸上に投影された短かい水平ベクトル・
パターンの射影と、(b) 24×16ビツト・マツプ
中のエツジ23bに沿つてY軸上に投影された短かい垂
直ベクトルの射影と 、(c) 24×16ビツト・マ
ツプ中のエツジ23cに沿つてY=−X軸上に投影され
た対角線(Y=X)ベクトル・パターンの射影と、
(d) 24×16ビツト・マツプ中のエツジ23dに
沿つてY=X軸上に投影された対角線(Y=−X)ベク
トル・パターンの射影とである。
ラインHWRサブシステム22の前端は24×16ビツ
ト・マツプされたイメージを通して22個の区分、即ち
22個のスライスから、「筆跡方向に基づくフイーチ
ヤ」(FD)と呼ばれる88個のフイーチヤを取り出
す。88個のフイーチヤは下記の4種類の射影(projec
tion)で構成される。図6に示したように、それらの射
影は、(a) 24×16ビツト・マツプ中のエツジ2
3aに沿つてX軸上に投影された短かい水平ベクトル・
パターンの射影と、(b) 24×16ビツト・マツプ
中のエツジ23bに沿つてY軸上に投影された短かい垂
直ベクトルの射影と 、(c) 24×16ビツト・マ
ツプ中のエツジ23cに沿つてY=−X軸上に投影され
た対角線(Y=X)ベクトル・パターンの射影と、
(d) 24×16ビツト・マツプ中のエツジ23dに
沿つてY=X軸上に投影された対角線(Y=−X)ベク
トル・パターンの射影とである。
【0034】ヒストグラムは、ストロークの24×16
ビツト・マツプされたイメージの384個のセル上で走
査された例えば2×2マスクのようなi×jマスクに基
づいて決定される。図6及び図7においては、2×2マ
スクが効率の観点から用いられているが、勿論、必要に
応じて他のサイズのマスクを用いることもできる。マス
クは、24×16ビツト・マツプされたイメージの各行
に沿つて水平方向と、各列に沿つて垂直方向とに、イメ
ージのセル毎に走査される。若しマスク中の黒画素(エ
ツジ領域)の数が1乃至3の間にあれば、つまり、若し
マスク中の4個の画素がすべて黒でもなく、すべて白で
もなければ、プリミテイブ・フイーチヤが検出される。
図6は4つの方向23a、23b、23c及び23dの
プリミテイブ・フイーチヤを示す図である。検出された
各方向は、24×16ビツト・マツプを介した合計22
個のスライス中の4個の射影の位置に従つて4回計数さ
れる。22個のスライスは6個の水平領域、4個の垂直
領域と合計12個の対角線領域で構成されている。これ
らの中で、プリミテイブ・ベクトルの4つの方向(23
a乃至23d)は、22個のスライスの各々の中で累計
され、合計22×4個のFDコンポーネント、つまり8
8個のFDフイーチヤがある。
ビツト・マツプされたイメージの384個のセル上で走
査された例えば2×2マスクのようなi×jマスクに基
づいて決定される。図6及び図7においては、2×2マ
スクが効率の観点から用いられているが、勿論、必要に
応じて他のサイズのマスクを用いることもできる。マス
クは、24×16ビツト・マツプされたイメージの各行
に沿つて水平方向と、各列に沿つて垂直方向とに、イメ
ージのセル毎に走査される。若しマスク中の黒画素(エ
ツジ領域)の数が1乃至3の間にあれば、つまり、若し
マスク中の4個の画素がすべて黒でもなく、すべて白で
もなければ、プリミテイブ・フイーチヤが検出される。
図6は4つの方向23a、23b、23c及び23dの
プリミテイブ・フイーチヤを示す図である。検出された
各方向は、24×16ビツト・マツプを介した合計22
個のスライス中の4個の射影の位置に従つて4回計数さ
れる。22個のスライスは6個の水平領域、4個の垂直
領域と合計12個の対角線領域で構成されている。これ
らの中で、プリミテイブ・ベクトルの4つの方向(23
a乃至23d)は、22個のスライスの各々の中で累計
され、合計22×4個のFDコンポーネント、つまり8
8個のFDフイーチヤがある。
【0035】一例として説明すると、図9は上述したよ
うなビツト・マツプされた英文字「R」のストロークを
示す図である。説明を簡略化するために、幾つかのFD
コンポーネントの値として、6個の水平スライスと4個
の垂直スライスだけしか示されていない。この例によつ
て、フイーチヤ1乃至4は、最上部の水平区分、即ち水
平スライスに対して、プリミテイブ・ベクトル23a、
23b、23c及び23dの各々に対する合計を表示し
ている。この例において、水平ベクトル・パターン23
aは27のカウント値を持ち、垂直ベクトル・パターン
23bは6のカウント値を持ち、対角線ベクトル・パタ
ーン23cは1のカウント値を持ち、対角線ベクトル・
パターン23dは4のカウント値を持つている。
うなビツト・マツプされた英文字「R」のストロークを
示す図である。説明を簡略化するために、幾つかのFD
コンポーネントの値として、6個の水平スライスと4個
の垂直スライスだけしか示されていない。この例によつ
て、フイーチヤ1乃至4は、最上部の水平区分、即ち水
平スライスに対して、プリミテイブ・ベクトル23a、
23b、23c及び23dの各々に対する合計を表示し
ている。この例において、水平ベクトル・パターン23
aは27のカウント値を持ち、垂直ベクトル・パターン
23bは6のカウント値を持ち、対角線ベクトル・パタ
ーン23cは1のカウント値を持ち、対角線ベクトル・
パターン23dは4のカウント値を持つている。
【0036】また、24×16ビツト・マツプされたイ
メージから他のプリミテイブ・フイーチヤを取り出すこ
とも本発明の技術的範囲に属する。一例として図7を参
照すると、2×3領域中に現われる凸状パターン及び凹
状パターンを作ることができることが分る。凸及び凹状
パターンは8つの角度(上、下、右、左、右上、左上、
左下、右下)に基づく異なつたフイーチヤとして取り扱
われる。これらのフイーチヤは「湾曲に基づくフイーチ
ヤ」(FB)と呼ばれる。図8は24×16ビツト・マ
ツプされたイメージからFDフイーチヤを取り出すため
のFDプロセツサ25に加えてFBプロセツサ27を選
択的に使用する場合を示す図である。
メージから他のプリミテイブ・フイーチヤを取り出すこ
とも本発明の技術的範囲に属する。一例として図7を参
照すると、2×3領域中に現われる凸状パターン及び凹
状パターンを作ることができることが分る。凸及び凹状
パターンは8つの角度(上、下、右、左、右上、左上、
左下、右下)に基づく異なつたフイーチヤとして取り扱
われる。これらのフイーチヤは「湾曲に基づくフイーチ
ヤ」(FB)と呼ばれる。図8は24×16ビツト・マ
ツプされたイメージからFDフイーチヤを取り出すため
のFDプロセツサ25に加えてFBプロセツサ27を選
択的に使用する場合を示す図である。
【0037】24×16ビツト・マツプされたイメージ
から取り出すことのできる他のタイプのプリミテイブ・
フイーチヤは「平滑なイメージに基づくフイーチヤ」
(FS)と呼ばれる。この場合、24×16ビツト・マ
ツプされたバイナリ字号イメージが12×8グレイ・イ
メージに減少され、ガウス・フイルタを用いて平滑にさ
れて、合計96個のフイーチヤ・エレメントを生じる。
から取り出すことのできる他のタイプのプリミテイブ・
フイーチヤは「平滑なイメージに基づくフイーチヤ」
(FS)と呼ばれる。この場合、24×16ビツト・マ
ツプされたバイナリ字号イメージが12×8グレイ・イ
メージに減少され、ガウス・フイルタを用いて平滑にさ
れて、合計96個のフイーチヤ・エレメントを生じる。
【0038】上述の説明から、24×16ビツト・マツ
プされたイメージが、神経系的ネツトワーク認識装置2
2a乃至22cへの入力に対して、その装置からフイー
チヤ・エレメントを取り出すための幾つかの異なつた技
術に従つて処理することができることが理解されるであ
ろう。従つて、本発明の実施例はFDフイーチヤのエレ
メントだけしか用いていないけれども、他のタイプのフ
イーチヤのエレメントは、FDフイーチヤのエレメント
の拡張に使用することができるし、あるいは、FDフイ
ーチヤのエレメントの代わりに使用することができる。
プされたイメージが、神経系的ネツトワーク認識装置2
2a乃至22cへの入力に対して、その装置からフイー
チヤ・エレメントを取り出すための幾つかの異なつた技
術に従つて処理することができることが理解されるであ
ろう。従つて、本発明の実施例はFDフイーチヤのエレ
メントだけしか用いていないけれども、他のタイプのフ
イーチヤのエレメントは、FDフイーチヤのエレメント
の拡張に使用することができるし、あるいは、FDフイ
ーチヤのエレメントの代わりに使用することができる。
【0039】図8に示したように、FDプロセツサ25
により出力された88個の取り出されたFDフイーチヤ
のエレメントは、ブロツク29によつて88個のFDフ
イーチヤのエレメントの3つの組に複製される。上述し
たように、FDプロセツサ25はN×Mビツト・マツプ
されたイメージを22個のスライスに仕切り、イメージ
上の2×2マスクで走査し、そして、スライス中のプリ
ミテイブ・フイーチヤ23a乃至23dの発生をカウン
トするよう動作する。88個のFDフイーチヤのエレメ
ントの組の各独立した組は3つの神経系的ネツトワーク
(NN)23a乃至23cの入力の1つに与えられる。
各神経系的ネツトワークは88個の入力と、少なくとも
1つの隠された層とを持つている。神経系的ネツトワー
ク22a及び22bの各々は英文字A乃至Z及びa乃至
zに対応する26個の出力ノードを持つている。第3の
神経系的ネツトワーク22cは10個の数字(0乃至
9)と、20個の特殊記号(例えば、!、$、=など)
に対応する30個の出力ノードを持つている。
により出力された88個の取り出されたFDフイーチヤ
のエレメントは、ブロツク29によつて88個のFDフ
イーチヤのエレメントの3つの組に複製される。上述し
たように、FDプロセツサ25はN×Mビツト・マツプ
されたイメージを22個のスライスに仕切り、イメージ
上の2×2マスクで走査し、そして、スライス中のプリ
ミテイブ・フイーチヤ23a乃至23dの発生をカウン
トするよう動作する。88個のFDフイーチヤのエレメ
ントの組の各独立した組は3つの神経系的ネツトワーク
(NN)23a乃至23cの入力の1つに与えられる。
各神経系的ネツトワークは88個の入力と、少なくとも
1つの隠された層とを持つている。神経系的ネツトワー
ク22a及び22bの各々は英文字A乃至Z及びa乃至
zに対応する26個の出力ノードを持つている。第3の
神経系的ネツトワーク22cは10個の数字(0乃至
9)と、20個の特殊記号(例えば、!、$、=など)
に対応する30個の出力ノードを持つている。
【0040】これらの入力は3つの神経系的ネツトワー
ク22a乃至22cと同じであるけれども、これらの出
力の数は、訓練動作のために、入力数とは異なつてい
る。より特定して言えば、背後伝播技術(back propaga
tion technique)を用いることによつて、神経系的ネツ
トワーク22aは26個の大文字の英字についての積極
的な訓練が行なわれるが、しかし、残り56個の文字
(26個の小文字の英字、10個の数字及び20個の特
殊記号)については消極的な訓練しか行なわれない。神
経系的ネツトワーク22bは26個の小文字の英字につ
いての積極的な訓練が行なわれるが、しかし、残り56
個の文字については消極的な訓練しか行なわれない。神
経系的ネツトワーク22cは10個の数字及び20個の
特殊記号についての積極的な訓練が行なわれるが、しか
し、大文字及び小文字の52個の英字については消極的
な訓練しか行なわれない。例えば、各英文字、数字、ま
たは特殊記号について、積極的な訓練は、対応する文字
の2000個以上のサンプルについて行なわれ、消極的
な訓練は対応する文字の125個以上のサンプルについ
て行なわれる。
ク22a乃至22cと同じであるけれども、これらの出
力の数は、訓練動作のために、入力数とは異なつてい
る。より特定して言えば、背後伝播技術(back propaga
tion technique)を用いることによつて、神経系的ネツ
トワーク22aは26個の大文字の英字についての積極
的な訓練が行なわれるが、しかし、残り56個の文字
(26個の小文字の英字、10個の数字及び20個の特
殊記号)については消極的な訓練しか行なわれない。神
経系的ネツトワーク22bは26個の小文字の英字につ
いての積極的な訓練が行なわれるが、しかし、残り56
個の文字については消極的な訓練しか行なわれない。神
経系的ネツトワーク22cは10個の数字及び20個の
特殊記号についての積極的な訓練が行なわれるが、しか
し、大文字及び小文字の52個の英字については消極的
な訓練しか行なわれない。例えば、各英文字、数字、ま
たは特殊記号について、積極的な訓練は、対応する文字
の2000個以上のサンプルについて行なわれ、消極的
な訓練は対応する文字の125個以上のサンプルについ
て行なわれる。
【0041】本発明の良好な実施例において各神経系的
ネツトワークは、隠された層中の約50個のノードに対
して88個の入力ノードと、26個か、または30個の
出力ノードとを持つている。各入力ノードは隠された層
のノードに完全に接続されており、転じて、隠された層
のノードは出力層のノードに完全に接続されている。2
つのノードの間の各リンクは関連された重み付けを持つ
ている。−1及び+1の間の範囲の値の応答をマツプす
るために、S字型関数が入力ノード及び出力ノードの間
に用いられる。隠された層からの入力のすべてを加算す
るために各出力ノードにおいて、S字型関数の代わり
に、一次関数が用いられる。これは、出力ノードが取る
ことのできる値を広い範囲の値で発生して、認識処理に
確実さを与えることができる。
ネツトワークは、隠された層中の約50個のノードに対
して88個の入力ノードと、26個か、または30個の
出力ノードとを持つている。各入力ノードは隠された層
のノードに完全に接続されており、転じて、隠された層
のノードは出力層のノードに完全に接続されている。2
つのノードの間の各リンクは関連された重み付けを持つ
ている。−1及び+1の間の範囲の値の応答をマツプす
るために、S字型関数が入力ノード及び出力ノードの間
に用いられる。隠された層からの入力のすべてを加算す
るために各出力ノードにおいて、S字型関数の代わり
に、一次関数が用いられる。これは、出力ノードが取る
ことのできる値を広い範囲の値で発生して、認識処理に
確実さを与えることができる。
【0042】複数の候補字号リストからのスコアを均等
に適合させるために、オフラインHWRサブシステム2
2からのスコアは「疑似確率(pseudo-probability)」
に変換される。確率に対するスコアの実験マツピング
が、神経系的ネツトワーク22a乃至22cと、オンラ
インHWRサブシステム16とに使用される。図15は
神経系的ネツトワーク(NN)の出力を上述の疑似確率
に変換するために適当なマツピング関数のグラフを示し
ている。
に適合させるために、オフラインHWRサブシステム2
2からのスコアは「疑似確率(pseudo-probability)」
に変換される。確率に対するスコアの実験マツピング
が、神経系的ネツトワーク22a乃至22cと、オンラ
インHWRサブシステム16とに使用される。図15は
神経系的ネツトワーク(NN)の出力を上述の疑似確率
に変換するために適当なマツピング関数のグラフを示し
ている。
【0043】オンラインHWRサブシステム16は10
個の上位の候補字号(つまり、最高位のスコアを持つ候
補字号のうちの最も確率の高い10個の字号)を戻すの
に反して、各神経系的ネツトワーク(NN)22a乃至
22cは上位の3個の候補字号を戻す。候補字号リスト
から外れた場合を取り扱うために、各候補字号リスト
は、このリスト中で低位にスコアされた(小さい確
率)、例えば2/3よりも少ない確率を持つ「その他
(enything else)」が付加される。この技術を使用す
ることによつて、4つの候補字号リストは、下記の例示
から判るように、容易に併合することができる。
個の上位の候補字号(つまり、最高位のスコアを持つ候
補字号のうちの最も確率の高い10個の字号)を戻すの
に反して、各神経系的ネツトワーク(NN)22a乃至
22cは上位の3個の候補字号を戻す。候補字号リスト
から外れた場合を取り扱うために、各候補字号リスト
は、このリスト中で低位にスコアされた(小さい確
率)、例えば2/3よりも少ない確率を持つ「その他
(enything else)」が付加される。この技術を使用す
ることによつて、4つの候補字号リストは、下記の例示
から判るように、容易に併合することができる。
【0044】
【表1】
【0045】併合論理装置24により出力された結果の
均等化されたリストは下記の表2の通りである。
均等化されたリストは下記の表2の通りである。
【0046】
【表2】 均等化リスト 2 0.67 Z 0.29 z 0.28 a 0.21 & 0.20 A 0.18 y 0.16 3 0.16 L 0.15 8 0.14 e 0.08
【0047】上述の場合、数字「2」は、均等化リスト
の最上部の項目として示されているように、最も確率の
高い入力字号である。数字「2」のための均等化リスト
中のスコア(0.67)は、文字「2」に対するオンラ
インHWR16のスコア(0.07)と、文字「2」に
対するNN22cのスコア(0.5)と、NN22a及
びNN22bの「その他」に対する夫々のスコア(0.
04)及び(0.06)との合計で得られたものであ
る。
の最上部の項目として示されているように、最も確率の
高い入力字号である。数字「2」のための均等化リスト
中のスコア(0.67)は、文字「2」に対するオンラ
インHWR16のスコア(0.07)と、文字「2」に
対するNN22cのスコア(0.5)と、NN22a及
びNN22bの「その他」に対する夫々のスコア(0.
04)及び(0.06)との合計で得られたものであ
る。
【0048】図4を参照して、手書き字号の認識システ
ムを動作する本発明の方法を説明する。本発明の方法
は、(a)ユーザからの手書き字号入力に応答して、時
間で順序付けられた動的なストローク情報を与えるステ
ツプ(ブロツクA及びB)と、(b)時間で順序付けら
れた動的なストローク情報が表示しようと意図している
少なくとも1つの可能性ある字号を含む第1のリストを
決定するステツプ(ブロツクD2)と、(c)時間で順
序付けられた動的なストローク情報を静的なストローク
情報に変換するステツプ(ブロツクC)と、(d)静的
なストローク情報が表わす少なくとも1つの可能性ある
字号を含む第2のリストを決定するステツプ(ブロツク
D1)と、(e)時間で順序付けられた動的なストロー
ク情報が表わそうと意図している可能性の高い字号を表
わす少なくとも1つのエレメントを含む第3の均等化リ
ストを与えるために、第1のリスト及び第2のリストを
併合するステツプ(ブロツクE及びF)とを含んでい
る。
ムを動作する本発明の方法を説明する。本発明の方法
は、(a)ユーザからの手書き字号入力に応答して、時
間で順序付けられた動的なストローク情報を与えるステ
ツプ(ブロツクA及びB)と、(b)時間で順序付けら
れた動的なストローク情報が表示しようと意図している
少なくとも1つの可能性ある字号を含む第1のリストを
決定するステツプ(ブロツクD2)と、(c)時間で順
序付けられた動的なストローク情報を静的なストローク
情報に変換するステツプ(ブロツクC)と、(d)静的
なストローク情報が表わす少なくとも1つの可能性ある
字号を含む第2のリストを決定するステツプ(ブロツク
D1)と、(e)時間で順序付けられた動的なストロー
ク情報が表わそうと意図している可能性の高い字号を表
わす少なくとも1つのエレメントを含む第3の均等化リ
ストを与えるために、第1のリスト及び第2のリストを
併合するステツプ(ブロツクE及びF)とを含んでい
る。
【0049】変換するステツプはストローク情報の筆跡
の方向に基づいて1つ、またはそれ以上の第1のストロ
ーク・フイーチヤを発生するステツプ(図6)を含んで
いる。付加的に、例えば凸形状及び凹形状のストローク
情報などに基いて1つ以上の第2のストローク・フイー
チヤを発生することができる(図7)。
の方向に基づいて1つ、またはそれ以上の第1のストロ
ーク・フイーチヤを発生するステツプ(図6)を含んで
いる。付加的に、例えば凸形状及び凹形状のストローク
情報などに基いて1つ以上の第2のストローク・フイー
チヤを発生することができる(図7)。
【0050】第2のリストを決定するステツプは、少な
くとも第1のストローク・フイーチヤを受け取るための
複数個の入力ノードを有する少なくとも1つの神経系的
ネツトワークで行なうことができる(図8)。更に、少
なくとも1つの神経系的ネツトワークは第1のストロー
ク・フイーチヤに応答して、少なくとも1つの可能性あ
る字号を出力するための少なくとも1つの出力ノードを
持つている。
くとも第1のストローク・フイーチヤを受け取るための
複数個の入力ノードを有する少なくとも1つの神経系的
ネツトワークで行なうことができる(図8)。更に、少
なくとも1つの神経系的ネツトワークは第1のストロー
ク・フイーチヤに応答して、少なくとも1つの可能性あ
る字号を出力するための少なくとも1つの出力ノードを
持つている。
【0051】更に、変換するステツプは、時間で順序付
けられた動的なストローク情報をN×Mビツト・マツプ
された表示にマツプする開始ステツプを含んでいる。マ
ツプするステツプは、ストロークがN×Mビツト・マツ
プされた表示の中に完全に含まれるように、時間で順序
付けられた動的なストローク情報を縮尺するステツプを
含んでいる。
けられた動的なストローク情報をN×Mビツト・マツプ
された表示にマツプする開始ステツプを含んでいる。マ
ツプするステツプは、ストロークがN×Mビツト・マツ
プされた表示の中に完全に含まれるように、時間で順序
付けられた動的なストローク情報を縮尺するステツプを
含んでいる。
【0052】手書き字号の認識システム10は、夫々の
書き手が1600個の字号を書き込んだ24人以上の書
き手で評価された。エラー率の平均減少率は、オンライ
ンHWRサブシステム16だけしか使用しない場合に比
べて、41%減少したことが見出されている。従つて、
本発明を使用すると、手書き字号を認識することにおい
て顕著な改善がなされることが理解できるであろう。
書き手が1600個の字号を書き込んだ24人以上の書
き手で評価された。エラー率の平均減少率は、オンライ
ンHWRサブシステム16だけしか使用しない場合に比
べて、41%減少したことが見出されている。従つて、
本発明を使用すると、手書き字号を認識することにおい
て顕著な改善がなされることが理解できるであろう。
【0053】以上、本発明の良好な実施例を参照して本
発明を説明してきたが、本発明は3個以下、あるいは3
個以上のオフラインの(OCR)認識装置を用いること
ができるのは自明であろう。例えば、1つのオフライン
認識装置を数字に使用し、他のオフライン認識装置を句
読点のような特殊記号だけに用いることができる。更
に、オフライン認識装置は他の形式で実行することがで
き、神経系的ネツトワークである必要はない。また、本
発明は、英語用の手書きの字号の認識のみに制限される
ものではなく、例えば漢字のような他の言語にも用いる
ことができるのは自明であろう。
発明を説明してきたが、本発明は3個以下、あるいは3
個以上のオフラインの(OCR)認識装置を用いること
ができるのは自明であろう。例えば、1つのオフライン
認識装置を数字に使用し、他のオフライン認識装置を句
読点のような特殊記号だけに用いることができる。更
に、オフライン認識装置は他の形式で実行することがで
き、神経系的ネツトワークである必要はない。また、本
発明は、英語用の手書きの字号の認識のみに制限される
ものではなく、例えば漢字のような他の言語にも用いる
ことができるのは自明であろう。
【0054】
【発明の効果】本発明によれば、手書きの文字、記号の
認識システムにおいて、認識結果の正確度を顕著に向上
することができる。
認識システムにおいて、認識結果の正確度を顕著に向上
することができる。
【図1】オンラインHWRサブシステム及びオフライン
HWRサブシステムを含む本発明の手書き字号の認識シ
ステムであつて、本発明の第1の実施例に従つて構成さ
れ、動作される手書き字号の認識システムのブロツク図
である。
HWRサブシステムを含む本発明の手書き字号の認識シ
ステムであつて、本発明の第1の実施例に従つて構成さ
れ、動作される手書き字号の認識システムのブロツク図
である。
【図2】本発明の第2の実施例に従つて構成され、動作
される手書き字号の認識システムのブロツク図である。
される手書き字号の認識システムのブロツク図である。
【図3】本発明の手書き字号の認識方法によつて認識す
るのに適合している3つのタイプの手書き字号を示す図
である。
るのに適合している3つのタイプの手書き字号を示す図
である。
【図4】本発明の手書き字号の認識方法を説明するため
の論理的流れ図である。
の論理的流れ図である。
【図5】図1、または図2のオフラインHWRサブシス
テムによつて使用するために、動的なストローク情報を
静的なビツト・マツプに変換し、そして均等化するため
の方法を説明するための論理的流れ図である。
テムによつて使用するために、動的なストローク情報を
静的なビツト・マツプに変換し、そして均等化するため
の方法を説明するための論理的流れ図である。
【図6】図1、または図2のオフラインHWRサブシス
テムの一部を形成した「筆跡の方向に基づくフイーチ
ヤ」(FD)を説明するための図である。
テムの一部を形成した「筆跡の方向に基づくフイーチ
ヤ」(FD)を説明するための図である。
【図7】図1、または図2のオフラインHWRサブシス
テムの一部として付加的に用いられる「湾曲形状に基づ
くフイーチヤ」(FB)を説明するための図である。
テムの一部として付加的に用いられる「湾曲形状に基づ
くフイーチヤ」(FB)を説明するための図である。
【図8】図1及び図2のオフラインHWRサブシステム
の実施例を形成する複数個の神経系的ネツトワークへの
入力における、静的なFD及びFBコンポーネントの組
合わせを説明するための図である。
の実施例を形成する複数個の神経系的ネツトワークへの
入力における、静的なFD及びFBコンポーネントの組
合わせを説明するための図である。
【図9】ストロークのビツト・マツプされたビツト集合
の例であつて、「筆跡の方向に基づくフイーチヤ」(F
D)の取り出しを説明するための図である。
の例であつて、「筆跡の方向に基づくフイーチヤ」(F
D)の取り出しを説明するための図である。
【図10】静的なフイーチヤ・ベクトルの取り出しの前
に、入力ストロークの平均化及び縮尺化を説明するため
の図である。
に、入力ストロークの平均化及び縮尺化を説明するため
の図である。
【図11】静的なフイーチヤ・ベクトルの取り出しの前
に、入力ストロークの平均化及び縮尺化を説明するため
の図である。
に、入力ストロークの平均化及び縮尺化を説明するため
の図である。
【図12】静的なフイーチヤ・ベクトルの取り出しの前
に、入力ストロークの平均化及び縮尺化を説明するため
の図である。
に、入力ストロークの平均化及び縮尺化を説明するため
の図である。
【図13】神経系的ネツトワーク認識装置の出力スコア
と疑似確率との間の変換を説明するためのグラフであ
る。
と疑似確率との間の変換を説明するためのグラフであ
る。
10、10' 手書き字号の認識(HWR)システム 12 デイジタイザ・タブレツト 14 スタイラス(ペン) 16 オンラインHWRサブシステム 18、29 複製装置 20 ベクトルからラスタ変換器 22 オフラインHWRサブシステム 24 併合処理装置 25 FDプロセツサ 26 セグメント化プロセツサ 27 FBプロセツサ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ウイリアム・デイビッド・モドリン アメリカ合衆国 フロリダ州、ボカ・ラト ン、ノースイースト・ツゥエンティス・ス トリート 255 (72)発明者 コッタパラム・エム・モヒューディン アメリカ合衆国 カリフォルニア州、サン ノゼ、クウェイル・クリーク・サークル 1086 (72)発明者 高橋 弘晏 神奈川県横浜市緑区たちばな台1丁目18− 29
Claims (20)
- 【請求項1】ユーザからの手書き字号の入力に応答し
て、時間で順序付けられたストローク情報を出力するた
めの手書き字号変換手段と、 上記手書き字号変換手段の出力に接続されている入力を
有し、時間で順序付けられたストローク情報が表わそう
と意図している可能性のある少なくとも1つの字号を含
む第1のリストを決定するための第1の決定手段と、 上記手書き字号変換手段の上記出力に接続されている入
力を有し、時間で順序付けられたストローク情報を静的
なストローク情報に変換するための変換手段と、 上記手書き字号変換手段の出力に接続された入力を有
し、静的なストローク情報が表わす可能性のある少なく
とも1つの字号を含む第2のリストを決定するための第
2の決定手段と、 上記第1の決定手段の出力に接続された第1の入力と、
第2の決定手段の出力に接続された第2の入力とを有
し、時間で順序付けられたストローク情報が表わそうと
意図している可能性の高い少なくとも1つの字号を含む
第3のリストを与えるために、上記第1のリスト及び少
なくとも1つの上記第2のリストを併合する手段とから
なる手書き字号の認識システム。 - 【請求項2】上記変換手段は静的なストローク情報の筆
跡に基づいて1つ、またはそれ以上のストローク・フイ
ーチヤを発生する第1の発生手段を含む請求項1記載の
手書き字号の認識システム。 - 【請求項3】上記変換手段は静的なストローク情報の凸
形状及び凹形状に基づいて1つ、またはそれ以上のスト
ローク・フイーチヤを発生する第2の発生手段を含む請
求項2記載の手書き字号の認識システム。 - 【請求項4】上記第2の決定手段は第1のストローク・
フイーチヤを受け取るために、上記変換手段に接続され
た複数個の入力ノードを有する少なくとも1つの神経系
的ネツトワーク手段を含み、上記少なくとも1つの神経
系的ネツトワーク手段は第1のストローク・フイーチヤ
に応答して少なくとも1つの可能性のある字号を出力す
るための少なくとも1つの出力ノードを有する請求項2
記載の手書き字号の認識システム。 - 【請求項5】上記変換手段は時間で順序付けられたスト
ローク情報に応答して、時間で順序付けられたストロー
ク情報をN×Mビツト・マツプされた表示に変換する手
段を含み、上記第1の発生手段はビツト・マツプされた
表示に応答する請求項2記載の手書き字号の認識システ
ム。 - 【請求項6】上記時間で順序付けられたストロークの変
換手段はストロークがN×Mビツト・マツプされた表示
中に完全に含まれるように、時間で順序付けられたスト
ローク情報を縮尺する手段を含む請求項5記載の手書き
字号の認識システム。 - 【請求項7】ユーザからの手書き字号の入力に応答し
て、時間で順序付けられた動的なストローク情報を与え
るステツプと、 時間で順序付けられた動的なストローク情報を静的なス
トローク情報に変換するステツプと、 時間で順序付けられた動的なストローク情報が表わそう
と意図している可能性のある少なくとも1つの字号を含
む第1のリストを決定するステツプと、 静的なストローク情報が表わしている可能性のある少な
くとも1つの字号を含む第2のリストを決定するステツ
プと、 時間で順序付けられた動的なストローク情報が表わそう
と意図している可能性のある少なくとも1つの字号を含
む第3の均質化リストを与えるために第1のリスト及び
第2のリストを併合するステツプとからなる手書き字号
の認識システムの動作方法。 - 【請求項8】変換するステツプは静的なストローク情報
の筆跡の方向に基づいた1つ、またはそれ以上の第1の
ストローク・フイーチヤを発生するステツプを含む請求
項7記載の手書き字号認識システムの動作方法。 - 【請求項9】変換するステツプは静的なストローク情報
の凸形状及び凹形状に基づいた1つ、またはそれ以上の
第2のストローク・フイーチヤを発生するステツプを含
む請求項7記載の手書き字号認識システムの動作方法。 - 【請求項10】第2のリストを決定するステツプは第1
のストローク・フイーチヤを受け取るための複数個の入
力ノードを持つ少なくとも1つの神経系的ネツトワーク
手段により行なわれることと、少なくとも1つの神経系
的ネツトワーク手段は第1のストローク・フイーチヤに
応答して可能性ある少なくとも1つの字号を出力するた
めの少なくとも1つの出力ノードを有することとを含む
請求項8記載の手書き字号認識システムの動作方法。 - 【請求項11】変換するステツプは時間で順序付けられ
た動的なストローク情報をN×Mビツト・マツプされた
表示にマツプするステツプを含む請求項7記載の手書き
字号認識システムの動作方法。 - 【請求項12】マツプするステツプはストロークがN×
Mビツト・マツプされた表示の中に完全に含まれるよう
に、時間で順序付けられた動的なストローク情報を縮尺
するステツプを含む請求項11記載の手書き字号認識シ
ステムの動作方法。 - 【請求項13】動的なストローク情報を表わす1つ、ま
たはそれ以上のフイーチヤ・ベクトルを入力するステツ
プと、 1つ、またはそれ以上のフイーチヤ・ベクトルを1つ、
またはそれ以上のフイーチヤ・ベクトルのN×M表示に
変換するステツプと、 N×M表示の中の複数個のプリミテイブ・フイーチヤの
個々の1つの発生をカウントするステツプと、 カウントされた発生に応答して、N×Mビツト・マツプ
されたイメージが表わす1つ、またはそれ以上の符号を
含む少なくとも1つの第1のリストを発生するステツプ
と、 フイーチヤ・ベクトルに応答して、フイーチヤ・ベクト
ルが表わす1つ、またはそれ以上の符号を含む少なくと
も1つの第2のリストを発生するステツプと、 フイーチヤ・ベクトルが表わす1つ、またはそれ以上の
符号を含む第3のリストを、少なくとも1つの第1のリ
スト及び第2のリストから発生するステツプとからなる
手書き字号の認識方法。 - 【請求項14】フイーチヤ・ベクトルをセグメント化す
るステツプを含む請求項13に記載の手書き字号の認識
方法。 - 【請求項15】少なくとも1つの第1のリストを発生す
るステツプは、プリミテイブ・フイーチヤの発生をカウ
ントした信号を、少なくとも1つの神経系的ネツトワー
ク手段の入力に印加するステツプを含み、上記少なくと
も1つの神経系的ネツトワークは少なくとも1つの所定
の記号を認識するように訓練されていることを含む請求
項13に記載の手書き字号の認識方法。 - 【請求項16】少なくとも1つの第1のリストを発生す
るステツプは、プリミテイブ・フイーチヤの発生をカウ
ントした信号を複数個の神経系的ネツトワーク手段の個
々の入力に印加することと、複数個の神経系的ネツトワ
ークの各々は記号の所定のクラスの中で少なくとも1つ
の所定の記号を認識するように訓練されていることとを
含む請求項13に記載の手書き字号の認識方法。 - 【請求項17】プリミテイブ・フイーチヤの発生をカウ
ントするステツプは、 N×Mビツト・マツプされたイメージを複数個のスライ
スに区切るステツプと、 プリミテイブ・フイーチヤのインスタンスを位置付ける
ために、N×Mビツト・マツプされたイメージ上にi×
jマスクを適用するステツプと、 複数個のスライスの各々の中の位置付けられたインスタ
ンスをカウントするステツプとを含む請求項13記載の
手書き字号の認識方法。 - 【請求項18】マスクを適用するステツプは筆跡の方向
に基いてプリミテイブ・フイーチヤを識別するステツプ
を含む請求項17に記載の手書き字号の認識方法。 - 【請求項19】凸形状及び凹形状に基いてプリミテイブ
・フイーチヤを識別するステツプを含む請求項17に記
載の手書き字号の認識方法。 - 【請求項20】マスクを適用するステツプは筆跡の方向
に基いてプリミテイブ・フイーチヤの第1の組を識別
し、かつ、凸形状及び凹形状に基いてフイーチヤ・ベク
トルの第2の組を識別するステツプを含む請求項17に
記載の手書き字号の認識方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US61495 | 1993-05-12 | ||
| US08/061,495 US6011865A (en) | 1993-05-12 | 1993-05-12 | Hybrid on-line handwriting recognition and optical character recognition system |
| US061495 | 1993-05-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06348904A true JPH06348904A (ja) | 1994-12-22 |
| JP2700130B2 JP2700130B2 (ja) | 1998-01-19 |
Family
ID=22036160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6059239A Expired - Fee Related JP2700130B2 (ja) | 1993-05-12 | 1994-03-29 | 手書き文字の認識システム及び認識方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6011865A (ja) |
| EP (1) | EP0624853A3 (ja) |
| JP (1) | JP2700130B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009506464A (ja) * | 2005-08-29 | 2009-02-12 | マイクロソフト コーポレーション | 筆跡入力のスタイルを意識した使用 |
Families Citing this family (50)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB9701793D0 (en) | 1997-01-29 | 1997-03-19 | Gay Geoffrey N W | Means for inputting characters or commands into a computer |
| US6167411A (en) * | 1998-06-22 | 2000-12-26 | Lucent Technologies Inc. | User interface for entering and editing data in data entry fields |
| US7155033B1 (en) * | 1999-02-01 | 2006-12-26 | Thomson Licensing | Coarse representation of visual object's shape for search/query/filtering applications |
| US7016885B1 (en) * | 2001-08-28 | 2006-03-21 | University Of Central Florida Research Foundation, Inc. | Self-designing intelligent signal processing system capable of evolutional learning for classification/recognition of one and multidimensional signals |
| US20040146200A1 (en) * | 2003-01-29 | 2004-07-29 | Lockheed Martin Corporation | Segmenting touching characters in an optical character recognition system to provide multiple segmentations |
| US7283669B2 (en) * | 2003-01-29 | 2007-10-16 | Lockheed Martin Corporation | Fine segmentation refinement for an optical character recognition system |
| US20050111735A1 (en) * | 2003-11-21 | 2005-05-26 | International Business Machines Corporation | Video based handwriting recognition system and method |
| US7428516B2 (en) * | 2005-06-23 | 2008-09-23 | Microsoft Corporation | Handwriting recognition using neural networks |
| US7633493B2 (en) * | 2006-06-19 | 2009-12-15 | International Business Machines Corporation | Camera-equipped writing tablet apparatus for digitizing form entries |
| US7724957B2 (en) * | 2006-07-31 | 2010-05-25 | Microsoft Corporation | Two tiered text recognition |
| JP4873554B2 (ja) * | 2006-12-25 | 2012-02-08 | 株式会社リコー | 画像配信装置および画像配信方法 |
| US8768062B2 (en) | 2010-11-09 | 2014-07-01 | Tata Consulting Services Limited | Online script independent recognition of handwritten sub-word units and words |
| JP5418576B2 (ja) * | 2011-11-28 | 2014-02-19 | コニカミノルタ株式会社 | 情報閲覧装置及び表示制御プログラム |
| US9591339B1 (en) | 2012-11-27 | 2017-03-07 | Apple Inc. | Agnostic media delivery system |
| US9774917B1 (en) | 2012-12-10 | 2017-09-26 | Apple Inc. | Channel bar user interface |
| US10200761B1 (en) | 2012-12-13 | 2019-02-05 | Apple Inc. | TV side bar user interface |
| US9532111B1 (en) | 2012-12-18 | 2016-12-27 | Apple Inc. | Devices and method for providing remote control hints on a display |
| US10521188B1 (en) | 2012-12-31 | 2019-12-31 | Apple Inc. | Multi-user TV user interface |
| US12149779B2 (en) | 2013-03-15 | 2024-11-19 | Apple Inc. | Advertisement user interface |
| US20140361983A1 (en) * | 2013-06-09 | 2014-12-11 | Apple Inc. | Real-time stroke-order and stroke-direction independent handwriting recognition |
| US9465985B2 (en) | 2013-06-09 | 2016-10-11 | Apple Inc. | Managing real-time handwriting recognition |
| US9495620B2 (en) | 2013-06-09 | 2016-11-15 | Apple Inc. | Multi-script handwriting recognition using a universal recognizer |
| US9330331B2 (en) | 2013-11-11 | 2016-05-03 | Wipro Limited | Systems and methods for offline character recognition |
| AU2015280256A1 (en) | 2014-06-24 | 2016-10-13 | Apple Inc. | Column interface for navigating in a user interface |
| CN110221698B (zh) | 2014-06-24 | 2022-05-13 | 苹果公司 | 计算设备上的字符识别 |
| KR102773445B1 (ko) | 2014-06-24 | 2025-02-27 | 애플 인크. | 입력 디바이스 및 사용자 인터페이스 상호작용 |
| CN106446896B (zh) * | 2015-08-04 | 2020-02-18 | 阿里巴巴集团控股有限公司 | 一种字符分割方法、装置及电子设备 |
| DK201670582A1 (en) | 2016-06-12 | 2018-01-02 | Apple Inc | Identifying applications on which content is available |
| DK201670581A1 (en) | 2016-06-12 | 2018-01-08 | Apple Inc | Device-level authorization for viewing content |
| DK179329B1 (en) | 2016-06-12 | 2018-05-07 | Apple Inc | Handwriting keyboard for monitors |
| US11966560B2 (en) | 2016-10-26 | 2024-04-23 | Apple Inc. | User interfaces for browsing content from multiple content applications on an electronic device |
| CN108509955B (zh) * | 2017-02-28 | 2022-04-15 | 柯尼卡美能达美国研究所有限公司 | 用于字符识别的方法、系统和非瞬时计算机可读介质 |
| US10346702B2 (en) | 2017-07-24 | 2019-07-09 | Bank Of America Corporation | Image data capture and conversion |
| US10192127B1 (en) | 2017-07-24 | 2019-01-29 | Bank Of America Corporation | System for dynamic optical character recognition tuning |
| US12307082B2 (en) | 2018-02-21 | 2025-05-20 | Apple Inc. | Scrollable set of content items with locking feature |
| AU2019100574B4 (en) | 2018-06-03 | 2020-02-20 | Apple Inc. | Setup procedures for an electronic device |
| CN113711169A (zh) | 2019-03-24 | 2021-11-26 | 苹果公司 | 包括内容项的可选表示的用户界面 |
| US11962836B2 (en) | 2019-03-24 | 2024-04-16 | Apple Inc. | User interfaces for a media browsing application |
| US11467726B2 (en) | 2019-03-24 | 2022-10-11 | Apple Inc. | User interfaces for viewing and accessing content on an electronic device |
| US11683565B2 (en) | 2019-03-24 | 2023-06-20 | Apple Inc. | User interfaces for interacting with channels that provide content that plays in a media browsing application |
| WO2020243645A1 (en) | 2019-05-31 | 2020-12-03 | Apple Inc. | User interfaces for a podcast browsing and playback application |
| US11863837B2 (en) | 2019-05-31 | 2024-01-02 | Apple Inc. | Notification of augmented reality content on an electronic device |
| US11194467B2 (en) | 2019-06-01 | 2021-12-07 | Apple Inc. | Keyboard management user interfaces |
| CN110956133A (zh) * | 2019-11-29 | 2020-04-03 | 上海眼控科技股份有限公司 | 单字符文本归一化模型训练方法、文本识别方法及装置 |
| US11843838B2 (en) | 2020-03-24 | 2023-12-12 | Apple Inc. | User interfaces for accessing episodes of a content series |
| US11899895B2 (en) | 2020-06-21 | 2024-02-13 | Apple Inc. | User interfaces for setting up an electronic device |
| CN112132050B (zh) * | 2020-09-24 | 2024-03-29 | 北京计算机技术及应用研究所 | 联机手写汉字识别算法及可视化关键笔画评估方法 |
| US11720229B2 (en) | 2020-12-07 | 2023-08-08 | Apple Inc. | User interfaces for browsing and presenting content |
| US11934640B2 (en) | 2021-01-29 | 2024-03-19 | Apple Inc. | User interfaces for record labels |
| CN115620314B (zh) * | 2022-10-28 | 2026-04-17 | 网易有道信息技术(北京)有限公司 | 文本识别方法、答案文本的验证方法、装置、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6059489A (ja) * | 1983-09-12 | 1985-04-05 | Oki Electric Ind Co Ltd | 文字認識装置 |
| JPS61143887A (ja) * | 1984-12-18 | 1986-07-01 | Matsushita Electric Ind Co Ltd | 文字認識装置 |
| JPH01156889A (ja) * | 1987-12-14 | 1989-06-20 | Nippon Telegr & Teleph Corp <Ntt> | オンライン手書き文字認識方式 |
| JPH04279965A (ja) * | 1991-03-07 | 1992-10-06 | Koizumi Sangyo Kk | パターン認識装置 |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US31692A (en) * | 1861-03-12 | Improvement in mowing-machines | ||
| JPS6249483A (ja) * | 1985-08-28 | 1987-03-04 | Hitachi Ltd | 実時間手書き文字認識の文字入力方式 |
| NL265383A (ja) * | 1960-05-31 | |||
| USRE31692E (en) | 1972-05-02 | 1984-10-02 | Optical Recognition Systems, Inc. | Combined magnetic optical character reader |
| US3949363A (en) * | 1974-06-28 | 1976-04-06 | Recognition Equipment, Incorporated | Bar-Code/MICR/OCR merge |
| US4024500A (en) * | 1975-12-31 | 1977-05-17 | International Business Machines Corporation | Segmentation mechanism for cursive script character recognition systems |
| JPS5580183A (en) * | 1978-12-12 | 1980-06-17 | Nippon Telegr & Teleph Corp <Ntt> | On-line recognition processing system of hand-written character |
| JPS5827551B2 (ja) * | 1979-05-18 | 1983-06-10 | 日本電信電話株式会社 | オンライン手書き文字認識方式 |
| JPS59725A (ja) * | 1982-06-28 | 1984-01-05 | Canon Inc | 入力装置 |
| JPS5975375A (ja) * | 1982-10-21 | 1984-04-28 | Sumitomo Electric Ind Ltd | 文字認識装置 |
| JPS5998283A (ja) * | 1982-11-27 | 1984-06-06 | Hitachi Ltd | パターン切出しおよび認識方法、ならびにそのシステム |
| US4628532A (en) * | 1983-07-14 | 1986-12-09 | Scan Optics, Inc. | Alphanumeric handprint recognition |
| JPS60136892A (ja) * | 1983-12-26 | 1985-07-20 | Hitachi Ltd | オンライン手書き図形認識装置 |
| GB8404827D0 (en) * | 1984-02-24 | 1984-03-28 | De La Rue Co Plc | Sign verification |
| JPH0650538B2 (ja) * | 1984-03-28 | 1994-06-29 | 株式会社日立製作所 | 手書き文字・図形認識の認識モード指定方法 |
| US4731857A (en) * | 1984-06-29 | 1988-03-15 | International Business Machines Corporation | Recognition system for run-on handwritten characters |
| JPS6180478A (ja) * | 1984-09-27 | 1986-04-24 | インタ−ナショナル ビジネス マシ−ンズ コ−ポレ−ション | デ−タ入力・表示システム |
| US4764972A (en) * | 1985-05-23 | 1988-08-16 | Nec Corporation | Continuous characters recognition system |
| JPS6282486A (ja) * | 1985-10-08 | 1987-04-15 | Hitachi Ltd | オンライン手書き図形認識装置 |
| US4837842A (en) * | 1986-09-19 | 1989-06-06 | Holt Arthur W | Character and pattern recognition machine and method |
| JPH07107708B2 (ja) * | 1986-09-26 | 1995-11-15 | 株式会社日立製作所 | パタ−ン認識方法 |
| US4805225A (en) * | 1986-11-06 | 1989-02-14 | The Research Foundation Of The State University Of New York | Pattern recognition method and apparatus |
| US5034989A (en) * | 1987-12-11 | 1991-07-23 | Loh Shiu Chang | On-line handwritten character recognition apparatus with non-ambiguity algorithm |
| DE3822671A1 (de) * | 1988-07-05 | 1990-01-11 | Kromer Theodor Gmbh & Co Kg | Verfahren und vorrichtung zum elektronischen vergleichen von linienzuegen |
| US5109426A (en) * | 1989-11-10 | 1992-04-28 | National Research Development Corporation | Methods and apparatus for signature verification |
| US5029223A (en) * | 1990-02-02 | 1991-07-02 | International Business Machines Corporation | Constraint driven-on line recognition of handwritten characters and symbols |
| US5105468A (en) * | 1991-04-03 | 1992-04-14 | At&T Bell Laboratories | Time delay neural network for printed and cursive handwritten character recognition |
| US5491758A (en) * | 1993-01-27 | 1996-02-13 | International Business Machines Corporation | Automatic handwriting recognition using both static and dynamic parameters |
-
1993
- 1993-05-12 US US08/061,495 patent/US6011865A/en not_active Expired - Fee Related
-
1994
- 1994-03-29 JP JP6059239A patent/JP2700130B2/ja not_active Expired - Fee Related
- 1994-04-15 EP EP94105890A patent/EP0624853A3/en not_active Ceased
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6059489A (ja) * | 1983-09-12 | 1985-04-05 | Oki Electric Ind Co Ltd | 文字認識装置 |
| JPS61143887A (ja) * | 1984-12-18 | 1986-07-01 | Matsushita Electric Ind Co Ltd | 文字認識装置 |
| JPH01156889A (ja) * | 1987-12-14 | 1989-06-20 | Nippon Telegr & Teleph Corp <Ntt> | オンライン手書き文字認識方式 |
| JPH04279965A (ja) * | 1991-03-07 | 1992-10-06 | Koizumi Sangyo Kk | パターン認識装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009506464A (ja) * | 2005-08-29 | 2009-02-12 | マイクロソフト コーポレーション | 筆跡入力のスタイルを意識した使用 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0624853A3 (en) | 1995-02-22 |
| US6011865A (en) | 2000-01-04 |
| JP2700130B2 (ja) | 1998-01-19 |
| EP0624853A2 (en) | 1994-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2700130B2 (ja) | 手書き文字の認識システム及び認識方法 | |
| Bhattacharya et al. | On recognition of handwritten Bangla characters | |
| JP2667954B2 (ja) | 静的及び動的パラメータを使用する自動手書き文字認識装置及び方法 | |
| Perwej et al. | Neural networks for handwritten English alphabet recognition | |
| US11837001B2 (en) | Stroke attribute matrices | |
| EP1971957B1 (en) | Methods and apparatuses for extending dynamic handwriting recognition to recognize static handwritten and machine generated text | |
| CN113673432B (zh) | 手写识别方法、触摸显示设备、计算机设备及存储介质 | |
| JP2005228328A (ja) | デジタルインク質疑検索装置及びその方法 | |
| Alijla et al. | Oiahcr: online isolated arabic handwritten character recognition using neural network. | |
| CN101354749B (zh) | 字典制作方法、手写输入方法和设备 | |
| CN101326518B (zh) | 用于墨水笔记的手写体识别的方法和装置 | |
| Maheshwari et al. | A systematic review of automation in handwritten character recognition | |
| EP4086744B1 (en) | Gesture stroke recognition in touch-based user interface input | |
| Xie et al. | Prototype pruning by feature extraction for handwritten mathematical symbol recognition | |
| Jung et al. | On-line recognition of cursive Korean characters using graph representation | |
| Abirami et al. | Handwritten mathematical recognition tool | |
| Hamplová et al. | Instance segmentation of characters recognized in palmyrene aramaic inscriptions | |
| Vuori | Adaptation in on-line recognition of handwriting | |
| Oladele et al. | Offline Yorùbá handwritten word recognition using geometric feature extraction and support vector machine classifier | |
| Ladwani et al. | Novel approach to segmentation of handwritten Devnagari word | |
| Imama et al. | A Slice-based Character Recognition Technique for Handwritten Devanagari Script | |
| Srihari et al. | Written Language Input | |
| KR100204618B1 (ko) | 문자 또는 도형의 인식 방법 및 시스템 | |
| Welekar et al. | Survey on existing techniques for writer verification | |
| Mandal et al. | A Novel Approach of Normalization for Online Handwritten Characters using Geometrical Parameters on a 2D Plane |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |