JPH0650527B2

JPH0650527B2 - 実時間手書き軌跡認識方法

Info

Publication number: JPH0650527B2
Application number: JP58244009A
Authority: JP
Inventors: 壮四郎葛貫; 正嶋　　博; 孝典横山
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1983-12-26
Filing date: 1983-12-26
Publication date: 1994-06-29
Anticipated expiration: 2009-06-29
Also published as: JPS60136890A

Description

【発明の詳細な説明】〔発明の利用分野〕本発明は、手書き軌跡の認識方法に係り、特に実時間で
入力される手書き文字と図形とを良好に分離し得る実時
間手書き軌跡認識方法に関する。

〔発明の背景〕

従来の実時間手書き認識技術では、入力に応じてモード
を指定し、手書き文字か手書き図形かの判定をしていた
（例えば特開昭55-143681号公報）。

この方法では入力時又は編集時に、タブレツト上の座標
エリアに設けられたフアンクシヨンエリアを、スタイラ
スペンで押下げて指定することで、モード指定を行う。

ところが、このモード指定は、手書き図形の中へ手書き
文字を入力するとき、逆に、手書き文字入力中に認識し
た文字を編集しようとするとき、煩雑さ故にしばしば忘
れられ、入力エラーが発生してマンマシン性が損われて
いた。

一方、オフライン処理においては、一旦手書き情報を２
値画像に変換し、この２値画像に対し細線化及び端点除
去処理，縮小処理，マスクによるしみ取り処理を行つ
て、文字と図形とを分離しようとする方法が開示されて
いる（特開昭57-105084号公報）。

この方法はオフライン処理であるため処理の迅速性に欠
ける問題があつた。

以上のように従来の手書き認識技術には、実時間で手書
き文字入力と手書き図形入力とをモード切替なしで効率
良く分離する手段がなく、マンマシンインターフエース
が不連続であつた。

〔発明の目的〕

本発明の目的は、実時間で入力される手書き文字と図形
とを良好に分離し得る実時間手書き軌跡認識方法を提供
するにある。

〔発明の概要〕

上記目的を達成するため、本発明は図形と文字それぞれ
のストロークの特徴事項を巧みに利用して図形と文字の
入力ストロークを分離するものである。（尚、ストロー
クとはペンダウンからペンアツプまでの線分をいう。）すなわち、 (1)文字の大きさは、図形の大きさに比べて小さい場合
を想定していること (2)図形に比べて文字は、その画数に相当するストロー
ク数が多いことの２点から、文字は図形に比べストローク長が短いてい
う特徴が導かれる。

本発明の特徴は、手書きストロークが入力される毎に、
入力されたストローク長を求め、この求めたストローク
長と所定の閾値とを比較し、ストローク長が所定の閾値
以上であれば図形を構成するストロークと、また、スト
ローク長が所定の閾値に満たない場合は、文字を構成す
るストロークと識別し、その識別結果が手書きストロー
クの入力順に、文字から図形あるいは図形から文字へと
変化する状態が連続して発生した場合、即ち、識別結果
が文字、図形、文字とあるいは図形、文字、図形となつ
ている場合、識別結果に対して修正を行なうことにあ
る。

〔発明の実施例〕

以下、本発明の一実施例を第１図から第１０図を用いて
説明する。

第１図は本発明の一実施例である実時間手書き軌跡認識
装置の全体ブロツク構成である。

座標入力装置１（いわゆるタブレツト）と、スタイラス
ペン２で検出された座標入力列（ストローク情報）は、
まず手書認識処理装置９へ入力される。

次に前記ストローク情報は、入力を学習して閾値を算出
する閾値学習手段と、文字ストロークか図形ストローク
かを分離するためのストローク分離手段とにより、手書
き文字を認識する文字認識手段５と、手書き図形を認識
する図形認識手段６とに分離して送信される。

次に認識手段５及び６からの信号は、文字図形表示手段
７を介してＣＲＴデイスプレイ８に送られ、認識された
文字，図形が表示される。

以下、本発明の特徴部分であるストローク分離手段３と
閾値学習手段４について詳細に説明する。

第２図から第７図に本発明の一実施例の処理概要を、第
８図から第１０図に具体的な処理流れ図を示す。

第２図は、文字と図形が混在した手書き入力の例を示し
たもので、図形の中に文字がある場合である。ここに、
ｌはストロークを示し、添字はストロークの順序を表わ
す。すなわち、ｌ_１〜ｌ_３は手書き図形のストローク、
ｌ_４〜ｌ₁₃は手書き文字のストローク、ｌ₁₄〜ｌ₁₆は手
書き図形のストロークを示す。

以上のような手書き情報を入力した場合、処理装置９の
ストローク分離手段３、閾値学習手段４では、どのよう
に判定するかについてが、本発明の課題である。

第２図の手書き入力をストローク順に並べたものを第３
図に示す。今、予め設定された所定の閾値ｌ_THと、スト
ローク長ｌ_ｉ（ｉはストローク順序）とを比較し、ｌ_ｉ＞ｌ_THのとき１、ｌ_ｉ≦ｌ_THのとき０、とする。

一般的には閾値の設定が適当で、かつ、手書き文字，図
形の入力が適当なサイズでは、このストローク長の比較
結果が、ストロークの図形（“１”），文字（“０”）
の分離を意味する。

しかし、次の様な場合、分離誤りが生ずることが予想さ
れる。つまり、手書き入力のアンバランスがあつて、ｌ
_７が文字ストロークであるにもかかわず、“１”と判定
されてしまう（第２図，第３図）。

そこで本発明の一実施例では、前後のストローク長の比
較結果（差分）から、再度判定をやり直す手段を有して
いる（第４図）。

第３図で述べた比較結果は後述のストロークフラグテー
ブルＳＦ（ｉ）に順次格納されるが、このＳＦ（ｉ）の
前後を比較し、変化したストローク番号を探索する。こ
の探索は、ストローク番号ｉとｉ＋１との排他的論理和
をとれば求めることができる。

すなわち、ＳＦ（ｉ）ＳＦ（ｉ＋１）を考えると、第
４図ではとなり、ストローク番号３から４のとき、６から７のと
き、７から８のとき、さらに１３から１４のとき、それ
ぞれストロークが変化していると探索できる。

ここで問題となるのは、ストローク番号６，７，８のス
トロークで、上記のように２回続けて変化しているとこ
ろである。すなわち、前後の状況から判断して、ストロ
ーク番号７は再度判定し直す必要があると考えられる。
他のストロークについては、所定の閾値との比較結果に
より、“１”のとき図形ストロークＧ、“０”のとき文
字ストロークＣと分離できる。

従つてストローク番号７のストロークｌ_７については、
下記により再度判定を行う。

ｌ_ｉ＞ｌ_ＴＨの比較結果列が０→１→０のとき（例え
ば、ストローク番号６，７，８のとき）、ＩＦｋ_２・ｌ_ｉ＞ｌ_ＴＨ THEN Ｇ ELSE Ｃ（ｋ_２：第２の係数） …(2) ｌ_ｉ＞ｌ_ＴＨの比較結果列が１→０→１のとき、ＩＦｌ_ｉ／ｋ_２＞ｌ_ＴＨ THEN Ｇ ELSE Ｃ …(3) ここで係数ｋ_２は、たとえば0.７を選ぶと、 (2)式についてはストローク長の３割減、 (3)式についてはストローク長の３割増、として再度、所定の閾値と比較して図形のストローク
か、文字のストロークかを判断することとなる。

このような処理を施すことにより、閾値附近のストロー
ク長の判定が正確に行い得る。第４図の例のストローク
ｌ_７は以上の処理で文字ストロークと判定される。第５
図は、第４図の例のストロークフラグテーブルの内容で
ある。

第６図，第７図は、(3)式を適用するような手書き入力
がされた場合の例で、この図では、ｌ_４′が“０”と判
定され、再度ストロークの比較判断が行われる。

なお、所定の閾値ｌ_ＴＨの設定方法であるが、あらかじ
め、手書き入力対象や、環境がわかつている場合、例え
ば、サイズの固定された原稿用紙を用いるとき、文字入
力ストローク長は、原稿用紙のマス目サイズで決まつて
しまうため、固定値でよい。しかし、入力環境が種々変
化すると、この方法は採用できない。従つて、本発明の
一実施例の第１図で述べたように、この閾値を学習して
決定することになる。

以上、本発明の一実施例の処理概要を述べたが、以下、
第８図〜第１０図のフローチャートを用いて説明する。

第８図は、後述の第９図，第１０図のフローで用いるテ
ーブル構成図で(a),(b)はタブレツト１より入力された
ストロークテーブルであり、タイミングの異つた２つの
テーブル、STROKENEW,STROKEOLDがある。(c)および(d)
は図形認識手段（第１図，６）と文字認識手段（第１
図，５）へ渡すためのストロークテーブルで、図形スト
ロークテーブルSTROKEG，文字ストロークテーブルSTROK
ECである。すなわち、本発明の方式により、分離された
ストロークを格納するテーブルである。(e)は第５図，
第７図で述べたように、ストローク長と所定の閾値とを
比較した結果を格納するストロークフラグテーブルＳＦ
である。(f)は入力されたストロークの長さを格納する
ストローク長テーブルｌである。(g)は学習した所定の
閾値ｌ_ＴＨ、第１の所定の係数Ｋ_１、第２の所定の係数
Ｋ_２、処理用の内部カウンタCOUNT、ストローク番号ｉ
を格納するテーブルである。

第９図は入力ストロークの文字，図形分離のための処理
フローである。

まずステツプ３ａにより第８図のテーブルクリア，スト
ローク番号のセツト（ｉ＝１）等のイニシヤル処理が行
われ、次にタブレツトからの座標入力処理が行われ、こ
の座標はSTROKNEWテーブルに格納される（ステツプ３
ｂ）。次に入力されたSTROKNEWテーブルの始点から終点
までのストローク長ｌ（ｉ）を演算する（ステツプ３
ｃ）。ストローク長は入力された点列の座標より幾何学
的に容易に計算できる。

ストローク長ｌ（ｉ）が演算されたら、所定の閾値ｌ
_ＴＨと比較して（ステツプ３ｄ）、もし、ｌ（ｉ）＞ｌ_ＴＨが成立するならＳＦ（ｉ）に“１”をセツトし、成立し
ないとき“０”をセツトする（ステツプ３ｅ，３ｆ）。
次にストローク番号ｉが１かどうか判定し、もし１であ
れば、つまり最初のストロークであれば、ステツプ３ｔ
にジヤンプし、ストロークテーブルのSTROKENEWを、タ
イミングの異なる別のストロークテーブルSTROKEOLDに
格納しておく（ステツプ３ｇ，３ｔ）。ストローク番号
が１以外であれば、前後のストロークフラグテーブルの
排他的論理和（ＥＯＲ）を取り、ストローク長の比較結
果の変化点を探索する（ステツプ３ｈ）。

ステツプ３ｈでＦＯＲの結果が“０”のとき、カウンタ
COUNTをクリア（ステツプ３ｈ）し、ｉ−１番目のスト
ロークフラグＳＦ（ｉ−１）をチエツクする（ステツプ
３ｑ）。もしＳＦ（ｉ−１）＝１のときｉ−１番目のス
トロークテーブル、すなわち、１つ前のSTROKEOLDをSTR
OKEGへ転送、ＳＦ（ｉ−１）＝０のとき、STROKECへ転
送する（ステツプ３ｒ，３ｓ）。

一方ステツプ３ｈのＦＯＲの結果が“１”のとき、スト
ローク長比較結果に変化があるため、カウンタCOUNTを
加算する。このカウンタCOUNTはストローク長の比較結
果の変化が２度続けて発生したことを示すためのもの
で、１は１回、２は２回続けて発生した場合である（ス
テツプ３ｉ）。したがつて、ステツプ３ｊでカウンタCO
UNTが２かどうかチエツクし、もし、そうでないなら、
ステツプ３ｑに行き、上記と同様の処理を行う。カウン
タCOUNTが２つのとき、すなわち、２回続けて前後のス
トローク長の判定が変化したとき、ストローク長の再計
算を行い、かつ再度閾値と比較することとなる（ステツ
プ３ｌ，３ｍ，３ｎ，３ｏ，３ｐ）。ストローク長の再
計算と比較は前述の(2),(3)式に示す通りである。

次に、ストロークテーブルの入れかえを行い（ステツプ
３ｔ）、全ストロークについて処理したかどうかチエツ
ク（ステツプ３ｕ）し、処理が終了していないとき、ス
トローク番号ｉを増加させて以下同様の処理を繰返す。
全ストロークについて処理が終了して処理中止となる。

なお、第９図のストローク分離処理と、第１図の文字認
識，図形認識はマルチ処理が行われているものとする。
したがつて、文字ストロークテーブル，図形ストローク
テーブルにデータが格納されるたびに文字および図形は
認識され、その結果がＣＲＴに表示される。

第１０図は、所定の閾値ｌ_ＴＨの学習のための処理フロ
ーで、本処理は、タブレツト上のフアンクシヨン指定用
のスイツチ等の指示により起動される。まず、イニシヤ
ル処理でテーブルクリアや、ストローク番号がセツトさ
れる（ステツプ４ａ）。次にタブレツトより座標を入力
し、ストロークテーブルSTROKENEWへデータを格納する
と同時に文字ストロークテーブルSTROKECへも転送する
（ステツプ４ｂ，４ｃ）。座標データを文字ストローク
テーブルSTROKECへ転送するのは、学習中においても、
文字認識を実行するためである。

次にストローク長ｌ（ｉ）の計算を、ストローク長の累
算ｌ_Ｓを計算する（ステツプ４ｄ，４ｅ）。全てのスト
ロークについて学習が終了したかどうかチエツクし（ス
テツプ４ｆ，４ｈ）、もし終了のとき所定の閾値ｌ_ＴＨ
を平均ストローク長ｌ_Ｓ／ｉに係数Ｋ_１を乗じて計算す
る（ステツプ４ｇ）。

以上のように学習によつて文字ストロークの平均ストロ
ーク長を演算できるため、適当な閾値を設定可能であ
る。

次に、本発明の他の実施例を述べる。本発明の一実施例
の所定の閾値として学習により設定しているが、これを
学習をせず、固定値としても良い。この場合、手書き文
字サイズは限定される。また、本発明の一実施例では、
ストローク分離をストローク入力毎に判定して処理して
いたが、これを全ストローク入力後、判定しても良い。
この場合、第９図の座標入力を全てのストロークについ
て終了してからストローク長計算や、閾値比較を行いス
トローク分離を行えば良い。当然、ストロークテーブル
等のテーブルは全ストロークについて格納するためメ
モリサイズが大きくなる、オフライン処理となりマン
マシン性が悪くなる、という欠点が生じる。しかし、手
書き入力を全て終了してから認識したい応用分野には、
この他の実施例でも手書入力を文字と図形に分離するこ
とが可能である。

さらに、所定の閾値を学習により演算する場合、文字ス
トロークの平均ストローク長に係数を乗じて求めていた
が、これを平均ストローク長と分散値で求めても良い。

〔発明の効果〕

まず第１の効果として、手書き文字認識，手書き図形認
識のモードを指定する操作が自動化され、マンマシン性
が著しく向上することが挙げられる。例えば、第１１
図，第１２図に本発明の応用形態を示すように、既に清
書されたテキスト（文書）をＪＩＳの校正記号である図
形シンボルを入力することにより非常に簡単にテキスト
編集を行うことができる。

第１１図は削除の図形シンボルで、これを手書き図形と
して認識し、かつ削除のコマンドと対応させた場合の例
で、この場合、Ｂ，Ｃ，Ｄのテキストが削除されること
になる。また、第１２図は、テキストＡとＥの間に、
Ｂ，Ｃ，Ｄの手書き文字を挿入する場合の例で、Ｂ，
Ｃ，Ｄは手書き文字、それ以外は手書き図形として分離
され、それぞれ認識される。以上のように、文字と図形
の入力をモード指定なしに行うことができる。勿論、第
２図のように手書き図形を編集用コマンドと対応させ
ず、通常の図形入力としても文字と図形のモード指定は
不要となる。

次に第２の効果として、ストローク長を判定する所定の
閾値を予め文字ストロークを入力し学習して設定するた
め、ストローク分離が良好に行うことができる。

第３の効果として、前後のストローク長と所定の閾値の
比較演算結果が２回連続して、判定が異つた場合、再度
ストローク長の見直し判定を行うため、閾値附近のスト
ロークに対し誤り判定を少なくすることができる。

【図面の簡単な説明】

第１図は本発明の一実施例の全体ブロック構成図、第２
図から第７図は本発明の一実施例の処理概要を説明する
ための図、第８図から第１０図は本発明の一実施例の詳
細説明のためのテーブル構成図及びフローチヤート、第
１１図から第１２図は本発明の応用例を示す図である。１…タブレツト、２…スタイラスペン、３…ストローク
分離手段、４…閾値学習手段、５…文字認識手段、６…
図形認識手段、７…文字図形表示手段、８…ＣＲＴデイ
スプレイ装置、９…実時間手書き認識装置。

フロントページの続き (72)発明者横山孝典茨城県日立市幸町３丁目１番１号株式会社日立製作所日立研究所内 (56)参考文献特開昭55−162176（ＪＰ，Ａ)

Claims

【特許請求の範囲】

【請求項１】時々刻々と入力される手書きストロークを
文字又は図形と認識する実時間手書き軌跡認識方法にお
いて、前記手書き入力されたストローク長を計算し、当該求め
たストローク長と所定の閾値とを比較し、当該比較結果
に基づいて入力されたストロークが文字か図形かを識別
し、前記手書き入力されたストロークの入力順に、文字
から図形あるいは図形から文字へと識別結果が変化する
状態が連続して発生した場合に、当該連続して変化した
識別結果に対応するストローク長を再度判定することを
特徴とする実時間手書き軌跡認識方法。
【請求項２】特許請求の範囲第１項において、前記手書き入力されたストロークの入力順に、文字から
図形あるいは図形から文字へと識別結果が変化する状態
が連続して発生した場合とは、前記識別結果が入力順
に、文字、図形、文字と、あるいは、図形、文字、図形
となった場合であることを特徴とする実時間手書き軌跡
認識方法。
【請求項３】特許請求の範囲第２項において、前記連続して変化した識別結果に対応するストローク長
を再度判定するとは、当該連続して変化した識別結果に
対応する手書きストローク長に所定の補正係数を乗じ
て、再度前記所定の閾値と比較し、当該比較結果に基づ
いて入力されたストロークが文字か図形かを判定するこ
とであることを特徴とする実時間手書き軌跡認識方法。
【請求項４】特許請求の範囲第１項において、前記図形は、校正記号である図形シンボルを含むことを
特徴とする実時間手書き軌跡認識方法。
【請求項５】特許請求の範囲第１項において、前記手書き入力されたストローク長の計算、求めたスト
ローク長と所定の閾値との比較による文字か図形かの識
別及び連続して変化した識別結果に対応するストローク
長の再判定処理を、前記手書きストロークが入力される
毎に実行することを特徴とする実時間手書き軌跡認識方
法。