JPH0460269B2 - - Google Patents

Description

【発明の詳細な説明】

〔発明の利用分野〕 本発明は手書き文字・図形認識システムに関
し、特に、手書き入力されたストローク情報の表
示と認識結果の表示に関するものである。 〔発明の背景〕 手書認識システムとしては、特許昭58−144287
号公報に示されるように、文字認識システムが中
心である。文字と図形が混在する手書き文字・図
形認識システムにおいて、手書き入力されたスト
ローク情報の表示と認識結果の表示をどのように
して行うかの技術的な面での示唆或いは具体的な
提案は、今までのところない。 上記、特開昭58−144287号公報では、入力面上
を、複数の矩形エリアに分割し、矩形エリア内に
ストロークを表示するようにして、矩形エリア単
位に認識が終了すれば、当該矩形エリア内を認識
表示に変更していた。 この結果、認識前のストロークは、矩形エリア
単位に自動的に消去されていた。 しかしながら、文字だけでなく、図形が混在す
る手書き文字・図形認識システムにおいて、矩形
エリア単位に認識表示への変更を行うと、次のよ
うな問題が生じる。 (1) 手書き文字を図形線上に書くと、手書きの文
字ストロークを消去する為には、矩形エリア単
位に認識表示に変更しなければならず、この結
果、当該矩形エリア内の図形としての線が切れ
てしまう。この様子を示したのが第１図ａ，ｂ
であり、ａは認識前，ｂは認識後を示してい
る。 (2) 図形をストロープで入力し、認識結果を表示
するように制御すると、ストローク表示を消去
することができなくなる。つまり、図形認識で
は文字認識の如く、矩形エリア単位の認識方法
採用しないので、認識結果だけを表示しようと
すると、認識済みの他の文字等を消去してしま
う場合があり、認識済みのストローク情報のみ
を消去することができなくなる。 この様子を示したのが第１図ｃ，ｄである。ｃ
は手書き図形入力ストロークの認識前の表示を示
し、ｄは手書き図形入力ストロークが消去されな
いまゝ残つている認識後の表示を示している。 一方、認識結果表示の際に、全てのストローク
表示を消去してしまうと、まだ認識されていない
ストロークまで消去してしまうことがあり、不都
合がある。 〔発明の目的〕 本発明は、上記の問題点に鑑み発明されたもの
で、その目的は、認識結果の表示を行う時に、認
識に関するストローク情報を消去し、認識されて
いないストローク情報は、表示画面上に残るよう
にした手書き文字・図形認識システムを提出する
にある。 〔発明の概要〕 本発明では、手書きに入力されるストローク情
報の中で、認識に関与したストローク情報は、認
識結果を表示する際に、順次消去される。 本発明では、入力ストロークがある毎に、認識
処理が行なわれ、認識が完了すると当該認識に関
与したストローク情報の消去が行なわれ、認識処
理中のストロークのみが、表示面上に表示され
る。 本発明では認識装置が認識結果を表示装置に出
力する際に、認識結果に関するストローク情報と
して、ストローク数或いは座標数を出力するよう
にしており、表示装置側で、認識済みのストロー
クのみを消去するようになつている。 〔発明の実施例〕 第２図は、本発明の一実施例の全体構成図を示
し、１は電磁誘導型のスタイラスペン、２は液晶
デイスプレイ、３は電磁タブレツト、４は処理装
置、５はフレームメモリ、６は表示制御装置、７
は手書文字・図形認識装置、８はカバーである。 第３図は第２図の動作説明用のタイムチヤート
であり、Ａは電磁タブレツト３の動作、Ｂ，Ｄ，
Ｅ，Ｆは手書文字・図形認識装置７の動作、Ｃ，
Ｇ，Ｈは処理装置４の動作を示している。 液晶デイスプレイ２の上から電磁波を出力する
スタイラスペン１でストロークを入力すると、電
磁波は、液晶デイスプレイ２を通りぬけて、電磁
タブレツト３に到達し、入力ポイントの座標が読
み取られる。この入力座標は、電磁タブレツト３
より、順次、バス１０１を介して手書文字・図形
認識装置７（以下認識装置と略称する）へ送出さ
れる（第３図のＡの処理）。 認識装置７では、ストローク表示を行なわせる
ため、バス１０２を介して処理装置４へ入力座標
を、座標変化して送出する。（第３図Ｂ）処理装
置４では、液晶デイスプレイ２上にストロークを
表示させるため、前に入力されている座標と今回
入力された座標を直線で接続するよう、フレーム
メモリ５の対応座標に書き込む。（第３図Ｃ）、一
方、認識装置７は入力されたストロークを基に手
書認識を行い（第３図Ｄ）、図示していない辞書
内の図形又は文字と一致しなければ、次の入力ス
トロークの入力を持つ。（第３図Ｅ）、一致した場
合は、認識結果をバス１０２を介して処理装置４
へ送出する。（第３図Ｆ）この場合、認識された
図形或いは文字コードを送出するだけではなく、
後述する如く入力ストロークのどこまでが認識さ
れたのか情報も共に送られる。認識結果を受信し
た処理装置４は、まず、入力ストロークのどこま
でが認識されたかの情報を基に、バス１０３を介
して、認識の終了したストロークをフレームメモ
リ５から消去する指名を出力する。（第３図Ｇ） 更に、処理装置４は、バス１０４を介して認識
結果をフレームメモリ５に書込む。（第３図Ｈ） フレームメモリ５の内容は、60Hz以上の周波数
で、常に、表示制御装置６より読み取られ、バス
１０７，１０８を介して液晶デイスプレイ２へ送
出されているため、フレームメモリ５の変化は瞬
時に液晶デイスプレイ２上に表示される。 以上が、全体的な動作概要であるが、次に各部
の詳細動作を以下で順次説明する。 (1) 入力座標読取り 電磁タブレツト３は、前述の如く、スタイラス
ペン１からの電磁波を受けて、ペン先の座標を検
出する。タブレツトとペンについては、たとえば
セイコー電子株式会社製のDT−4010を使用する
ことができ、その原理の詳細は、例えばトランジ
スタ技術1983年５月号に掲載されている。 ペン先の座標情報と共に、ペンが液晶デイスプ
レイ２、又はカバー８上を押下しているか、して
いないかの情報をも読み取ることが可能である。
そしてバス１０１を介して電磁タブレツト３の絶
対座標及びペンが押下されているか（pen down
status）押下されていないか（pen up sutatus）
の情報が手書き文字・図形認識装置７に入力され
る。 (2) 手書文字・図形認識装置７の動作 第４図に、電磁タブレツト３と、液晶デイスプ
レイ２の表示部、及び液晶表示部の上から見た位
置関係、更に、フレームメモリ５のどの部分を表
示するかを指示するエリアの関係を示す。電磁タ
ブレツト３は、第４図の全エリアの座標を入力す
ることが可能で、手書文字・図形認識装置７はバ
ス１０１から入力されたタブレツト座標を、第４
図の位置関係から、液晶表示部内の座標、表示位
置指示エリアの座標1/2表示エリアの座標、それ
以外に分離する処理を行なう。表示位置指示エリ
アや、1/2表示エリアは、液晶表示部が小さいた
め、フレームメモリ５の全体を表示することがで
きないため設けられたものである。具体的には、
1280×1024ドツトを有するフレームメモリ５の中
の640×256ドツトが液晶デイスプレイ２へ表示さ
れており、表示する左上の座標を表示位置指名エ
リアで、1280×512ドツトを1/2に縮小して表示す
る表示を1/2指示エリアをペンで押下することで
指定できる。こうした情報は、バス１０９を介し
て表示制御装置６へ送られ、フレームメモリ５の
読出しアドレスが変更される。 一方、ペンで、第４図の液晶表示部を押下した
場合の動作につき以下で説明する。 電磁タブレツト３の入力座傷（Ｘ，Ｙ）は、フ
レームメモリ５内の座標（ｘ，ｙ）な座標変換式 ｘ ｙ＝Ｍaob ocdＸ Ｙ １＋X₀ Y₀ (1) でもつて変換される。ここで、Ｍは、通常表示時
は、１，1/2縮小表示時は２とする定数で、（ａ，
ｂ，ｃ，ｄは）、タブレツト座標を、液晶表示面
の座標へ変換するための変換マトリツクス座標、
（X₀，Y₀）は、フレームメモリ５のどの位置から
液晶デイスプレイ２に表示されているかを示す基
準座標である。 変換された座標（ｘ，ｙ）は、pen up／pen
downのステータス情報と共にバス１０２を介し
て処理装置４へ送られる。 一方、（Ｘ，Ｙ）の座標情報、及びpen up／
pen downのステータス情報を基に手書文字・図
形認識装置７は手書認識を行なう。 まず、入力ストロークのpen up／pen down情
報によつて、入力座標をストローク単位に分離す
る。これは、今までpen up状態でpen down状態
になると、ストロークの開始であるため、入力座
標をスタツクし、再度pen upになるとストロー
クが終了となる。一本のストロークが入力される
と、上記スタツクされた座標情報を用いて認識を
行なう。 辞書内に定義された辞書とマツチングしなけれ
ば、次のストローク情報の入力を待ち、マツチン
グすれば、その結果を処理装置４へバス１０２を
介して送出する。 第５図は、認識結果の送信データフオーマツト
を示す。ａは前に述べた座標情報を送出する場合
のフオーマツトで、座標情報送出を意志するフラ
ツグFlagAとpenのup／down情報を示すPENと
座標（ｘ，ｙ）が送出される。ｂは文字認識結果
を送出する場合のフオーマツトである。この場合
は、文字認識送出を示すフラツグFlagBと、認識
に使用したストローク数ｎと、認識された文字コ
ードCHARと、文字のサイズ、書かれた位置を
示すSIZE＆LOCATIONが送出される。ｃは図
形認識結果を示す場合のフオーマツトである。こ
の場合は、文字認識の場合とほぼ同様で、認識さ
れた図形コードCODEを送出することが、文字認
識の場合と異なる。 以上のようなフオーマツトで、認識結果を処理
装置７に送出するが、認識に使用したストローク
ｎを送出することに特徴を有する。 (3) 処理装置の動作 第６図は、処理装置４の内部構成を示したもの
で、文字・図形認識装置７とのインターフエース
である受信回路６１と、演算用レジスタを有した
演算回路６２と、記憶装置として、２つのフアー
ストイン、フアーストアウト（FIFO）の記憶回
路６４，６５、及び記憶回路６４，６５それぞれ
の入力ポインタ６８，７０と出力ポインタ６７，
６９更にフレームメモリ５への出力回路６３でも
つて構成される。記憶回路６４は１ストロークを
構成する座標数（電数）を、６５は、ｘ，y1組
の座標情報を記憶したり、読み出したりすること
ができる。 演算回路６２には、座標数ｍやｐ、状態を示す
state、座標（α，β），（γ，δ）を記憶するレ
ジスタ、更に、受信されたデータを保持するレジ
スタ等を有し、これらを用いて加減算や、記憶回
路６４，６５の制御、出力回路６３の制御を実施
することができる。 第７図ａ，ｂは、この演算回路６２の動作を示
したフローチヤートで、以下、このフローチヤー
トに従つて動作を説明する。 イニシヤライズの後で（第７図）受信回路６
１からの入力を待つ（第７図）。入力があつた
場合第５図の入力データを用いて以下の処理を行
なう。まずｃ，ｄで受信したフラツグのチエツク
を行なう。フラツグが座標入力の場合は、第７図
ｂので、ペンがアツプしているか、ダウンして
いるかチエツクされる。ペンアツプの場合は、入
力座標（ｘ，ｙ）にカーソルを表示した後（第７
図）ストローク入力中かどうかがチエツクさ
れ、ストローク入力中でない場合は、次の座標入
力待に戻る。（第７図） ストローク入力中にペンアツプを検出すれば、
スノローク入力が終了したことを意味するため、
ステートをイニシヤライズし、ストロークを形成
する（ｘ，ｙ）座標の個数ｍを、FIFO６４に入
力ポインタ６８を用いて書き込んだ後、入力ポイ
イタ６８をプラス１し、ｍをイニシヤライズす
る。 （第７図） 第７図でpen downの時には、ステートがイ
ニシヤライズであるかどうかがチエツクされ、
（第７図）イニシヤライズの時は、ストローク
入力が開始されたことを示すため、ストローク入
力モードにステートを変更する。（第７図）一
方、ストローク入力中は、FIFO６５の最後に入
力された座標と、今回入力された座標（ｘ，ｙ）
を結ぶ直線が出力される。（第７図）更にモー
ドに関係なく、入力された座標（ｘ，ｙ）を
FIFO６５に書き込み、入力ポインタ７０及びス
トロークを構成する座標個数を示す値ｍを更新す
る。（第７図）。 以上の処理を行なうことによつて、FIFO６４
には各ストロークの座標数が、FIFO６５には、
座標（ｘ，ｙ）の値がスタツクされる。 フラツグがＢ，Ｃの場合は、ｎ個のストローク
を消去するため、以下の処理が行なわれる。 まず、FIFO６４から最初のストロークの座標
数ｐを読み出し、出力ポインタ６７を更新する。
（第７図）更に、FIFO６５から、最初の座標
（α，β）を読み出し，FIFO６５の出力ポインタ
６９を更新し、またｐを１減算する。（第７図）
更に次の座標（γ，δ）も同様に読み出し、（第
７図）、（α，β）から（γ，δ）を結ぶ直線を
消去する。消去後、（γ，δ）を（α，β）へ代
入して、（第７図）次の直線の消去を、ストロ
ークの座標数ｐに達するまで実行する。（第７図
） １本のストロークの消去が終了するとｎを減算
し、認識に使用したストローク本数に達するま
で、消去を繰返す。（第７図，） 以上の処理を行なうことによつて、認識が終了
したストロークのみ、順次消去することができ
る。 出力回路６３は、上記フローの中で、ストロー
クの出力、消去を制御する。出力、消去について
は、ここでは、排他的理論和を用いてフレームメ
モリ５に書き込むことで、実施する。 排他的論理和は、入力ａ，ｂに対し出力ｃが
下表のような形で表わされる。

〔発明の効果〕

本発明によれば、入力されたストロークを順次
表示装置に表示し、ストローク情報の中で、文字
や、図形として認識されたものは、ストローク情
報が消去され、認識結果が表示されるため、マ
ン・マシン性のよい手書文字・図形認識システム
を提供できる。

【図面の簡単な説明】

第１図の従来方式の問題点を示した図、第２図
は、本発明が適用される全体のシステム構成図、
第３図は、その動作をフローチヤートで示した
図、第４図は、入力一体化デイスプレイのレイア
ウト図、第５図は、転送データのフオーマツトを
示した図、第６図は、第２図に示す処理装置の一
実施例構成図、第７図は、第６図の動作をフロー
チヤートで示した図である。 １……スタイラスペン、２……液晶デイスプレ
イ、３……電磁タブレツト、４……処理装置、５
……フレームメモリ、６……表示制御装置、７…
…手書文字・図形認識装置。

Claims (1)

1. 【特許請求の範囲】 １ 手書き入力された文字・図形のスローク情報
   を読取る入力手段と、該入力ストローク情報の特
   徴によつて文字・図形の認識を行う認識手段と、
   該入力ストローク情報と認識結果を表示する表示
   手段を有する手書き文字・図形認識システムにお
   いて、認識結果を表示する際に認識結果に対応す
   るストローク情報を消去するようにしたことを特
   徴とする手書き文字・図形認識システム。 ２ 対応するストローク情報を消去した後、認識
   結果を表示するようにした特許請求の範囲第１項
   記載の手書き文字・図形認識システム。 ３ 認識手段より、表示手段へ認識結果を出力す
   る際に、認識に使用された対応ストローク情報を
   同時に出力するようにした特許請求の範囲第１項
   記載の手書き文字・図形認識システム。 ４ 認識に使用された対応ストローク情報とし
   て、ストローク数を出力するようにした特許請求
   の範囲第３項記載の手書き文字・図形認識システ
   ム。 ５ 認識に使用された対応ストローク情報とし
   て、座標数を出力するようにした特許請求の範囲
   第３項記載の手書き文字・図形認識システム。 ６ 表示手段は、入力ストローク情報を順次記憶
   して表示し、認識手段から認識結果を得る毎に、
   記憶された当該認識結果に対応するストローク情
   報を消去するようにした特許請求の範囲第１項記
   載の手書き文字・図形認識システム。 ７ ストローク数および座標数をもとにして消去
   すべきストローク情報を決定するようにした特許
   請求の範囲第４項、第５項記載の手書き文字・図
   形認識システム。 ８ 入力手段と表示手段を種ね合わせて一体化
   し、入力した場所にストローク情報を表示するよ
   うにした特許請求の範囲第１項記載の手書き文
   字・図形認識システム。 ９ ストローク情報が入力される毎に、文字・図
   形の認識を行い、認識が完了される毎に、当該認
   識結果に関する入力ストローク情報の消去を行
   い、その後当該認識結果を表示するようにした特
   許請求の範囲第１項記載の手書き文字・図形認識
   システム。