JPH06187501A

JPH06187501A - 手書き文字・図形認識システム

Info

Publication number: JPH06187501A
Application number: JP5212509A
Authority: JP
Inventors: Yasushi Fukunaga; 泰福永; 壮四郎 ▲葛▼貫; Soshiro Kuzunuki; Hiroshi Shojima; 正嶋　　博; Takanori Yokoyama; 孝典横山; Kazuyoshi Koga; 和義古賀; Kotaro Hirasawa; 宏太郎平沢; Shinichi Kawada; 信一川田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1993-08-01
Filing date: 1993-08-27
Publication date: 1994-07-08

Abstract

(57)【要約】【目的】入力面上に矩形エリアが表示されていないもの
においても、良好に文字・図形の認識が可能な手書き文
字・図形認識システムの提供。【構成】手書き入力ストローク情報を読み取る入力手段
３と、入力ストローク情報の特徴量を用いて辞書とマッ
チングを行い認識を行う認識手段７と、入力ストローク
情報及び認識結果を表示する表示手段２とを有し、認識
手段７は、ストローク情報が入力される毎にマッチング
を行い、マッチングの結果一致しない場合には次の入力
ストローク情報と合わせて再度マッチングを行う。【効果】入力面上に矩形エリアが表示されていないもの
においても、良好に文字・図形の認識が可能となり、操
作性の向上を図ることが可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は手書き文字・図形認識シ
ステムに関し、特に、手書き入力されたストローク情報
の表示と認識結果の表示に関するものである。

【０００２】

【従来の技術】手書認識システムとしては、特開昭58−
144287号公報に示されるように、文字認識システムが中
心である。文字と図形が混在する手書き文字・図形認識
システムにおいて、手書き入力されたストローク情報の
表示と認識結果の表示をどのようにして行うかの技術的
な面での示唆或いは具体的な提案は、今までのところな
い。

【０００３】上記、特開昭58−144287号公報では、入力
面上を、複数の矩形エリアに分割し、矩形エリア内にス
トロークを表示するようにして、矩形エリア単位に認識
が終了すれば、当該矩形エリア内を認識表示に変更して
いた。

【０００４】この結果、認識前のストロークは、矩形エ
リア単位に自動的に消去されていた。

【０００５】しかしながら、文字だけでなく、図形が混
在する手書き文字・図形認識システムにおいて、矩形エ
リア単位に認識表示への変更を行うと、次のような問題
が生じる。

【０００６】（１）手書き文字を図形線上に書くと、手
書きの文字ストロークを消去する為には、矩形エリア単
位に認識表示に変更しなければならず、この結果、当該
矩形エリア内の図形としての線が切れてしまう。この様
子を示したのが図１（ａ),(ｂ）であり、（ａ）は認識
前、（ｂ）は認識後を示している。

【０００７】（２）図形をストロークで入力し、認識結
果を表示するように制御すると、ストローク表示を消去
することができなくなる。つまり、図形認識では文字認
識の如く、矩形エリア単位の認識方法を採用しないの
で、認識結果だけを表示しようとすると、認識済みの他
の文字等を消去してしまう場合があり、認識済みのスト
ローク情報のみを消去することができなくなる。

【０００８】この様子を示したのが図１（ｃ)，(ｄ）で
ある。

【０００９】（ｃ）は手書き図形入力ストロークの認識
前の表示を示し、（ｄ）は手書き図形入力ストロークが
消去されないまま残っている認識後の表示を示してい
る。

【００１０】一方、認識結果表示の際に、全てのストロ
ーク表示を消去してしまうと、まだ認識されていないス
トロークまで消去してしまうことがあり、不都合があ
る。

【００１１】

【発明が解決しようとする課題】上記従来技術では、入
力面上に予め複数の矩形エリアが表示され、その矩形エ
リア毎に入力ストロークの認識と、筆跡である入力スト
ロークの消去を実行するものであり、認識のための入力
ストロークの切り出しは、ストロークの入力が、第１の
矩形エリアから次の矩形エリアへ移行した場合に、その
第１の矩形エリア内に存在する入力ストロークを切り出
し認識処理を実行するものである。従って、入力面上に
矩形エリアが表示されていないものにおいては、入力ス
トロークを切り出し認識を行うことはできないという問
題があった。

【００１２】本発明の目的は、入力面上に矩形エリアが
表示されていないものにおいても、良好に文字・図形の
認識が可能な手書き文字・図形認識システムを提供する
ことにある。

【００１３】

【課題を解決するための手段】本発明は、手書き入力さ
れた文字・図形のストローク情報を読み取る入力手段
と、前記読み取られた入力ストローク情報の特徴量を用
いて辞書とマッチングを行い文字・図形の認識を行う認
識手段と、前記入力ストローク情報及び前記認識手段に
より得られた認識結果を表示する表示手段を有する手書
き文字・図形認識システムにおいて、前記認識手段は、
前記入力手段によりストローク情報が入力される毎に前
記辞書とのマッチングを行い、マッチングの結果一致し
ない場合には次の入力ストローク情報と合わせて再度マ
ッチングを行うように構成したことに特徴がある。

【００１４】

【作用】本発明によれば、ストローク情報が入力される
毎に逐次辞書とのマッチングが行われ、マッチングの結
果一致する場合には認識結果が表示される。また、マッ
チングの結果一致するものがない場合には、次に入力さ
れたストローク情報と合わせてマッチングが行われ、認
識結果が得られまで同様の処理が繰返し実行される。こ
れにより、入力面上に矩形エリアが表示されていないも
のにおいても、ストローク情報が入力される毎に認識が
行われるので、自動的に入力ストローク情報が切り出さ
れ認識されることとなり、操作性の向上を図ることが可
能となる。

【００１５】

【実施例】図２は本発明の一実施例の全体構成図を示
し、１は電磁誘導型のスタイラスペン、２は液晶ディス
プレイ、３は電磁タブレット、４は処理装置、５はフレ
ームメモリ、６は表示制御装置、７は手書き文字・図形
認識装置、８はカバーである。

【００１６】図３は図２の動作説明用のタイムチャート
であり、（Ａ）は電磁タブレット３の動作、(Ｂ)，
(Ｄ)，(Ｅ)，(Ｆ）は手書き文字・図形認識装置７の動
作、(Ｃ),(Ｇ)，(Ｈ）は処理装置４の動作を示してい
る。

【００１７】液晶ディスプレイ２の上から電磁波を出力
するスタイラスペン１でストロークを入力すると、電磁
波は、液晶ディスプレイ２を通りぬけて、電磁タブレッ
ト３に到達し、入力ポイントの座標が読み取られる。こ
の入力座標は、電磁タブレット３より、順次、バス１０
１を介して手書き文字・図形認識装置７（以下認識装置
と略称する）へ送出される（図３の（Ａ）の処理）。

【００１８】認識装置７では、ストローク表示を行わせ
るため、バス１０２を介して処理装置４へ入力座標を、
座標変換して送出する（図３(Ｂ)）。処理装置４では、
液晶ディスプレイ２上にストロークを表示させるため、
前に入力されている座標と今回入力された座標を直線で
接続するよう、フレームメモリ５の対応座標に書き込む
（図３(Ｃ)）、一方、認識装置７は入力されたストロー
クを基に手書き認識を行い（図３(Ｄ)）、図示していな
い辞書内の図形又は文字と一致しなければ、次の入力ス
トロークの入力を待つ（図３(Ｅ)）。一致した場合は、
認識結果をバス１０２を介して処理装置４へ送出する
（（図３(Ｆ)）。この場合、認識された図形或いは文字
コードを送出するだけではなく、後述する如く入力スト
ロークのどこまでが認識されたかの情報も共に送られ
る。認識結果を受信した処理装置４は、まず、入力スト
ロークのどこまでが認識されたかの情報を基に、バス１
０３を介して、認識の終了したストロークをフレームメ
モリ５から消去する指令を出力する（図３(Ｇ)）。

【００１９】更に、処理装置４は、バス１０４を介して
認識結果をフレームメモリ５に書き込む（図３(Ｈ)）。

【００２０】フレームメモリ５の内容は、６０Ｈｚ以上
の周波数で、常に、表示制御装置６より読み取られ、バ
ス１０７，１０８を介して液晶ディスプレイ２へ送出さ
れているため、フレームメモリ５の変化は瞬時に液晶デ
ィスプレイ２上に表示される。

【００２１】以上が、全体的な動作概要であるが、次に
各部の詳細動作を以下で順次説明する。

【００２２】（１）入力座標読み取り電磁タブレット３は、前述の如く、スタイラスペン１か
らの電磁波を受けて、ペン先の座標を検出する。タブレ
ットとペンについては、たとえばセイコー電子株式会社
製のＤＴ−４０１０を使用することができ、その原理の
詳細は、例えばトランジスタ技術１９８３年５月号に掲
載されている。

【００２３】ペン先の座標情報と共に、ペンが液晶ディ
スプレイ２、又はカバー８上を押下しているか、してい
ないかの情報をも読み取ることが可能である。そしてバ
ス１０１を介して電磁タブレット３の絶対座標及びペン
が押下されているか（pendown status）押下されていな
いか（pen up status）の情報が手書き文字・図形認識
装置７に入力される。

【００２４】（２）手書き文字・図形認識装置７の動作図４に、電磁タブレット３と、液晶ディスプレイ２の表
示部、及び液晶表示部の上から見た位置関係、更に、フ
レームメモリ５のどの部分を表示するかを指示するエリ
アの関係を示す。電磁タブレット３は、図４の全エリア
の座標を入力することが可能で、手書き文字・図形認識
装置７はバス１０１から入力されたタブレット座標を、
図４の位置関係から、液晶表示部内の座標，表示位置指
示エリアの座標，１／２表示エリアの座標、それ以外に
分離する処理を行う。表示位置指示エリアや、１／２表
示エリアは、液晶表示部が小さいため、フレームメモリ
５の全体を表示することができないため設けられたもの
である。具体的には、1280×１０２４ドットを有するフ
レームメモリ５の中の６４０×２５６ドットが液晶ディ
スプレイ２へ表示されており、表示する左上の座標を表
示位置指定エリアで、１２８０×５１２ドットを１／２
に縮小して表示する表示を１／２指示エリアをペンで押
下することで指定できる。こうした情報は、バス１０９
を介して表示制御装置６へ送られ、フレームメモリ５の
読み出しアドレスが変更される。

【００２５】一方、ペンで、図４の液晶表示部を押下し
た場合の動作につき以下で説明する。

【００２６】電磁タブレット３の入力座標(Ｘ，Ｙ)は、
フレームメモリ５内の座標(ｘ，ｙ)に座標変換式

【００２７】

【数１】

【００２８】でもって変換される。ここで、Ｍは、通常
表示時は、１，１／２縮小表示時は２とする定数で、
（ａ，ｂ，ｃ，ｄ）は、タブレット座標を、液晶表示面
の座標へ変換するための変換マトリックス座標、
（Ｘ₀，Ｙ₀）は、フレームメモリ５のどの位置から液晶
ディスプレイ２に表示されているかを示す基準座標であ
る。

【００２９】変換された座標（ｘ，ｙ）は、pen up／pe
n downのステータス情報と共にバス１０２を介して処理
装置４へ送られる。

【００３０】一方、（Ｘ，Ｙ）の座標情報、及びpen up
／pen downのステータス情報を基に手書き文字・図形認
識装置７は手書き認識を行う。

【００３１】まず、入力ストロークのpen up／pen down
情報によって、入力座標をストローク単位に分離する。
これは、今までpen up状態でpen down状態になると、ス
トロークの開始であるため、入力座標をスタックし、再
度pen upになるとストロークが終了となる。一本のスト
ロークが入力されると、上記スタックされた座標情報を
用いて認識を行う。

【００３２】辞書内の定義された辞書とマッチングしな
ければ、次のストローク情報の入力を待ち、マッチング
すれば、その結果を処理装置４へバス１０２を介して送
出する。

【００３３】図５は、認識結果の送信データフォーマッ
トを示す。（ａ）は前に述べた座標情報を送出する場合
のフォーマットで、座標情報送出を意味するフラッグFl
agＡとpen のup／down情報を示すＰＥＮと座標（ｘ，
ｙ）が送出される。（ｂ）は文字認識結果を送出する場
合のフォーマットである。この場合は、文字認識送出を
示すフラッグFlagＢと、認識に使用したストローク数ｎ
と、認識された文字コードＣＨＡＲと、文字のサイズ，
書かれた位置を示すSIZE＆LOCATIONが送出される。
（ｃ）は図形認識結果を示す場合のフォーマットであ
る。この場合は、文字認識の場合とほぼ同様で、認識さ
れた図形コードＣＯＤＥを送出することが、文字認識の
場合と異なる。

【００３４】以上のようなフォーマットで、認識結果を
処理装置７に送出するが、認識に使用したストロークｎ
を送出することに特徴を有する。

【００３５】（３）処理装置の動作図６は、処理装置４の内部構成を示したもので、文字・
図形認識装置７とのインタフェースである受信回路６１
と、演算用レジスタを有した演算回路６２と、記憶装置
として、２つのファーストイン，ファーストアウト（Ｆ
ＩＦＯ）の記憶回路６４，６５、及び記憶回路６４，６
５それぞれの入力ポインタ６８，７０と出力ポインタ６
７，６９更にフレームメモリ５への出力回路６３でもっ
て構成される。記憶回路６４は１ストロークを構成する
座標数（電数）を、６５は、ｘ，ｙ１組の座標情報を記
憶したり、読み出したりすることができる。

【００３６】演算回路６２には、座標数ｍやｐ、状態を
示すstate、座標（α，β），(γ，δ）を記憶するレジ
スタ、更に、受信されたデータを保持するレジスタ等を
有し、これらを用いて加減算や、記憶回路６４，６５の
制御，出力回路６３の制御を実施することができる。

【００３７】図７及び図８は、この演算回路６２の動作
を示したフローチャートで、以下、このフローチャート
に従って動作を説明する。

【００３８】イニシャライズの後で（図７(ａ)）受信回
路６１からの入力を待つ(図７(ｂ))。入力があった場合
図５の入力データを用いて以下の処理を行う。まず
（ｃ），（ｄ）で受信したフラッグのチェックを行う。
フラッグが座標入力の場合は、図８の（ｆ）で、ペンが
アップしているか、ダウンしているかがチェックされ
る。ペンアップの場合は、入力座標（ｘ，ｙ）にカーソ
ルを表示した後（図７(ｊ)）ストローク入力中かどうか
がチェックされ、ストローク入力中でない場合は、次の
座標入力待に戻る（図８(ｇ)）。

【００３９】ストローク入力中にペンアップを検出すれ
ば、ストローク入力が終了したことを意味するため、ス
テートをイニシャライズし、ストロークを形成する
(ｘ，ｙ)座標の個数ｍを、ＦＩＦＯ６４に入力ポインタ
６８を用いて書き込んだ後、入力ポインタ６８をプラス
１し、ｍをイニシャライズする（図８(ｈ)）。

【００４０】図８(ｆ)でpen downの時には、ステートが
イニシャライズであるかどうかがチェックされ（図８
(ｋ)）、イニシャライズの時は、ストローク入力が開始
されたことを示すため、ストローク入力モードにステー
トを変更する（図８(ｍ)）。一方、ストローク入力中
は、ＦＩＦＯ６５の最後に入力された座標と、今回入力
された座標（ｘ，ｙ）を結ぶ直線が出力される（図８
(ｌ)）。更にモードに関係なく、入力された座標（ｘ，
ｙ）をＦＩＦＯ６５に書き込み、入力ポインタ７０及び
ストロークを構成する座標個数を示す値ｍを更新する
（図８(ｍ)）。

【００４１】以上の処理を行うことによって、ＦＩＦＯ
６４には各ストロークの座標数が、ＦＩＦＯ６５には、
座標（ｘ，ｙ）の値がスタックされる。

【００４２】フラッグがＢ，Ｃの場合は、ｎ個のストロ
ークを消去するため、以下の処理が行われる。

【００４３】まず、ＦＩＦＯ６４から最初のストローク
の座標数ｐを読み出し、出力ポインタ６７を更新する
（図７(ｏ)）。更に、ＦＩＦＯ６５から、最初の座標
(α，β)を読み出し、ＦＩＦＯ６５の出力ポインタ６９
を更新し、またｐを１減算する（図７(ｐ)）。更に次の
座標（γ，δ）も同様に読み出し（図７(ｒ)）、（α，
β）から（γ，δ）を結ぶ直線を消去する。消去後、
（γ，δ）を（α，β）へ代入して（図７(ｓ)）、次の
直線の消去を、ストロークの座標数ｐに達するまで実行
する（図７(ｕ)）。

【００４４】１本のストロークの消去が終了するとｎを
減算し、認識に使用したストローク本数に達するまで、
消去を繰返す（図７(ｖ)，(ｘ)）。

【００４５】以上の処理を行うことによって、認識が終
了したストロークのみ、順次消去することができる。

【００４６】出力回路６３は、上記フローの中で、スト
ロークの出力，消去を制御する。出力，消去について
は、ここでは、排他的論理和を用いてフレームメモリ５
に書き込むことで、実施する。

【００４７】排他的論理和は、入力ａ，ｂに対し出力ｃ
が下表のような形で表わされる。

【００４８】

【表１】

【００４９】このため、

【００５０】

【数２】

【００５１】となって、同じ値ｂで２度排他的論理和を
とると、前の値に戻るという性質を有する。

【００５２】これにより、フレームメモリ５の座標Ｆ
（ｘ，ｙ）に対し、点を書き込もうとして、常に１で排
他的論理和をとると、

【００５３】

【数３】

【００５４】となる。更に消去するため再度１を書き込
むと、

【００５５】

【数４】

【００５６】となる。これによってＦ（ｘ，ｙ）の値が
元の値に戻り、消去することができる。

【００５７】（４）表示制御装置６の動作バス１０９を介して、表示基準座標（Ｘ₀，Ｙ₀）及び通
常表示か１／２表示かの指示を連絡されているため、フ
レームメモリ５に対して読み出しアドレスをバス１０６
を介して送出する。フレームメモリ５のデータをバス１
０５を介して受け取ると、液晶ディスプレイ２にアドレ
ス１０８とデータ１０７を送出する。これによってフレ
ームメモリ５の内容のディスプレイ２に送出される。

【００５８】以上述べてきたように、本実施例によれ
ば、認識表示前に、認識結果に対応するストローク表示
を消去することができ、また入力と出力を一体化するこ
とで、入力された場所に認識前のストローク情報と、認
識結果を時系列的に表示することができ、マン・マシン
性が向上する。

【００５９】一方、本発明の他の実施例としては、処理
装置４で認識も行ってしまう方式や、認識したストロー
ク数を連絡するのではなく、更に細かくストロークの座
標数を連絡する方式も考えられる。

【００６０】

【発明の効果】本発明によれば、入力面上に矩形エリア
が表示されていないものにおいても、自動的に入力スト
ローク情報が切り出され、認識されることとなるため、
操作性の向上を図ることが可能となる。

【図面の簡単な説明】

【図１】従来技術の問題点の説明図である。

【図２】本発明が適用されるシステムの全体構成図であ
る。

【図３】図２に示すシステムの動作を説明するフローチ
ャートである。

【図４】入力一体化ディスプレイのレイアウト図であ
る。

【図５】転送データのフォーマットを示した図である。

【図６】図２に示す処理装置の一実施例構成図である。

【図７】図６に示す処理装置の動作を説明するフローチ
ャートである。

【図８】図６に示す処理装置の動作を説明するフローチ
ャートである。

【符号の説明】

１…スタイラスペン、２…液晶ディスプレイ、３…電磁
タブレット、４…処理装置、５…フレームメモリ、６…
表示制御装置、７…手書き文字・図形認識装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者横山孝典茨城県日立市幸町３丁目１番１号株式会社日立製作所日立研究所内 (72)発明者古賀和義茨城県日立市幸町３丁目１番１号株式会社日立製作所日立研究所内 (72)発明者平沢宏太郎茨城県日立市幸町３丁目１番１号株式会社日立製作所日立研究所内 (72)発明者川田信一東京都千代田区神田駿河台四丁目６番地株式会社日立製作所内

Claims

【特許請求の範囲】

【請求項１】手書き入力された文字・図形のストローク
情報を読み取る入力手段と、前記入力手段からの入力ス
トローク情報の特徴量を用いて辞書とマッチングを行い
文字・図形の認識を行う認識手段と、前記入力ストロー
ク情報及び前記認識手段により得られた認識結果を表示
する表示手段を有する手書き文字・図形認識システムに
おいて、前記認識手段は、前記入力手段によりストロー
ク情報が入力される毎に前記辞書とのマッチングを行
い、マッチングの結果一致しない場合には次の入力スト
ローク情報と合わせて再度マッチングを行うことを特徴
とする手書き文字・図形認識システム。