JP4807400B2 - 手書き入力装置、プログラムおよび手書き入力方法システム - Google Patents

Description

本発明は、手書き文字・図形情報を電子データに変換する手段を有する電子ペ
ン、および情報処理装置における情報入力方法に関し、特に筆記した文字情報に
対する削除・追加・置換・強調等の電子データへの反映の方法および装置に関する
。

計算機への情報入力手段としては、キーボードやマウスによる文字や図形の入
力が一般的である。しかし、人間にとってより自然な「書く」という行為により
、情報を入力する手段が求められている。こうした要求に対して、電子的なペン
を利用して筆記し、ペンの軌跡を取得して、計算機上で文字や図形を再構築する
ことにより情報を入力する手段が実現されている。

人間が筆記した文字や図形を電子化し、計算機に入力するための手段として、
例えば、タブレットと呼ばれる感圧式デバイスとその上に圧力を加えるためのス
タイラスと呼ばれるペンの形状をした器具を用い、スタイラスにより感圧式デバ
イス上で筆記を行うことにより、その上でのスタイラスの軌跡を電気信号に変換
し、文字や図形として計算機に入力する方法があり、PCやワークステーション、
PDA（Personal Digital Assistant）製品向けの文字・図形入力手段として実用化
されている。
人間が筆記した文字や図形を計算機に入力するための別の手段として、赤外光
の反射光を取得するカメラデバイスを備えた電子的なペンと、そのペンの紙上で
の位置を一意に特定できるドットパタンを印刷した紙とを用いて、当該カメラデ
バイスによりドットパタンを撮影し、筆記した際のペンの動きを紙上での位置、
すなわち座標の系列として生成し、これから文字や図形として計算機に入力する
方法がある（例えば、特許文献１参照）。これらの手段により、筆記面上の位置
検出機能を備えた電子ペン、およびタブレット等の感圧式入力デバイスを用いた
手書き情報入力、あるいは電子ペンと位置検出用の特殊な模様が印刷された用紙
を用いた手書き入力において、電子ペンあるいは感圧式デバイスは、（1）タブ
レットや紙上における位置や、（2）電子ペンあるいはタブレット表面上にかか
る筆圧をある一定時間間隔毎に採取し、これら位置、筆圧情報を時間順に出力、
あるいは時間情報とともに出力する。これら（1）（2）の情報からペンの軌跡を
再現することにより、人間がタブレットあるいは紙の上に「書いた」文字や図形
を、その構造や形状の情報を計算機上に生成することが可能となる。つまり、人
間が書いた文字はコード化されて計算機上に保持されるのではなく、図形情報と
して保持される。
人間が入力した文字情報を計算機上で保持する形態としては、計算機上でのデー
タベース検索といったその後の処理を考慮すると、ペンの軌跡情報としての文字
から、文字コードへと変換して計算機上で保持する方が、計算機上での処理との
親和性が増す。この軌跡情報、すなわち図形としての文字から文字コードへの変
換には、文字認識処理が用いられる。具体的には、ある時間単位でサンプリング
したペンの軌跡位置情報の系列を入力とし、このペンの軌跡位置情報とあらかじ
め文字毎に登録してある位置情報のテンプレートとを比較して、最も整合性の高
いテンプレートのラベルを入力位置情報の系列、すなわち文字に対する認識結果
とする手法が一般的に知られている。
ここまで述べた手段を用いることにより、人間が筆記した文字情報を、図形とし
て電子化して計算機上に入力する、あるいはコード化してテキストデータとして
計算機上に入力する機能を実現することができる。

上記スタイラスとタブレットのような感圧式デバイスを用いた手書き入力手段
により、文字や図形を計算機に入力する状況として、例えばPDA上で動作するス
ケジュール管理ソフトウェアがある。PDAの使用者に新たな予定を割当てる場合
や、すでに登録されていた予定に変更が生じた場合に、PDAに対してスタイラス
を用いてその筆記面上に、時間、行き先、面会者といった情報を表す文字列を記
述する。
また上記電子的ペンと位置検出のためのドットパタンが印刷された紙を用いた手
書き入力手段により、文字や図形を計算機に入力する状況として、例えば市役所
の窓口での電子申請がある。市役所において住民票交付の申請を行う際、用意さ
れた申請書に、申請者が氏名、日付、住所、目的などの文字列を記述する。記入
済みの申請用紙を窓口に提出するとともに、筆記情報を電子ペンにより計算機に
転送し、市役所の業務システムへの入力とする。
さらに、互いに離れた相手に対して、互いの位置する場所を知らせるために、紙
に地図や通信文を記述し、これを電子化して携帯電話等の手段により相手に送付
する場合も想定される。
いずれの場合も、筆記行為中のスタイラスや電子ペンの軌跡のすべてが位置情報
として記録されるため、筆記者が筆記した文字や図形はすべて筆記した状態で計
算機に入力される。すなわち、筆記の途中で文字を間違えた場合には、書き誤っ
た文字が電子化され計算機上に保持されてしまう。
ここで上記場合に対し、タブレット上に文字を記載して、これを電子化する装置
において、紙面上の削除したい文字を囲み線によって指定し、タブレット上に特
別に用意されたボタンに触れることにより、上記囲み線の内側の文字が削除され
るという方法（以降従来方法Aとする）がある（例えば、特許文献２参照）。

国開公開第００／７３９８１パンフレット

特開２００１−１４７７９号公報

森健一監修、社団法人電子情報通信学会編著 「パターン認識」 （1988年11月1日初版、発行所：社団法人電子情報通信学会）

しかし前記従来方法Aでは、削除したい文字列を囲み線で指定した後、タブレ
ット上の特定の場所に用意された、削除ボタンに触れることにより文字の削除が
行われる。しかし、削除処理の起動といった制御情報を筆記者が別途入力するこ
ととなる。一方で現状、筆記者が申請用紙上に記載している状況では、途中で記
入内容の変更等を行う場合は、たとえば二重線を削除対象の単語に重ねて書いた
り、強調する場合は囲み線で強調対象の文字列を囲んだりすることが一般的であ
る。つまり従来方法Aは、筆記者に対して通常の筆記行為に加えて新たな作業を
強いることとなる。これではたとえば窓口申請システムなど筆記者に事前教育し
にくいシステムに対して適用しにくい問題があった。
また前記従来方法Aでは、削除のみを提供するものである。一般に申請書やスケ
ジュールに記入をする際、書き誤った文字の削除のみではなく、新たな文字を追
加して記入する場合もある。また記載した内容に対して補足するためにコメント
や注釈という形で新たに文字を追加する場合もある。このような場合、従来方式
Aは既記入の文字に対して囲み線を描画することにより削除などの処理の対象文
字を指定するのみであった。これでは、追加記入した文字の抽出などはできない
ため、文字の追加に対応できない。また誤記入した場合に、その書き損じた文字
を削除し、さらに正しい文字を記入するという置換を行う場合がある。さらに、
すでに記述した文字に対して、下線を用いて強調をしたい場合がある。上記従来
方法Aでは、こうした追加や置換、強調に対応できない問題があった。
さらに前記従来方法Aでは、削除対象のペン軌跡を検出する方法について明示さ
れていないため、たとえば削除対象の文字と削除対象でない文字とが重なってい
た場合には、削除領域を囲み線で指定することができない問題があった。従来方
式Aは、印刷された文字を削除文字の対象としているため、文字接触などが起こ
り得る手書きの文字列を取り扱うことができない。

上述の問題を鑑みて、一般の紙とペンを用いた通常の筆記行為と同じ作業感覚
で操作できる、タブレットあるいは電子ペンを用いた手書き入力手段を提供する
ことを、本発明の第一の目的とする。これは、タブレットや電子ペンを利用した
手書き入力方法において、記載した文字の変更を行う際に、ボタンを押下すると
いった特別な行動を筆記者に強いることなく、二重線や下線といった従来から紙
へ記入する際に用いられてきた筆記行為を自動的に認識することにより、変更作
業を開始する手段を提供することである。

また、記入内容に対して削除や追加、置換、強調の記入内容の変更ができ、そ
れら変更作業の履歴を保存する手段を提供することを、本発明の第二の目的とす
る。筆記者が記入した手書き入力が、画像情報からコード情報に変換された後も
、筆記者が記載した環境、すなわちタブレットや位置検出を可能とする模様が印
刷された紙の上で、前記訂正、追加、強調を行うと、その結果がコード化された
計算機上の情報に対しても反映・管理される。
さらに、記入内容変更の対象となる文字を高精度に検出するための手段を提供す
ることを、本発明の第三の目的とする。
以上を整理すると、本発明の目的は、筆記者がタブレット、あるいは用紙上に記
載した文字や図形に対して、その中から自動的に削除や追加、置換、強調などの
計算機上での処理を制御するコマンドを自動的に検出し、当該処理を自動的に実
行する手段を提供することである。

本願の開示する発明のうち代表的なものは以下の通りである。記入面上の記入
位置情報と該情報取得時間情報を出力できるデジタルペンにネットワークを介し
て接続される手書き入力装置であって、制御手段と表示手段と記憶手段を具備し
、記憶手段は複数の制御記号を記憶していて、上記制御手段が、上記デジタルペ
ンから入手した記入位置情報から上記制御信号を抽出して、その種別を判定し、
対応づけられて記憶される処理を実行するステップと、上記実行後の記入位置情
報を用いて上記表示手段に上記記入面への記入を表示するステップとを制御する
ものであって、特に上記記入位置情報についての削除及び追記、変更等を含むも
の。又、デジタルペンやサーバ等も含めたシステム。

さらに、デジタルペンから入手した情報から上記追記箇所指定記号を抽出し追
記箇所と追記情報の開始及び終了の指定情報を検出して、上記開始指定情報の取
得時間と上記終了指定情報の取得時間の間に取得された上記記入位置情報を追記
情報として抽出し上記追記箇所前後の記入位置情報の間に上記追記情報と挿入し
て記入面への記載を再現する追記方法である。

以上述べてきたように、本発明によれば、タブレットや電子ペンによる記入手
段において、一般の紙とペンを用いた通常の筆記行為と同じ作業感覚で、記入文
字の削除や追加、置換、強調などの記入内容変更に関する計算機上での処理を自
動的に実行することが可能となる。

以下、本願の概要を説明する。
本願の実施には、筆記者が記入した文字に対する削除、追加、置換、強調の変更
を電子化データに反映させるためには、筆記の際のスタイラスや電子ペンのタブ
レットや紙上での動きによって生成されるストロークが、通常の文字であるのか
、あるいは記入内容の変更の対象であるのかを区別しなければならない。

さらに、タブレットあるいは電子ペンといった入力デバイスから処理装置へと
転送されるペン軌跡の位置データ系列から、筆跡位置情報から一筆での筆記に相
当するストロークデータ、およびストロークの集合である部分行データを構築す
る。前記制御コマンドのうち、削除、追加、置換、強調の開始と終了のコマンド
にはさまれた部分行データが、それら変更の対象として区別することが可能とな
る。部分行データに対して、変更前、変更後の対象との区別を行うためのフラグ
と変更前と変更後の部分行データとの対応をとるポインタを用意する。このよう
に変更の履歴を残すことにより、ディスプレイなど表示装置に変更後の文字だけ
を表示したり、変更前と変更後の文字の両方を表示したりすることを切り替える
ことができる。

筆記者が文字を書きながら、ボタンの押下など特別な処理をすることなく、削
除、追加、置換、強調といった変更処理の開始、終端を自動的に検出し処理を起
動する制御コマンドを検出するために、通常筆記者が紙の上に筆記する際に、削
除や置換を行うために用いる二重線や塗りつぶし、追加を行うために用いる山型
もしくは谷型記号や矢印記号、強調するために用いる囲み線や下線といった記号
を変更処理の開始およびその対象となる文字を指定するための制御コマンドと対
応付ける。また二重斜線や読点などを前記変更対象の文字列の終了を指定するた
めの制御コマンドと対応付ける。あるいは連続して筆記されたストローク間の距
離や筆記時間に関する情報から、自動的に上記終了の制御コマンドを生成するこ
とも可能である。

これら制御コマンドに対応する記号（これらを制御記号と呼ぶ）を検出するた
めに、ストロークデータの系列からの文字行推定機能と、形状による制御記号の
認識機能と、削除・追加・置換・強調の変更種類判別機能と変更対象文字推定機能
と、変更部分行データ間対応付け機能を用意する。
ストロークデータ系列からの文字行推定機能とは、特開平11-96288に記されてい
るように、横書きの場合、ストロークデータの縦方向の位置の均一性を保つよう
なストロークだけをひとつの行としてグループ化する機能である。これにより文
字行の上端や下端の位置が推定できる。

形状による制御記号の認識機能および変更種類判別機能とは、連続するストロ
ークの系列が、予め定められた制御記号かどうかをその形状から認識し、それが
いずれの処理に対応する記号化を同定する。形状の認識を行う前に、前記文字行
推定機能によって推定された文字行の上端や下端から逸脱したストロークに対し
ては、山型記号や下線である可能性があると判断する。また当該ストロークの位
置にはすでに文字行の成分、つまり文字と判断されたストロークが存在すれば、
二重線の可能性があると判断する。形状の認識には例えば文献“Handbook of Ch
aracter Recognition and Document Image Analysis”、H.Bunke、 P.S.P.Wang
、 World Scientific社、1997年に記されているような形状の輪郭線の方向を特
徴量とする文字認識手法によって実現可能である。

変更対象文字推定機能は、上記制御記号認識機能において検出された制御記号
が存在する位置に基づき、そこに存在する文字成分を変更処理の対象とみなす。
例えば、置換の場合は二重線によって上書きされたストロークの集合からなる部
分行データが構成され、これを置換前の文字列とする。制御記号の直後から後述
する終了制御記号まで続くストロークが部分行データを構成し、これを置換後の
文字列として扱う。これら置換前と置換後の部分行データの対応付けを変更部分
行データ間対応付け機能によって行う。追加に対しても同様の手順で実現可能で
ある。すなわち、制御記号認識機能により検出された山型記号の直後の位置に対
して、山型記号に続いて筆記されたストロークが追加対象の部分行データを構成
する。この部分行データに対して、山型記号の前後に位置した部分行データの間
に新規に追加する部分行データを挿入する。

これによりタブレットあるいは紙上の特定の場所に設置されたボタンを押下す
ることなく、削除・追加・置換・強調の変更処理を電子化データに反映し、その履
歴を保存することが可能となる。
このように筆記者がタブレットや紙上に書いた文字や記号の一部を通常の文字や
記号という意味の他に、筆記情報の電子化における特殊な制御コマンドとして解
釈することにより、電子化処理あるいは電子化した後の計算機上での処理におい
て、コマンドに対応した処理を実行することが可能となる。
またその際の変更対象文字の検出に関し、前記文字認識手法中で生成された文字
切出し情報を利用し、二重線や囲み線などの制御記号が記入された場合、前記文
字切出し情報とそれら制御記号との重なりの度合いを求め、変更対象文字の判定
に利用することによって、高精度な検出を実現する。

本発明における手書き入力方法の実施形態の例として、市役所や通信販売など
での申請書類の電子データ化について述べる。ここでの手書き入力用のデバイス
としては、タブレットとスタイラス、あるいは位置検出用の模様の印刷された紙
と筆記の際にこの模様の画像を取得するためのカメラデバイスを装着した電子ペ
ンなどが知られている。ここでは後者の位置検出用の印刷を有する紙と電子ペン
を例に説明する。このような入力デバイスの例として、国開公開第01/71473パン
フレットが知られている。
本実施形態の装置構成を図13に示す。記入者が使用するものは、電子ペン1301と
紙1302である。電子ペンは、通信装置1304を介して文字入力端末1305と通信する
。この電子ペンと通信装置間の通信手段としては、Bluetoothや赤外線などの無
線通信手段、USBやIEEE1394などの有線通信手段が利用可能である。この文字入
力端末はネットワーク1303を介して筆記位置検出装置1306、文字認識装置１３０
７と通信する。ネットワークの形態はインターネットやLANなど種々の形態が適
用可能である。また文字入力端末や筆記位置検出装置、文字認識装置のいずれか
の組合せを１装置で実現しても構わない。以上の構成が本実施形態の装置構成で
ある。筆記位置検出装置1306は記憶手段に上記ペンのＩＤコードと上記記入面の
ＩＤコードを記憶し、上記ペンからの情報に基づいてペンと記入面を特定し、該
記入面の情報を上記計算機に転送する。

次に上記電子ペンによる位置検出原理を述べる。本原理は国開公開第00/73983
パンフレットにより明らかにされている。図1を用いて当該電子ペンによる位置
検出の原理を説明する。101は電子ペンであり、102は紙上に印刷された位置検出
用の模様の画像を取得するカメラデバイスである。紙103の上には小さなドット1
04が非均質に散りばめられて印刷されている。このドットは仮想的な格子線105
における交点からある距離だけ上下左右の何れかにずらされて印刷されており、
このドットを同時に複数個、例えば10×10の範囲で参照し、これら100個のドッ
トの上下左右のずれの値の組み合わせが、広大な平面領域の絶対位置情報を与え
る仕組みとなっている。つまり電子ペンに備え付けられたカメラ102により上記
複数のドットパタンを含む範囲の画像を一定の時間間隔で採取することにより、
上記ずれの組み合わせの空間上での位置を特定することが可能となる。

実際には上記ずれの組み合わせの空間上での絶対的な位置を求めるよりも、そ
れぞれの紙における相対位置を用いるのが実用的である。そのための変換を行う
ための筆記位置検出装置が存在する。これは予めある紙の位置が上記ずれの組み
合わせの全空間内でのどの部分を占めるかという情報を保持しており、上記空間
内の絶対位置を入力とし、ある紙の上の相対的な位置を出力とする。本装置を含
めた電子ペンによる紙上位置情報生成のための装置構成の例を図2（a）に、そこ
での情報の流れを図2（b）に示す。これについては国開公開第01/48678パンフレ
ットに記述されている。
電子ペン201と文字入力端末203との間は通信装置202を介して無線通信によって
接続されている。電子ペンから出力された上記絶対位置のデータは有線あるいは
無線のネットワーク204を介して筆記位置検出装置205に入力され、ここで当該紙
を基準とした相対的な位置の表現に変換され、文字入力端末に出力される。なお
、筆記位置検出装置が文字入力端末上で実装されていても構わない。
上記構成をとる手書き入力装置による、市役所等に於ける申請用紙に記載した情
報の電子化について述べる。

現在、市役所などにおいて申請手続きを行う場合は、通常ロビーに設置された
各種申請用紙の記入台にて、申請者が当該申請用紙に筆記用具を用いて必要事項
を記入していく。記入が済むと申請用紙を窓口に持参し、係員に提出する。係員
は申請用紙に記載された情報をもとに所定の業務を行う。このとき、記載内容を
電子化する場合は、キーボードをタイプすることにより入力するか、あるいはOC
R（光学的文字読取装置）を用いて申請用紙全体の画像を採取し、そこに含まれ
る文字を認識することにより行っている。

本発明における手書き入力方法を申請書の電子化業務に適用する場合、申請用
紙を前述の位置検出のためのドットを印刷した紙で作成し、筆記用具として電子
ペンを使用する。すなわち、図3において、電子ペン301と前記ドットを印刷した
申請用紙302が記入台に設置され、申請者は電子ペン301を用いて申請用紙302に
必要事項を記載する。申請者が電子ペンで記入をしている間に、申請紙上での電
子ペンの軌跡が位置情報の系列として電子ペン内に蓄積される。記入が完了した
時点で所定の方法で窓口内部にある手書き入力端末303に送信される。手書き入
力端末における表示部では、前述したように、電子ペンからのデータに基づき、
申請用紙上のドットのずれの組み合わせ空間における絶対位置情報から、申請用
紙上の相対位置情報に変換処理が行われ、その結果、申請者が筆記した文字や図
形が手書き入力端末における表示画面上に表示される。
手書き入力端末303にて受信した文字や図形の情報、すなわちストロークデータ
の集合に対して文字認識処理を適用し、コード化した上で手書き入力端末内に記
憶することができる。これにより、次なる業務処理、例えばデータベースへの問
い合わせや申請受理処理への入力が可能となる。その文字認識処理について説明
する（図5）。

最初に、時系列筆跡位置情報を入力し、ストロークデータを作成する（ステッ
プ501）。その後ストロークデータから文字行を推定し、文字行仮説を作成する
（ステップ502）。各文字行仮説において文字切出し504を実行することにより、
文字行仮説内のストロークデータを、各文字を構成するストロークの部分集合に
分割する。その分割されたストロークの集合を文字パターンとよぶ。各文字パタ
ーンに対し、文字識別506を実行し、文字識別結果を得る。最後に各文字パター
ンの文字識別結果から、記載された文字列として意味をなす文字列であるかどう
かの照合を行い（ステップ507）、その結果を出力する（ステップ508）。
ストロークデータの記憶方法の例を図15に示す。全ストロークデータは、全行情
報1502、行成分情報1503、ストローク情報1504、位置情報1505の4テーブルによ
り階層的に管理される。全行情報は、図5のステップ502で作成された各行を管理
するテーブルであり、各行情報へのリンクが張られている。本記入例では1行で
あるため、行情報は１つのみである。次に行成分情報1503は、行を構成する要素
（行成分）の情報を管理するテーブルであり、ストローク数、ストローク先頭へ
のリンク、行成分の属性、文字認識結果の文字コード、次の行成分へのリンクを
管理する。属性には、Visible（通常成分）、Command（制御記号成分）、Delete
（削除対象成分）、Emphatic（強調対象成分）などがある。ストローク先頭で、
その行成分を構成するストロークへのリンクが張られている。本記入例では、ス
トローク情報1504のNo.1〜3のストロークが行情報1503の該当ストロークである
。各ストロークにおいて、ストロークを構成する標本点へのリンクを位置データ
として管理しており、位置情報1505を参照できるようになっている。またストロ
ークの属性には、Normal（通常）、Command(制御記号)がある。以上が本実施例
におけるストロークの記憶方法である。

ここで、本発明により実現可能となる、記入内容の（a）削除、（b）追加、（
c）置換、（d）強調、の各変更処理について説明する。最初に本実施例で利用す
る制御文字を示す（図7）。これら制御記号は、一般の紙とペンを用いた文書推
敲などで用いられるものと同じものである。
尚、図７に示す記号は例示であって、その他、ユーザが独自に規定できるように
しても良い。その場合は、制御記号の形状と対応する動作の組の形で、文字認識
装置の記憶手段に登録する。又、たとえば電子ペンにボタンを設けておいて、そ
のＯＮ／ＯＦＦの情報を用いるものであってもかまない。
削除制御記号として、701に示した多重線（１本線も含む）や、塗りつぶし702を
利用する。また追加制御記号として、山型（谷型）記号703や矢印記号704を利用
する。矢印記号は行をまたいで記入しても良い。強調記号としては、囲み枠705
、下線705を利用するものとする。
つぎに、記入内容の（a）削除、（b）追加、（c）置換、（d）強調、の各変更処
理の概要について図4を用いて説明する。

まず記入内容の削除については、図4（a）に示したように、たとえば申請用紙
に誤記入した文字「町」に対して、申請者が書き間違いに気づくと、申請用紙上
で「町」の削除を意味する二重線403で重ね書きする。その後所定の手続きによ
り電子ペン401から筆記情報を手書き入力端末404に転送すると、手書き入力端末
の表示画面上には削除後の文字情報が表示される。このとき削除前の情報も手書
き入力端末の内部に保持してあり、必要に応じて削除前の文字列を表示すること
も可能である。
次に新規文字列の追加について図4（b）を用いて述べる。申請用紙に記載した文
字「千代田区神田」に対して、「神田」の後に「南町」という文字列を追加した
い場合、申請用紙上で「神田」の末尾の上部にレ点記号405を筆記し、その付近
に「南町」406という文字を書く。所定の手続きにて電子ペン内の筆記情報を手
書き入力端末に転送すると、手書き入力端末の表示画面上には、追加後の文字画
像407が表示される。レ点を含めて申請用紙に記入したそのままを表示すること
も可能である。
置換については図4（ｃ）に示したように、申請用紙に記載したある文字、例え
ば「33年」という文字を申請者が書き間違えたと気づくと、申請用紙上で「33年
」の部分を二重線408で重ね書きし、そのあとに正しい「44年」409という文字列
を筆記する。所定の手続きにより電子ペンから筆記情報を手書き入力端末に転送
すると、手書き入力端末の表示画面上には置換後の文字画像410が置換されて表
示される。このとき置換前の情報も手書き入力端末の内部に保持してあり、必要
に応じて置換前後の文字列を同時に表示することも可能とする。たとえば図14に
示すとおり、置換前（図14 (a)）、置換前＋後（図14 (ｂ)）、置換後（図14 (c
)）の表示ができる。

記入済み文字列に対する強調について図4（ｄ）を用いて述べる。申請用紙に
記載した文字列、例えば「千代田区」を強調したい場合、申請用紙上で「千代田
区」を包含するように囲み線411を記入する。所定の手続きにて電子ペン内の筆
記情報を手書き入力端末に転送すると、「千代田区」の部分が強調表示、例えば
ハイライト表示412される。
次に、手書き入力に対する上記のような削除、追加、置換、強調を実現する具体
的処理手順について述べる（図6）。最初に、時系列筆跡位置情報を入力し、ス
トロークデータを作成する（ステップ601）。その後ストロークデータから文字
行を推定し、文字行仮説を作成する（ステップ602）。各文字行仮説において文
字切出し604を実行することにより、文字行仮説内のストロークデータを、各文
字を構成するストロークの集合からなる文字パターンに分割する。

各文字パターンに対し、まず制御記号検出606を行う。本ステップでは文字認
識装置の記憶手段に登録された制御記号の形状を使用する。先で述べたように本
記憶手段には、各制御記号の形状とそれに対応する動作との組で登録されている
ため、制御記号が検出された場合には、それに対応する動作が取得できるように
なっている。
制御記号検出において、制御記号が検出された場合、まずその制御記号が強調を
表すものであれば、強調の対象の文字を抽出（ステップ609）し、文字強調610を
実行する。
また、検出された制御記号が削除を表すものであったならば、削除対象の文字を
抽出（ステップ612）し、文字削除613を実行する。
その後、検出された制御文字が追加もしくは削除を表す記号であった場合は、ス
テップ615以下の文字追加の処理を実行する。ここで、追加の制御記号だけでな
く削除制御記号も文字追加の起動条件としているのは、文字置換処理に対応する
ためである。すなわち、文字置換の場合は、二重線など削除制御記号の記入後す
ぐに追加文字を記入することになるためであり、文字置換処理を、文字削除処理
＋文字追加処理とみなすことができるためである。

文字追加処理では、まず追加制御記号位置から追加位置を決定し（ステップ61
5）、追加文字パターンを抽出（ステップ616）する。このステップ616の詳細に
ついては後で説明する。その後、各追加文字を文字識別し（ステップ617）、文
字追加618を実行する。ちなみに、文字置換の場合は、削除制御記号の位置が文
字追加の位置を与えることとなる。
一方、制御記号検出605において制御記号が検出されなかった場合は、その文字
パターンを文字識別619し文字識別結果を得る。最後に各文字パターンの文字識
別結果から、記載された文字列として意味をなす文字列であるかどうかの照合を
行い（ステップ620）、その結果を出力する（ステップ621）。
前記削除対象文字や強調対象文字の検出処理は、基本的にどちらも同じ手法で実
現できる。ここでは二重線で削除文字を指定した場合についての、文字外接矩形
の中心点に着目した削除対象文字抽出方法の一例について説明する（図9、図10
）。まず901を入力し、文字行抽出、文字切出しを実行し、902に示す文字パター
ンが得られたとする。この各文字パターンに対し文字識別を実行し文字識別結果
を得、「春はあけぼの」という文字列を得ているとする。ここで筆記者が削除制
御記号の二重線905を記入したとする。ここで本発明手法では、削除対象文字の
抽出処理が実行される。まず各文字パターンに対し、中心点909を求める（ステ
ップ1002）。得られた中心点の集合から最小２乗法などで直線近似し文字列の軸
910を計算する（ステップ1003）。この文字列軸910に対し二重線（905）の両端
点から垂線（907、 908）をおろすことにより削除文字領域の両端を決定する（
ステップ1004）。ここで各文字パターンに対し、その中心点が削除文字領域内に
含まれているならば、その文字パターンは削除対象文字として登録する（ステッ
プ1007）。最後に削除対象文字を出力（1008）する。このようにして削除対象文
字を抽出する。

なお、本実施例での変更対象文字の検出では、文字パターン外接矩形の中心を
用いたが、その代わりに、たとえば文字を構成する黒画素の中心や、文字パター
ン外接矩形が前記削除文字領域に重なる部分の面積比などを利用してもよい。
追加文字を記入する形態には、図11に示す主に４形態が考えられる。各形態にお
ける追加文字パターン抽出処理（図6のステップ616）の流れについて以下説明す
る。
まず第１の形態（a）では、紙面上に追加文字用の特別なフィールドを設け、そ
れを利用するものである。専用フィールドなので追加文字パターンの抽出は容易
であるが、その分筆記者にこの特別な記入方法を強いることになる。
第２の形態（b）では追加文字を囲み線で指定するタイプである。追加文字パタ
ーンの抽出は前述の強調対象文字の検出方法と同様の方法が利用できる。
第３の形態（c）は、追加文字の終わりに、二重斜線など終端記号を記すもので
ある。追加文字の開始位置は、山型記号や矢印記号など追加制御記号の位置およ
び記入時間情報から検出する。よって追加文字の開始・終了位置が検出でき、追
加文字パターンの抽出が可能となる。
第４の形態（d）は、追加文字の終わりに特に何も記入しないタイプである。こ
の場合、追加文字の終端を与える情報として改行が利用できるため、追加文字パ
ターンの抽出が可能である。この形態の場合、追加制御記号と追加文字以外のも
のは記入しなくてもよく、通常の紙上での校正にもっとも近いことから、追加文
字パターン抽出処理（図6のステップ616）は最低限でも本形態に対応しておくこ
とが望ましい。この第4の形態（d）に対応した、追加文字パターン抽出処理フロ
ーの一例を図12に示す。

ここで、強調処理の拡張について考える。具体的には強調制御記号を記入する
際、筆記者が希望する強調のタイプを追記する方式について示す。図8に示した
ように、たとえば括弧書きで希望する強調のタイプを直接記入すれば、それを解
釈することにより、より多くのバリエーションを持った強調処理が可能となる。
具体的に処理手順としては、図6の制御記号あり文字認識処理フローにおいて、
ステップ609の強調対象文字抽出の前に、強調タイプを表す文字パターンの抽出
処理とその文字識別処理、そしてその文字識別結果から強調タイプを照合する、
強調タイプ照合処理を実行すればよい。または、強調制御記号を使い分けること
によって強調のタイプを指定しても良い。
以上の記入内容の変更処理を実行した場合のストロークデータの記憶方法につい
て説明する。たとえば削除時について、削除処理前の図16と削除処理後の図17を
用いて説明する。削除処理前（図16）において、行成分は１個で属性はVisible
（通常成分）となっている。先に説明した記入内容の変更処理（図6）を実行し
た後は、削除の制御記号である二重線を認識したため、データ構造が図17のよう
に変化する。すなわち図16の行成分情報1603が、文字を構成する行成分1703、削
除制御記号の行成分1704に二分される。前者は削除対象のため属性がDeleteとな
り、後者は制御記号であるためCommandとなる。さらに置換時においては（図18
）、置換に伴う属性Correctを有す新しい行成分1806が追加される構造となる。
このような記憶方法により、変更処理前と後でのストロークデータを包括的に取
り扱うことが可能であり、図14に示すような多様な表示形態が可能となる。

また本実施例の装置構成において、筆記者と手書き入力端末（図3の303など）
とが離れて配置される可能性がある。この場合、筆記者は自分の記入内容変更結
果を確認することができない問題がある。そのために、たとえば申請記入台上に
手書き入力端末の表示部と同じの表示するディスプレイを設置したり、ペンに変
更中を意味するランプを設け二重線など制御記号を認識すると点灯し、その制御
記号によって実行された処理が正常終了すると、消灯やペン自身がバイブレーシ
ョンして筆記者に通知したりする手段を設けることが、好ましい。この場合、文
字認識装置から電子ペンへ信号を伝える必要があるため、図13における電子ペン
1301と通信装置1304との間の通信が双方向でなければならない。

またセキュリティの観点から、タブレットや電子ペンを用いた手書き入力手段
を市役所等での申請書提出システムに応用した場合、申請者が受益者本人である
こと、あるいは申請者が本人であることを確認した上で、申請書の提出を受理す
る必要がある。すなわち、本人の記載でないなど、申請書を受理すべきではない
と判断される場合は、申請者が筆記した文字情報を電子化したデータを、市役所
内部の業務システムへ入力するのをやめなければならない。この実現のための一
手法としては、筆記者の署名などの個人特徴を特定できる性質をもつ文字列に対
して、その文字列を電子化し本人認証することにより、筆記者が記入した文字列
、あるいは筆記者が記入した文字列によって表現される要求の有効性を判断する
手法がある。これにより、たとえば紙上の特定の位置に記載した筆記者本人の氏
名に対して、予め登録されている署名との照合を行い、本人と同定されれば、筆
記情報の電子化を行う、あるいは計算機上でのデータベースへの問合せ処理を実
行するといった処理を行い、本人と同定されなければ、筆記情報の電子化を中止
する、あるいは計算機上でのデータベースへの問合せを許可しないといったよう
に処理を区別することが可能となる。氏名の文字列が本人による署名か否かの照
合手法としては、特開平7-302340による手法などが利用できる。

電子ペンによる位置検出の原理の説明。 電子ペンによる紙上の位置検出のための装置の例。 電子ペンによる申請用紙記載内容電子化の概要。 手書き入力方法における削除・追加・変更・強調処理の概要。 文字認識処理フロー。 制御記号あり文字認識処理フロー。 制御記号の例。 強調制御記号の拡張例。 削除対象文字抽出処理の一例。 削除対象文字抽出処理フローの一例。 追加文字の記入形態の例。 追加文字パターン抽出処理フローの一例。 本実施例における装置構成。 置換処理時における画面表示例。 ストロークデータ構造の例。 削除処理前のストロークデータ構造の例。 削除処理後のストロークデータ構造の例。 置換処理後のストロークデータ構造の例。

符号の説明

１０１，２０１、３０１、４０１，１３０１ 電子ペン
１０２ カメラデバイス
３０２、４０２、１３０２、１４０１ 紙
３０３ 手書き入力端末。

Claims (1)

1. ドットパターンが形成された紙面上にデジタルペンによって記入される記入位置情報と、
   該記入位置情報の取得時間情報とをネットワークを介して取得するステップと、
   上記記入位置情報に基づき筆記情報を再構築するステップと、
   当該筆記情報を再構築して得られる情報から、予め記憶手段に記憶され、上記記入位置情報に対する置換又は追記の処理を示す制御記号を抽出するステップと、
   上記抽出された制御記号に基づいて、上記記入位置情報に対する置換又は追記の処理を実行するステップと、
   上記実行ステップ後の記入位置情報から記入面への記載を再現するステップと、
   上記再現を表示手段に表示させるステップと、を有し、
   上記置換又は追記の処理を実行するステップでは、上記制御記号と、追記箇所と、追記情報の開始及び終了の指定情報と、時刻情報とを抽出し、当該追記情報の開始の指定情報の取得時間と、当該追記情報の終了の指定情報の取得時間との間で取得される上記記入位置情報を、置換または追記により新たに追加記入される対象として特定することを特徴とする手書き入力プログラム。

Images