JP2011237993A

JP2011237993A - 情報入力装置及び情報入力プログラム

Info

Publication number: JP2011237993A
Application number: JP2010108378A
Authority: JP
Inventors: Takashi Isozaki; 隆司磯崎
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2010-05-10
Filing date: 2010-05-10
Publication date: 2011-11-24

Abstract

【課題】入力された筆跡情報から文字及び校正等に用いる記号を高い精度で認識することができる情報入力装置及び情報入力プログラムを提供する。
【解決手段】情報入力装置１は、ストローク情報１１１に含まれるストローク群に予め定められた削除記号に該当するあるいは類似するストロークが含まれる場合、そのストロークを認識する削除コマンド認識手段１０２と、前記削除コマンド認識手段１０２がストローク群に削除記号が含まれると判定したとき、文字単位のストローク群から削除コマンド認識手段１０２が認識した削除記号に該当するストロークを除いたものと除かないものに関してそれぞれ文字認識を行ない、その結果得られる文字候補情報１１２と比較し、類似の指数の高い文字候補を筆跡情報に対応する文字列であると認識する文字認識手段１０４とを有する。
【選択図】図２

Description

本発明は、情報入力装置及び情報入力プログラムに関する。

従来の情報入力装置として、スタイラスペン等を用いてコンピュータに備えられたデジタイザ等に入力される１組の筆跡を検出し、文字又は校正を要求する入力がないかどうか順次分析して、各筆跡の分析後、分析したすべての筆跡の１組の特性に基づいて、１組の筆跡を文字又は校正を要求する入力としてカテゴリ化するものが提案されている（例えば、特許文献１参照）。

特許３６６４５７１号公報

本発明の目的は、入力された筆跡情報から文字及び校正等に用いる記号を高い精度で認識することができる情報入力装置及び情報入力プログラムを提供することにある。

［１］複数の筆跡を含む筆跡情報に予め定められた記号に該当するあるいは類似する筆跡が含まれる場合、前記記号に該当する筆跡を認識する記号認識手段と、前記筆跡情報に前記記号に該当するあるいは類似する筆跡が含まれるとき、筆跡情報から前記記号認識手段が認識した前記筆跡を除いたものと除かないものそれぞれに関して文字認識を行ない、その結果得られる文字列候補を比較し、類似の指数の高い文字列候補を出力文字列であると判定する文字認識手段とを有する情報入力装置。

［２］前記文字認識手段が判定した前記出力文字列が、前記記号認識手段が記号と認識した筆跡を除いた筆跡情報を認識した結果であるとき、前記出力文字列に前記記号に基づいた操作を実行する実行手段とをさらに有する前記［１］に記載の情報入力装置。

［３］前記筆跡情報が座標情報を含んでいることを特徴とする前記［１］又は［２］に記載の情報入力装置。

［４］前記筆跡情報が画像情報を含んでいることを特徴とする前記［１］又は［２］に記載の情報入力装置。

［５］コンピュータを、複数の筆跡を含む筆跡情報に予め定められた記号に該当するあるいは類似する筆跡が含まれる場合、前記記号に該当する筆跡を認識する記号認識手段と、前記筆跡情報に前記記号に該当するあるいは類似する筆跡が含まれるとき、前記筆跡情報から前記記号認識手段が認識した前記筆跡を除いたものと除かないものそれぞれに関して文字認識を行ない、その結果得られる文字候補を比較し、類似の指数の高い文字候補を出力文字列であると判定する文字認識手段として機能させるための情報入力プログラム。

請求項１又は５に係る発明によれば、入力された筆跡情報から文字列及び校正等に用いる記号を高い精度で認識することができる。

請求項２に係る発明によれば、認識した文字列に認識した記号に基づいて操作を実行することができる。

請求項３に係る発明によれば、座標情報を含む筆跡情報の記号及び文字認識を実行することができる。

請求項４に係る発明によれば、画像情報を含む筆跡情報の記号及び文字認識を実行することができる。

図１は、本発明の実施の形態に係る電子ペン及び記入用紙の構成の一例を示す図である。図２は、情報入力装置の構成の一例を示すブロック図である。図３は、記入用紙に記入される記入文字列の一例を示す図である。図４（ａ）〜（ｃ）は、削除コマンド情報に含まれる削除コマンドに登録されている削除記号の例を示す図である。図５Ａ（ａ）〜（ｅ）は、記入用紙に記入された文字及びストローク情報の一例を示す図である。図５Ｂ（ｆ）〜（ｊ）は、記入用紙に記入された文字及びストローク情報の他の例を示す図である。図６は、結果表示手段によって表示部に表示される認識結果を示す図である。図７は、情報入力装置の動作例を示すフローチャートである。

（電子ペンの構成）
図１は、本発明の実施の形態に係る電子ペン及び記入用紙の構成の一例を示す図である。

この電子ペン２は、筆記動作に応じて記入用紙３の全面に印刷された座標コード３１を読み取るカメラ２０と、記入用紙３の紙面にインクを排出するペン先２１とを有し、その本体にカメラ２０が読み取った座標コード３１を復号する手段及び復号した情報を記憶する手段を内蔵する。つまり、電子ペン２は、ペン先２１による筆跡をカメラ２０が読み取った座標コード３１によって後述するストローク情報として記憶する。

記入用紙３は、記入文字列３２Ａ及び３２Ｂを記入するための領域であるフィールド３０Ａ及び３０Ｂを有する。また、記入用紙３の表面には記入用紙３の位置を示す座標コード３１が印刷されている。なお、座標コード３１は、フィールド３０Ａ及び３０Ｂの領域内にのみ印刷されていてもよい。

次に、電子ペン２が読み取った情報を文字等として認識する情報入力装置について説明する。

（情報入力装置）
図２は、情報入力装置１の構成の一例を示すブロック図である。

情報入力装置１は、情報を処理するパーソナルコンピュータ等であって、ＣＰＵ（Central Processing Unit）、メモリ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０と、ＨＤＤ（Hard Disk Drive）やフラッシュメモリ等の記憶装置から構成され情報を記憶する記憶部１１と、ＵＳＢ（Universal Serial Bus）ケーブルや無線ＬＡＮ（Local Area Network）等を介して電子ペン２と通信する通信部１２と、ＬＣＤ（Liquid Crystal Display）等から構成され文字や画像等を表示する表示部１３とを有する。

制御部１０は、後述する情報入力プログラム１１０を実行することで、ストローク情報受付手段１００、ストローク情報振分手段１０１、削除コマンド認識手段１０２、認識対象作成手段１０３、文字認識手段１０４、コマンド実行手段１０５及び結果表示手段１０６等として機能する。

ストローク情報受付手段１００は、電子ペン２の記憶手段に記憶されたストローク情報１１１を通信部１２を介して受け付けて、記憶部１１に格納する。

なお、ストローク情報１１１は、電子ペン２によって生成されるものの他、タブレットにスタイラスペンや指等で入力することで生成されるもの、手書き文字が記入された紙をスキャナで読み取るなどして得られる画像から生成されるものを用いてもよい。

ストローク情報振分手段１０１は、ストローク情報受付手段１００が受け付けたストローク情報１１１を後述するフィールドごと、あるいは、例えば氏名欄など予め意味のある文字列のまとまりが入るフィールドごとにストローク群を振り分ける。

削除コマンド認識手段１０２は、ストローク情報振分手段１０１が振り分けたストローク群に含まれるストローク群から予め定められた削除コマンド情報１１３に該当するストローク群を認識する。

なお、削除コマンド以外に、コピー、カット、移動、ペースト等のコマンドを記入された記号から認識するようにしてもよい。また、上付き文字に変換、下付き文字に変換、大文字に変換、小文字に変換等の指示を示す校正記号等を認識するようにしてもよい。

認識対象作成手段１０３は、削除コマンド認識手段１０２があるストローク群に含まれる削除コマンドを認識した場合に、当該ストローク群と、当該ストローク群から認識した削除コマンドを除いたストローク群とをそれぞれ認識対象として作成する。

文字認識手段１０４は、認識対象作成手段１０３が作成した認識対象と文字候補情報１１２との類似に関する指数を算出し、指数の高い文字候補を該当する文字として認識する。

コマンド実行手段１０５は、認識対象について文字認識手段１０４が認識した文字において、その認識対象に削除コマンドが含まれる場合には、その削除コマンドを実行する。

結果表示手段１０６は、コマンド実行手段１０５が削除コマンドを実行した結果を表示する。

記憶部１１は、制御部１０を上述した各手段１００〜１０６として動作させる情報入力プログラム１１０、電子ペン２からストローク情報受付手段１００が受け付けたストローク情報１１１、文字認識結果としての文字候補を含む文字候補情報１１２及び予め登録された１つ又は複数の削除コマンドを含む削除コマンド情報１１３等の各種の情報を格納する。

図３は、記入用紙３に記入される記入文字列３２Ｂの一例を示す図である。

記入文字列３２Ｂは、記入用紙３のフィールド３０Ｂを一文字毎に記入させるように分割されたフィールド３００〜３１１にそれぞれ文字３２０〜３３１が電子ペン２で記入されて形成される。

図４（ａ）〜（ｃ）は、削除コマンド情報１１３に登録されている削除記号の例を示す図である。

図４（ａ）に示す削除記号１１３Ａは、二重線による取り消し線によって構成される。縦書きの文章を扱う場合は、縦の二重線を用いても良い。

図４（ｂ）に示す削除記号１１３Ｂは、蛇行型の取り消し線によって構成される。蛇行は、その折れ曲がり回数によって限定してもよいし、折れ曲がり回数がある閾値以上のものを削除記号として認識してもよい。

図４（ｃ）に示す削除記号１１３Ｃは、交差型の取り消し線によって構成される。取り消し線は、その交差の角度や一辺の長さ等の範囲を定義して認識もよい。

なお、削除コマンド認識手段１０２は、図４（ａ）〜（ｃ）のいずれを認識してもよく、複数認識するものとしてもよい。また、上記以外の任意の記号を定義してもよい。以降の動作説明においては、図４（ａ）に示す削除記号１１３Ａを認識するものとする。

（情報入力装置１の動作）
以下に、情報入力装置１の動作例を各図を参照しつつ説明する。

（１）記入動作
まず、利用者は、電子ペン２を用いて記入用紙３の記入枠であるフィールド３０Ａ及び３０Ｂに文字や記号を含む記入文字列３２Ａ及び３２Ｂを記入する。

電子ペン２のカメラ２０は、ペン先２１が記入用紙３の表面に触れて筆記されると、記入用紙３の表面に印刷された座標コード３１を定期的に読み取り、ペン先２１が記入用紙３の表面から離れると読み取りを停止する。カメラ２０によって読み取られた座標コード３１は、電子ペン２の内部で復号されて１つの筆跡毎に時刻情報とともに１つのストロークとしてまとめられ、複数のストロークがストローク情報１１１として記憶手段に記憶される。

次に、利用者は、記入用紙３に対する記入を終了すると、電子ペン２から情報入力装置１にストローク情報１１１を送信する。

（２）ストローク情報受付動作
図７は、情報入力装置１の動作例を示すフローチャートである。

情報入力装置１のストローク情報受付手段１００は、通信部１２を介して電子ペン２からストローク情報１１１を受け付ける（Ｓ１）。受け付けられたストローク情報１１１は、記憶部１１に格納される。

次に、ストローク情報振分手段１０１は、受け付けたストローク情報１１１を、例えば、行を単位とするフィールドごとのストローク群に振り分ける（Ｓ２）。

（３）文字・コマンド認識動作
図５Ａ（ａ）〜（ｅ）は、記入用紙３に記入された文字及びストローク情報の一例を示す図である。ストローク情報振分手段１０１は、上述したように行を単位とするフィールドごとのストローク群に振り分け、複数の文字が含まれる文字列を対象として文字認識を実行するのが一般的であるが、以下説明を簡単にするために、一文字に含まれるストローク群について文字認識を実行する場合について説明する。

図５Ａ（ａ）に示すように、ストローク情報振分手段１０１は、フィールド３００に記入されている文字３２０に該当するストローク群として、図５Ａ（ｂ）に示すようにストローク１１１ａ〜１１１ｉを含むストローク群１１１Ａを振り分ける。

次に、削除コマンド認識手段１０２は、振り分けられたストローク群から削除コマンドに該当する削除記号１１３Ａと形状等が一致又は類似する削除コマンドの候補を認識し、含まれる場合は抽出する（Ｓ３）。

削除コマンド認識手段１０２が削除コマンドの候補を認識した場合（Ｓ４；Ｙｅｓ）、認識対象作成手段１０３は、ストローク群から削除コマンドに対応するストロークを削除する（Ｓ５）。

例えば、図５Ａ（ｃ）に示すように、削除コマンド認識手段１０２は、ストローク群１１１Ａのストローク１１１ｅ及び１１１ｆを削除コマンドとして認識し、ストローク１１１ｅ及び１１１ｆを削除してストローク群１１１Ｂとする。

次に、認識対象作成手段１０３は、削除コマンドに対応するストロークが削除されたストローク群を認識対象として作成し、文字認識手段１０４は、その認識対象に形状や画数等が一致又は類似する文字候補、例えば、図５Ａ（ｅ）に示す文字候補１１２Ｂ、つまり「文」という文字候補を抽出する（Ｓ６）。また、文字候補の抽出とともに、認識対象とその文字候補との類似度を「スコア０．３０」と算出する。なお、スコアの計算や一致又は類似する文字候補の抽出や検索は、一般的な文字認識技術によって行うことができる。

次に、認識対象作成手段１０３は、削除コマンドに対応するストロークを削除しないストローク群を認識対象とし、文字認識手段１０４は、その認識対象に一致又は類似する文字候補、例えば、図５Ａ（ｄ）に示す文字候補１１２Ａ、つまり「美」という文字候補を抽出する（Ｓ７）。また、文字候補の抽出とともに、認識対象とその文字候補との類似度を「スコア０．９０」と算出する。

次に、コマンド実行手段１０５は、ステップＳ６で算出したスコアとステップＳ７で算出したスコアとを比較し、スコアの高い文字候補を出力文字列として判定する（Ｓ８）。図５Ａに示す例では、文字候補１１２Ａを出力文字列であると判定する。

次に、文字３２０以外の他の文字３２７に対して以上のステップＳ２〜Ｓ８を適用した場合について説明する。

図５Ｂ（ｆ）〜（ｊ）は、記入用紙３に記入された文字及びストローク情報の他の例を示す図である。

図５Ｂ（ｆ）に示すように、ストローク情報振分手段１０１は、フィールド３００に記入されている文字３２７に該当するストローク群として、図５Ｂ（ｇ）に示すようにストローク１１１ｊ〜１１１ｏを含むストローク群１１１Ｃを振り分ける。

次に、図５Ｂ（ｈ）に示すように、削除コマンド認識手段１０２は、ストローク群１１１Ｃのストローク１１１ｅ及び１１１ｆを削除コマンドとして認識し、ストローク１１１ｅ及び１１１ｆを削除してストローク群１１１Ｄとする。

次に、認識対象作成手段１０３は、ストローク群１１１Ｄを認識対象とし、文字認識手段１０４は、その認識対象に形状や画数等が一致又は類似する文字候補、例えば、図５Ｂ（ｊ）に示す文字候補１１２Ｄ、つまり「文」という文字候補を抽出する。また、文字候補の抽出ととともに、認識対象とその文字候補との類似度を「スコア０．８０」と算出する。

次に、認識対象作成手段１０３は、削除コマンドに対応するストロークを削除しないストローク群１１１Ｃを認識対象とし、文字認識手段１０４は、その認識対象に形状や画数等が一致又は類似する文字候補、例えば、図５Ｂ（ｉ）に示す文字候補１１２Ｃ、つまり「美」という文字候補を抽出する。また、文字候補の抽出とともに、認識対象とその文字候補との類似度を「スコア０．５０」と算出する。

次に、コマンド実行手段１０５は、スコアの高い文字候補を出力文字列として判定する。図５Ｂに示す例では、文字候補１１２Ｄを出力文字列であると判定する。

（４）結果表示動作
次に、ステップＳ８において判定した出力文字列の削除コマンドが有効である場合（Ｓ９；Ｙｅｓ）、つまり、図５Ｂに示す例のように、文字候補１１２Ｄが出力文字列であると判定された場合、コマンド実行手段１０５は、その文字「文」を文字列全体である認識結果文字列から削除して、結果表示手段１０６は、その実行結果を表示部１３に表示する（Ｓ１０）。

また、ステップＳ４において削除コマンド認識手段１０２が削除コマンドの候補を認識しなかった場合（Ｓ４；Ｎｏ）、認識対象作成手段１０３は、ストローク群を認識対象とし、文字認識手段１０４は、文字候補情報１１２に基づいてその認識対象の形状等に一致又は類似する文字候補を抽出する（Ｓ１１）。

次に、結果表示手段１０６は、抽出された文字候補を認識結果文字列として表示する（Ｓ１２）。また、ステップＳ８において判定した出力文字列の削除コマンド候補が無効である場合（Ｓ９；Ｎｏ）、つまり、図５Ａに示す例のように、文字候補１１２Ａが出力文字列であると判定された場合、同様にステップＳ１２へ進み、抽出された文字候補「美」を表示する。

図６は、結果表示手段１０６によって表示部１３に表示される認識結果を示す図である。

認識結果１０６Ａは、図３に示す文字３２３「の」及び文字３２７「文」に削除コマンドが含まれて、その削除コマンドが有効であると判断された場合であり、文字３２３及び３２７が削除され、「美しさを解説する文。」という内容となる。

なお、削除コマンドが含まれた文字３２３及び３２７の削除記号を除いて表示して、表示色を他の文字と異なるものとして表示してもよい。また、削除記号１１３Ａ〜１１３Ｃをリッチテキストフォーマット等で表示可能な削除記号として表示してもよい。また、削除された文字３２３及び３２７を削除されたことを利用者に認識させるために認識結果１０６Ａとともに表示してもよい。

また、削除記号１１３Ａ〜１１３Ｃは、連続した複数の文字からなる文字列にわたるものであってもよい。削除記号が文字列にわたる場合、ストローク情報振分手段１０１は、その文字列のストローク群を振り分けて、文字認識手段１０４は、文字列に対して文字認識を実行する。コマンド実行手段１０５は、削除記号が有効である場合、その文字列を削除する。

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、複数の文字からなる文字列に対して記入された削除記号を認識してもよい。この場合、その削除記号を文字単位に分割して認識してもよいし、文字列に対して削除記号に該当する削除操作を実行するようにしてもよい。また、文字間に記入された校正記号等を認識してもよい。

また、コマンド実行手段１０５が操作を実行した後のテキストデータを記憶部１１に格納してもよい。

また、上記実施の形態で使用される情報入力プログラム１１０は、ＣＤ−ＲＯＭ等の記憶媒体から装置内の記憶部に読み込んでも良く、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、上記実施の形態で使用される手段１００〜１０６の一部または全部をＡＳＩＣ等のハードウェアによって実現してもよい。

１…情報入力装置、２…電子ペン、３…記入用紙、１０…制御部、１１…記憶部、１２…通信部、１３…表示部、２０…カメラ、２１…ペン先、３０Ａ…フィールド、３０Ｂ…フィールド、３１…座標コード、３２Ａ…記入文字列、３２Ｂ…記入文字列、１００…ストローク情報受付手段、１０１…ストローク情報振分手段、１０２…削除コマンド認識手段、１０３…認識対象作成手段、１０４…文字認識手段、１０５…文字・コマンド特定手段、１０６…結果表示手段、１０６Ａ…認識結果、１１０…情報入力プログラム、１１１…ストローク情報、１１１Ａ−１１１Ｄ…ストローク群、１１１ａ-１１１ｏ…ストローク、１１２…文字候補情報、１１２Ａ−１１２Ｄ…文字候補、１１３…削除コマンド情報、１１３Ａ−１１３Ｃ…削除記号、３００-３１１…フィールド、３２０-３３１…文字

Claims

複数の筆跡を含む筆跡情報に予め定められた記号に該当するあるいは類似する筆跡が含まれる場合、前記記号に該当する筆跡を認識する記号認識手段と、
前記筆跡情報に前記記号に該当するあるいは類似する筆跡が含まれるとき、筆跡情報から前記記号認識手段が認識した前記筆跡を除いたものと除かないものそれぞれに関して文字認識を行ない、その結果得られる文字列候補を比較し、類似の指数の高い文字列候補を出力文字列であると判定する文字認識手段とを有する情報入力装置。
前記文字認識手段が判定した前記出力文字列が、前記記号認識手段が記号と認識した筆跡を除いた筆跡情報を認識した結果であるとき、前記出力文字列に前記記号に基づいた操作を実行する実行手段とをさらに有する請求項１に記載の情報入力装置。
前記筆跡情報が座標情報を含んでいることを特徴とする請求項１又は２に記載の情報入力装置。
前記筆跡情報が画像情報を含んでいることを特徴とする請求項１又は２に記載の情報入力装置。
コンピュータを、
複数の筆跡を含む筆跡情報に予め定められた記号に該当するあるいは類似する筆跡が含まれる場合、前記記号に該当する筆跡を認識する記号認識手段と、
前記筆跡情報に前記記号に該当するあるいは類似する筆跡が含まれるとき、前記筆跡情報から前記記号認識手段が認識した前記筆跡を除いたものと除かないものそれぞれに関して文字認識を行ない、その結果得られる文字候補を比較し、類似の指数の高い文字候補を出力文字列であると判定する文字認識手段として機能させるための情報入力プログラム。