JP7690465B2 - インクデータの修正方法、情報処理装置、及びプログラム - Google Patents

Description

本発明はインクデータの修正方法、情報処理装置、及びプログラムに関し、特に、文字列を表すインクデータの修正方法、並びに、そのような修正方法を実現する情報処理装置及びプログラムに関する。

スタイラスによる入力をサポートする情報処理装置（スマートフォン、タブレット端末、ラップトップＰＣなど）の増加に伴い、デジタル手書きの人気がますます増大している。デジタル手書きを使えば、筆記順での再生や、手書き速度を特徴量として用いる照合など、従来から存在する紙の上への手書きでは実現できなかったことが実現可能になる。

スタイラスによる入力を行う場合、情報処理装置は、１以上のストロークデータを含むインクデータを生成するよう構成される。ストロークデータは、スタイラスのペン先がタッチ面に接触した後、タッチ面から離脱するまでの間におけるスタイラスの指示位置の軌跡を示す一連の座標を含むデータである。例えばユーザがスタイラスによって文字列を入力する場合、情報処理装置は、１画ごとにストロークデータを生成し、一連のインクデータとして記憶部内に格納していく。こうして生成されるインクデータは最終的に、ユーザが入力した文字列を表すデータとなる。特許文献１には、このようなインクデータの一例が開示されている。

特開２０１９－０３６３６６号公報

ところで、ユーザが文字列を手書き入力する際には、脱字、衍字、誤字などのスペルミスが発生する可能性がある。この種のスペルミスは、インクデータにより表される文字列においても当然に反映されるため、インクデータによって表される手書き文字列にスペルミスが含まれる場合には、情報処理装置側でこれを自動的に検出し、インクデータを修正することが望まれる。

したがって、本発明の目的の一つは、スペルミスを含むインクデータを自動的に修正できるインクデータの修正方法、情報処理装置、及びプログラムを提供することにある。

本発明によるインクデータの修正方法は、インクデータによって表される手書き文字列に含まれるスペルミスの検出を行うことにより、前記インクデータの修正方法を決定する決定ステップと、前記修正方法に基づいて前記インクデータを操作することにより、前記インクデータを修正する修正ステップと、を含む手書き文字列に対応したインクデータの修正方法である。

本発明による情報処理装置は、インクデータによって表される手書き文字列に含まれるスペルミスの検出を行うことにより、前記インクデータの修正方法を決定する修正方法決定部と、前記修正方法に基づいて前記インクデータを操作することにより、前記インクデータを修正する修正操作部と、を含む情報処理装置である。

本発明によるプログラムは、情報処理装置を、インクデータによって表される手書き文字列に含まれるスペルミスの検出を行うことにより、前記インクデータの修正方法を決定する修正方法決定部、及び、前記修正方法に基づいて前記インクデータを操作することにより、前記インクデータを修正する修正操作部、として機能させるためのプログラムである。

本発明によれば、スペルミスを含む手書き文字列に対応したインクデータを自動的に修正することが可能になる。

本発明の実施の形態によるタブレット端末１の構成及び使用状態の一例を示す図である。 タブレット端末１の内部構成を示す図である。 ホストプロセッサ１０の機能ブロック及び記憶部１１に記憶されるデータを示す図である。 スペルミス検出部２０ｂが実行する処理の一例を示す図である。 脱字を修正するためのインクデータの操作を説明する図である。 衍字を修正するためのインクデータの操作を説明する図である。 誤字を修正するためのインクデータの操作を説明する図である。 ホストプロセッサ１０により実行されるインクデータ修正処理の全体フローを示すフロー図である。 図８に示した文字追加処理の詳細を示すフロー図である。 図８に示した文字削除処理の詳細を示すフロー図である。 図８に示した文字置換処理の詳細を示すフロー図である。 本発明の実施の形態の変形例による、ホストプロセッサ１０の機能ブロック及び記憶部１１に記憶されるデータを示す図である。

以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。

図１は、本発明の実施の形態によるタブレット端末１の構成及び使用状態の一例を示す図である。タブレット端末１は、スタイラスＰによる入力に対応する情報処理装置であり、表示面とタッチ面を兼ねるパネル面２を有して構成される。スタイラスＰによる入力の方式は限定されないが、例えば、アクティブ静電方式（ＡＥＳ）や電磁誘導方式（ＥＭＲ）などを好適に利用可能である。以下では、アクティブ静電方式の利用を前提として説明を続ける。

図２は、タブレット端末１の内部構成を示す図である。同図に示すように、タブレット端末１は、ホストプロセッサ１０、記憶部１１、ディスプレイ１２、タッチセンサ１３、及びセンサコントローラ１４を有して構成される。

ホストプロセッサ１０はタブレット端末１の中央処理装置であり、記憶部１１に記憶されるプログラムを実行することにより、タブレット端末１のオペレーティングシステムや、描画ソフトウェアなどの各種アプリケーションなどを実行する役割を果たす。描画ソフトウェアには、インクデータを格納するためのファイルを記憶部１１内に生成する機能と、後述するペンダウンからペンアップまでの間にセンサコントローラ１４から逐次供給される座標及びデータに基づいてストロークデータを生成し、逐次レンダリングしてディスプレイ１２に表示するとともに、生成したストロークデータを一連のインクデータとして互いに関連付けて記憶部内に書き込む機能と、生成済みのインクデータを記憶部１１から取り出し、レンダリングしてディスプレイ１２に表示する機能とが含まれる。

記憶部１１は、例えばＤＲＡＭ(Dynamic Random Access Memory)によって構成される主記憶装置と、例えばフラッシュメモリ又はハードディスクによって構成される補助記憶装置とを含んで構成される。記憶部１１には、ホストプロセッサ１０によって実行されるプログラムが予め格納される他、ホストプロセッサ１０によって利用又は生成される各種のデータが格納される。このデータには、上述したインクデータの他、タブレット端末１の識別情報、上述したオペレーティングシステム又は各種アプリケーションにログインするためのログイン情報などが含まれる。

ディスプレイ１２は、ホストプロセッサ１０による処理の結果を視覚的に出力する装置であり、例えば液晶ディスプレイ又は有機ＥＬディスプレイによって構成される。

タッチセンサ１３は、図１に示したパネル面２の全体にわたって配置された複数のセンサ電極を有する装置である。複数のセンサ電極には、それぞれＹ方向に延在する複数のＸ電極と、それぞれＸ方向に延在する複数のＹ電極とが含まれる。ディスプレイ１２内に配置される共通電極を複数のＸ電極として用いることとしてもよく、そのように構成した場合のタブレット端末１は「インセル式」と呼ばれる。

センサコントローラ１４は、タッチセンサ１３を利用して、パネル面２内におけるスタイラスＰ及び指の位置の検出、及び、スタイラスＰが送信したデータの受信を行う集積回路である。スタイラスＰから受信されるデータには、スタイラスＰのペン先に印加される圧力を示す筆圧値、個々のスタイラスＰに予め割り当てられるペンＩＤなどが含まれる。このうち筆圧値に関して、センサコントローラ１４は、スタイラスＰから受信した筆圧値に基づき、スタイラスＰがパネル面２に接触したこと（ペンダウン）、及び、スタイラスＰがパネル面２から離脱したこと（ペンアップ）を検出するように構成される。センサコントローラ１４は、検出した位置を示す座標、受信したデータ、及び、ペンダウン又はペンアップの情報を、逐次、ホストプロセッサ１０に供給する。

ホストプロセッサ１０において実行される描画ソフトウェアは、センサコントローラ１４から供給される各種データに基づいてストロークデータを生成し、記憶部１１に予め生成しておいた一連のインクデータに関連付けて格納するよう構成される。特にスタイラスＰによる入力に関して、描画ソフトウェアは、ペンダウンからペンアップまでの間にセンサコントローラ１４から供給される一連の座標及び筆圧値を時系列に配置することによってストロークデータを生成し、該ストロークデータを入力したユーザを示すユーザ情報と対応付けて一連のインクデータに関連付けて格納するよう構成される。ユーザ情報の具体的な内容は、センサコントローラ１４から供給されるペンＩＤであってもよいし、タブレット端末１の識別情報であってもよいし、オペレーティングシステム又は描画アプリケーションのログイン情報であってもよい。

描画ソフトウェアはまた、生成済みのインクデータを記憶部１１から取り出してレンダリングし、ディスプレイ１２に表示するよう構成される。このレンダリングにおいては、一連の座標の間の座標を補完するために、例えばキャットマル－ロム曲線などの所定の補間曲線が用いられる。また、線幅又は透明度を制御するために筆圧値が利用される。

図１に戻る。同図に示した「ｐａｔｅｎｔ ａｐｌｉｃａｔｉｏｎ」の文字列は、インクデータによって表される手書き文字列の一例である。本実施の形態によるタブレット端末１の特徴は、このような手書き文字列に含まれるスペルミスを自動的に検出し、その結果に基づいてインクデータを自動的に修正する点にある。以下、この点について詳しく説明する。

図３は、ホストプロセッサ１０の機能ブロック及び記憶部１１に記憶されるデータを示す図である。同図には、上記特徴に関する部分のみを示している。

図３に示すように、ホストプロセッサ１０は機能的に、修正方法決定部２０及び修正操作部２１を有して構成される。このうち修正方法決定部２０には、文字認識処理部２０ａ及びスペルミス検出部２０ｂが含まれる。なお、修正方法決定部２０及び修正操作部２１は、上述した描画ソフトウェアに機能の１つとして実装されることが好ましい。また、記憶部１１には、インクデータベース３０、標準パターンデータベース３１、及び単語辞書データベース３２が格納される。

インクデータベース３０は、ホストプロセッサ１０によって生成されたインクデータを蓄積するデータベースである。インクデータベース３０には、タブレット端末１のホストプロセッサ１０だけでなく、他の情報処理装置のホストプロセッサによって生成されたインクデータをも蓄積することとしてもよい。

修正方法決定部２０は、インクデータベース３０に格納されるインクデータによって表される文字列に含まれるスペルミスの検出を行うことにより、該インクデータの修正方法を決定する機能部である。スペルミス検出の対象となるインクデータは、例えばユーザによって指定される。具体的な処理としては、修正方法決定部２０はまず、文字認識処理部２０ａを用いて文字認識処理を実行することにより、処理対象のインクデータによって表される文字列を示すテキストデータを取得する。次に修正方法決定部２０は、スペルミス検出部２０ｂを用いて、取得したテキストデータに含まれるスペルミスの検出を行う。そして最後に、検出したスペルミスの内容に基づき、インクデータの修正方法を決定する。以下、詳しく説明する。

文字認識処理部２０ａは、標準パターンデータベース３１を用い、いわゆるＯＣＲ(Optical Character Recognition)と同様の処理を行うことにより、文字認識処理を実行する機能部である。具体的に説明すると、文字認識処理部２０ａは、インクデータが入力されるとまず、そのレイアウトを解析し、行及び文字（スペースを含む）の切り出しを行う。次に文字認識処理部２０ａは、切り出した各文字から特徴値の抽出を行う。

標準パターンデータベース３１には、上記特徴値の文字ごとの標準パターンが予め格納される。切り出した各文字から特徴値を抽出した文字認識処理部２０ａは、抽出した特徴値を標準パターンデータベース３１内の標準パターンと照合することにより、切り出した文字ごとに１つの文字を選択する。文字認識処理部２０ａは、こうして選択される一連の文字を、処理対象のインクデータによって表される文字列を示すテキストデータとして出力する。

ここで、文字認識処理部２０ａから出力されたテキストデータは、処理対象のインクデータと対応付けてインクデータベース３０内に格納しておくことが好ましい。こうすることで、修正操作部２１がインクデータベース３０から後述する追加ストロークデータ群を取得する際に、各インクデータに対応付けて格納されているテキストデータに基づき、取得する追加ストロークデータ群を決定することが可能になる。

次に、スペルミス検出部２０ｂは、１以上の文字の組み合わせによって構成される単語のデータが予め格納される単語辞書データベース３２を用い、文字認識処理部２０ａから出力されたテキストデータに含まれるスペルミスを検出する機能部である。具体的に説明すると、スペルミス検出部２０ｂはまず、文字認識処理部２０ａから出力されたテキストデータを単語ごとに分割する。この分割は、英語のような分かち書きをする言語であれば、文字間のスペースに基づいて行えばよい。一方、日本語のような分かち書きをしない言語の場合には、単語辞書データベース３２内に格納される単語に基づく知識処理を行うことによって単語を抽出し、その結果に基づいて分割すればよい。

スペルミス検出部２０ｂは、続いて、分割によって得られた１以上の単語のそれぞれについて、単語辞書データベース３２内に一致又は類似する単語が存在するか否かを判定する。ここで、２つの単語が類似するとは、例えば、単語間のレーベンシュタイン距離又はジャロ・ウィンクラー距離が所定値以下であることをいう。ある単語について一致する単語が存在した場合、スペルミス検出部２０ｂは、その単語にはスペルミスが含まれないと結論する。また、ある単語について一致する単語及び類似する単語のいずれもが存在しなかった場合にも、スペルミス検出部２０ｂは、その単語にはスペルミスが含まれないと結論する。この結論になるのは、固有名詞など辞書に掲載されていない単語である可能性が高いと考えられるためである。一方、ある単語について一致する単語が存在しないが、類似する単語が存在した場合には、スペルミス検出部２０ｂは、その単語にはスペルミスが含まれると結論する。

図４は、スペルミス検出部２０ｂが実行する上記処理の一例を示す図である。図４（ａ）はインクデータを示し、図４（ｂ）は、図４（ａ）のインクデータに基づいて文字認識処理部２０ａから出力されるテキストデータを示している。図４（ｂ）には、上述したテキストデータの分割の結果として得られる単語の区切り１００も示している。図４（ｃ）は、区切り１００によって分割された図４（ｂ）のテキストデータの各部分に対して、スペルミス検出部２０ｂが単語辞書データベース３２内から発見した単語を示している。

図４（ｃ）に示すように、テキストデータのうち「ｐａｔｅｎｔ」の部分については、単語辞書データベース３２の中から、完全に一致する単語「ｐａｔｅｎｔ」が発見されている。したがってスペルミス検出部２０ｂは、単語「ｐａｔｅｎｔ」にはスペルミスが含まれないと結論する。一方、テキストデータのうち「ａｐｌｉｃａｔｉｏｎ」の部分については、単語辞書データベース３２の中から完全に一致する単語は発見されず、類似する単語「ａｐｐｌｉｃａｔｉｏｎ」が発見されている。したがってスペルミス検出部２０ｂは、単語「ａｐｌｉｃａｔｉｏｎ」にはスペルミスが含まれると結論する。

図３に戻る。スペルミス検出部２０ｂによって検出されるスペルミスには、脱字、衍字、誤字の３種類が存在し得る。脱字は、必要な文字が欠落しているというスペルミスであり、衍字は、不必要な文字が混入しているというスペルミスであり、誤字は、必要な文字が他の文字に置き換わっているというスペルミスである。修正方法決定部２０は、これらのスペルミスの検出結果に基づき、インクデータの修正方法を決定する。こうして決定される修正方法は、脱字の場合には文字の追加、衍字の場合には文字の削除、誤字の場合には文字の置換となる。

次に、修正操作部２１は、修正方法決定部２０が決定した修正方法に基づいてインクデータを操作することにより、インクデータを修正する機能部である。以下、図５～図７を参照しながら、修正操作部２１が行う処理について詳しく説明する。

図５は、脱字を修正するためのインクデータの操作を説明する図である。図５（ａ）には、処理対象のインクデータの一例を示している。この例によるインクデータは図４にも示した「ｐａｔｅｎｔ ａｐｌｉｃａｔｉｏｎ」であり、正しいスペルで書いた「ｐａｔｅｎｔ ａｐｐｌｉｃａｔｉｏｎ」と比べると、「ｐ」が１つ欠落している。

図５（ａ）のインクデータの入力を受けた修正方法決定部２０により決定される修正方法は、例えば、「ａｐｌｉｃａｔｉｏｎ」内の「ｐ」と「ｌ」の間に「ｐ」を追加する、というものになる。修正操作部２１はまず、図３に示したインクデータベース３０から、処理対象のインクデータを入力したユーザと同一のユーザにより入力された１以上のインクデータを選択する。なお、ここで選択されるインクデータには、現在処理の対象となっているインクデータが含まれることとしてもよい。そして修正操作部２１は、選択した１以上のインクデータの中から、追加対象の文字である「ｐ」を表す１以上のストロークデータを取得する。以下、こうして取得した１以上のストロークデータを「追加ストロークデータ群」と称する。図５（ｃ）に示した文字１０１は、こうして取得された追加ストロークデータ群を示している。

次に修正操作部２１は、処理対象のインクデータを構成する各文字のサイズ、及び、追加対象の文字の内容に基づき、追加対象の文字１０１の幅Ｘを決定する。そして、処理対象のインクデータにより表される複数の文字のうち追加対象の文字１０１の挿入部分と同じ行内で右側に位置するものを選択し、決定した幅Ｘに基づき、選択した１以上の文字を右側に移動させる。具体的には、選択した１以上の文字が幅Ｘに応じた距離だけ右側に移動することとなるよう、移動対象の文字に対応するストロークデータに含まれる一連の座標のそれぞれに対し、移動距離分の数値を加算する処理を行う。なお、この操作による各ストロークデータの具体的な移動距離は、例えば図５（ｂ）に示すように、幅Ｘに所定の調整値αを加えた距離とすればよい。ただし、調整値αは、プラスの値であってもよいし、マイナスの値であってもよいし、ゼロであってもよい。

続いて修正操作部２１は、追加ストロークデータ群を追加したインクデータのレンダリング結果が自然なものとなるように、追加ストロークデータ群を構成する一連の座標の値を調整する。具体的には、追加ストロークデータ群をレンダリングした結果として表示される文字「ｐ」が、修正方法決定部２０により決定された位置に、先に決定した幅Ｘで表示されるように、追加ストロークデータ群を構成する一連の座標の値を調整する。修正操作部２１はまた、インクデータを自動再生する場合の再生順序が自然なものとなるように、インクデータを構成するファイル内における追加ストロークデータ群の挿入位置を調整することとしてもよい。調整を実行した修正操作部２１は、調整後の追加ストロークデータ群をインクデータに追加することにより、インクデータの操作を終了する。

ここで、図５の例のような英語の場合には、追加ストロークデータ群を挿入する部分の右側に位置する一連のストロークデータを右側に移動させることになるが、言語及びその書き方によっては、これとは異なる方法が採用され得る。例えば、アラビア語のように左から右に書く言語では、追加ストロークデータ群を挿入する部分の左側に位置する一連のストロークデータを左側に移動させることになる。また、縦書きの日本語では、追加ストロークデータ群を挿入する部分の下側に位置する一連のストロークデータを下側に移動させることになる。

図６は、衍字を修正するためのインクデータの操作を説明する図である。図６（ａ）には、この例による処理対象のインクデータを示している。このインクデータは「ｐａｔｅｎｔ ａｐｐｌｌｉｃａｔｉｏｎ」というものであり、正しいスペルで書いた「ｐａｔｅｎｔ ａｐｐｌｉｃａｔｉｏｎ」と比べると、不要な「ｌ」が１つ追加されている。図６（ａ）では、文字１０２がこの「ｌ」に相当する。

図６（ａ）のインクデータの入力を受けた修正方法決定部２０により決定される修正方法は、「ａｐｐｌｌｉｃａｔｉｏｎ」内の「ｌ」を１つ削除する、というものになる。修正操作部２１はまず、処理対象のインクデータにおける削除対象の文字「ｌ」の幅Ｙを取得する。そして、図６（ｂ）に示すように、インクデータを構成する複数のストロークデータから、削除対象の文字「ｌ」に対応する１以上のストロークデータを削除する。

その後、修正方法決定部２０は、処理対象のインクデータにより表される複数の文字のうち、削除した文字「ｌ」と同じ行内で一方側（図６の例では右側）に位置していたものを選択し、幅Ｙに基づき、選択した１以上の文字を左側に移動させる。具体的には、選択した１以上の文字が幅Ｙに応じた距離だけ左側に移動することとなるよう、移動対象の文字に対応するストロークデータに含まれる一連の座標のそれぞれから、移動距離分の数値を減算する処理を行う。なお、この操作による各文字の具体的な移動距離は、例えば図６（ｂ）に示すように、幅Ｙに所定の調整値βを加えた距離とすればよい。ただし、調整値βは、プラスの値であってもよいし、マイナスの値であってもよいし、ゼロであってもよい。修正操作部２１は、ここまでの処理によりインクデータの操作を完了する。

ここで、図６の例のような英語の場合には、削除した文字の右側に位置していたストロークデータを左側に移動させることになるが、言語及びその書き方によっては、これとは異なる方法が採用され得る。例えば、アラビア語のように左から右に書く言語では、削除した文字の左側に位置していたストロークデータを右側に移動させることになる。また、縦書きの日本語では、削除した文字の下側に位置していたストロークデータを上側に移動させることになる。

図７は、誤字を修正するためのインクデータの操作を説明する図である。図７（ａ）には、この例による処理対象のインクデータを示している。このインクデータは「ｐａｔｅｎｔ ａｐｐｌｅｃａｔｉｏｎ」というものであり、正しいスペルで書いた「ｐａｔｅｎｔ ａｐｐｌｉｃａｔｉｏｎ」と比べると、「ａｐｐｌ」の後の「ｉ」が「ｅ」に置き換わっている。図７（ａ）では、文字１０３がこの「ｅ」に相当する。

図７（ａ）のインクデータの入力を受けた修正方法決定部２０により決定される修正方法は、「ａｐｐｌｅｃａｔｉｏｎ」内の「ｅ」を「ｉ」に置き換える、というものになる。この決定を受けた修正操作部２１は、まず初めに、図７（ａ）～図７（ｃ）に示すように、「ｅ」を削除対象として、図６を参照して説明したものと同様のインクデータの操作を実行する。続いて修正操作部２１は、図７（ｃ）～図７（ｅ）に示すように、「ｌ」と「ｃ」の間に「ｉ」が追加されることとなるように、図５を参照して説明したものと同様のインクデータの操作を実行する。

これらの操作を実行した結果として、図７（ｅ）に示すように、「ａｐｐｌｅｃａｔｉｏｎ」内の「ｅ」の「ｉ」への置き換えが実現される。このように、誤字を修正するためのインクデータの操作は、衍字を修正するためのインクデータの操作と、脱字を修正するためのインクデータの操作との組み合わせによって構成される。

次に、以上で説明したホストプロセッサ１０の処理について、ホストプロセッサ１０の処理フローを参照することにより、別の観点から再度より詳しく説明する。

図８は、ホストプロセッサ１０により実行されるインクデータ修正処理の全体フローを示すフロー図である。同図に示すように、ホストプロセッサ１０は、まず初めにインクデータベース３０からインクデータを取得し（ステップＳ１）、文字認識処理を実行する（ステップＳ２）。この文字認識処理の詳細は、上述したとおりである。

続いてホストプロセッサ１０は、文字認識処理によって得られたテキストデータを単語ごとに分割する（ステップＳ３）。この分割処理の詳細は、上述したとおりである。その後、ホストプロセッサ１０は、ステップＳ３の分割で得られたテキストデータ内の各単語について、ステップＳ５～Ｓ１３の処理を実行する（ステップＳ４）。

具体的に説明すると、ホストプロセッサ１０はまず、図３に示した単語辞書データベース３２内に一致する単語が存在するか否かを判定する（ステップＳ５）。その結果、存在すれば、ホストプロセッサ１０は、スペルミスなしと結論して次の単語に処理を移す。一方、存在しなければ、ホストプロセッサ１０はさらに、単語辞書データベース３２内に類似する単語が存在しているか否かを判定する（ステップＳ６）。ここでいう類似の意味については、上述したとおりである。ステップＳ６において存在しないと判定した場合、ホストプロセッサ１０は、スペルミスなしと結論して次の単語に処理を移す。一方、存在すると判定した場合のホストプロセッサ１０は、処理対象の単語と単語辞書データベース３２内の類似単語とを比較することにより、処理対象の単語に含まれるスペルミスの内容を検出する（ステップＳ７）。こうして検出されるスペルミスには、上述したように、脱字、衍字、誤字の３種類が含まれ得る。

次にホストプロセッサ１０は、ステップＳ７で検出されたスペルミスの内容に基づき、インクデータの修正方法を決定する（ステップＳ８）。ここで、ステップＳ７で検出されるスペルミスの内容は、１つだけとは限らない。１つの単語に複数のスペルミスが含まれる場合、ホストプロセッサ１０はそのうちの１つを選択し、選択したスペルミスを修正するための修正方法を決定する。

続いてホストプロセッサ１０は、ステップＳ８で決定した修正方法が文字の追加、文字の削除、文字の置換のいずれであるかを判定する（ステップＳ９）。その結果、文字の追加であれば文字追加処理（ステップＳ１０）を、文字の削除であれば文字削除処理（ステップＳ１１）を、文字の置換であれば文字置換処理（ステップＳ１２）をそれぞれ実行する。それぞれの詳細については、後ほど図９～図１１を参照して詳しく説明する。

ステップＳ１０～Ｓ１２のいずれかを完了したホストプロセッサ１０は、処理対象の単語に含まれるすべてのスペルミスの修正が完了したか否かを判定し（ステップＳ１３）、完了していないと判定した場合には、ステップＳ８に戻って残りのスペルミスを修正する。一方、完了したと判定したホストプロセッサ１０は、次の単語に処理を移す。ステップＳ３の分割で得られたテキストデータ内の各単語のすべてについて処理が終了した場合、ホストプロセッサ１０は、インクデータ修正処理を終了する。

図９は、図８に示した文字追加処理（ステップＳ１０）の詳細を示すフロー図である。この処理を実行するホストプロセッサ１０はまず、処理対象のインクデータ（図８のステップＳ１で取得したもの）と同一のユーザによって生成された１以上のインクデータをインクデータベース３０内から選択し、選択した１以上のインクデータの中から、上述した追加ストロークデータ群を取得する（ステップＳ２０）。

次にホストプロセッサ１０は、処理対象のインクデータを構成する各文字のサイズ、及び、追加対象の文字の内容に基づき、追加対象の文字の幅Ｘを決定する（ステップＳ２１）。続いてホストプロセッサ１０は、処理対象のインクデータにより表される複数の文字のうち、追加対象の文字の挿入部分と同じ行内で右側に位置するものを選択し（ステップＳ２２）、選択した１以上の文字が幅Ｘに応じた距離（具体的には、図５に示した距離Ｘ＋α）だけ右側に移動することとなるよう、インクデータを操作する（ステップＳ２３）。この操作の詳細は、上述したとおりである。

次にホストプロセッサ１０は、追加ストロークデータ群を追加したインクデータのレンダリング結果が自然なものとなるように、追加ストロークデータ群を構成する一連の座標の値を調整する（ステップＳ２４）。この調整処理の詳細は、上述したとおりである。その後、ホストプロセッサ１０は、調整後の追加ストロークデータ群をインクデータに追加し（ステップＳ２５）、文字追加処理を終了する。

図１０は、図８に示した文字削除処理（ステップＳ１１）の詳細を示すフロー図である。この処理を実行するホストプロセッサ１０はまず、処理対象のインクデータにおける削除対象の文字の幅Ｙを導出する（ステップＳ３０）。その後、ホストプロセッサ１０は、削除対象の文字に対応する１以上のストロークデータを処理対象のインクデータから削除する（ステップＳ３１）。

次にホストプロセッサ１０は、処理対象のインクデータにより表される複数の文字のうち、削除した文字と同じ行内で右側に位置していたものを選択する（ステップＳ３２）。そして、選択した１以上の文字が幅Ｙに応じた距離（具体的には、図６に示した距離Ｙ＋β）だけ左側に移動することとなるよう、処理対象のインクデータを操作する（ステップＳ３３）。この操作の詳細は、上述したとおりである。ホストプロセッサ１０は、ステップＳ３３が完了したことにより、文字削除処理を終了する。

図１１は、図８に示した文字置換処理（ステップＳ１２）の詳細を示すフロー図である。同図に示すように、この処理は文字削除処理と文字追加処理の組み合わせとなる。具体的に説明すると、ホストプロセッサ１０はまず、誤っている文字を削除対象として、図１０に示した文字削除処理を実行する（ステップＳ４０）。これにより、処理対象のインクデータから誤っている文字が削除され、削除によってできたスペースが詰められることになる。次にホストプロセッサ１０は、誤っている文字を削除した位置に正しい文字が追加されることとなるように、図９に示した文字追加処理を実行する（ステップＳ４１）。これにより、処理対象のインクデータの誤字を削除した位置に、正しい文字が挿入されることになる。ホストプロセッサ１０は、ステップＳ４１が完了した後、文字置換処理を終了する。

以上説明したように、本実施の形態によるインクデータの修正方法、情報処理装置、及びプログラムによれば、インクデータによって表される文字列に含まれるスペルミスを自動的に検出し、その結果に基づいて、インクデータを修正することができる。したがって、スペルミスを含むインクデータを自動的に修正することが可能になる。

また、文字を追加する修正を行う場合、処理対象のインクデータを入力したユーザと同一のユーザによって過去に入力されたインクデータの中から追加ストロークデータ群を取得するようにしているので、他の部分と筆跡の異なる文字がインクデータに混入してしまうことを防止できる。

さらに、追加ストロークデータ群を追加したインクデータのレンダリング結果が自然なものとなるように追加ストロークデータ群を構成する一連の座標の値を調整してから、インクデータに追加ストロークデータ群を追加するようにしているので、修正の後にも、自然なレンダリング結果を得ることが可能になる。

以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。

例えば、図３では、処理対象のインクデータを入力したユーザと同一のユーザにより入力された１以上のインクデータがインクデータベース３０から選択される旨説明したが、インクデータベース３０から選択されるインクデータは必ずしも同一のユーザによって入力されたものである必要はない。

また、図３に示す修正方法決定部２０では、文字認識処理部２０ａを用いて文字認識処理を実行することにより、処理対象のインクデータによって表される文字列を示すテキストデータを取得する旨説明したが、必ずしもテキストデータを取得する必要はない。すなわち、修正方法決定部２０では、文字認識処理部２０ａを用いて文字認識処理を実行することにより、処理対象のインクデータによって表される手書き文字列のサイズ、傾きなどを補正することで手書き文字列の正規化を行うとともに、記憶部１１にはテキストデータに代えて正規化された手書き文字列を登録しておくことで、手書き文字列自体を対象として修正方法決定部２０にてスペルミス検出部２０ｂを用いて、取得した手書き文字列に含まれるスペルミスの検出を行うようにしても良い。

図１２は、上記のように構成した上記実施の形態の変形例による、ホストプロセッサ１０の機能ブロック及び記憶部１１に記憶されるデータを示す図である。同図に示すように、本変形例によるホストプロセッサ１０は、文字認識処理部２０ａに代えて文字認識処理部２０ｃを有し、スペルミス検出部２０ｂに代えてスペルミス検出部２０ｄを有する。また、記憶部１１は、単語辞書データベース３２に代えて手書き文字列データベース３３を有する。

手書き文字列データベース３３は、正規化された手書き文字列を記憶するデータベースである。手書き文字列データベース３３は、できるだけ多くの単語について、手書き文字列の実例を記憶するよう構成される。

文字認識処理部２０ｃは、スペルミス検出の対象となるインクデータに対して文字認識処理を実行することにより、文字列の正規化を行う。具体的に説明すると、文字認識処理部２０ｃはまず、文字認識処理部２０ａと同様の処理を行うことによって、行及び文字を切り出し、切り出した文字ごとに１つの文字を選択する。そして、選択した文字の形状として期待される形状（すなわち、手書き文字列データベース３３に記憶されている文字の形状）に近くなるように、切り出した文字を整形する。この整形には、上述したように、傾きの補正などが含まれる。また、切り出した各文字のサイズが例えば互いに等しくなるように、整形後の各文字のサイズを調整する。

スペルミス検出部２０ｄは、文字認識処理部２０ｃから出力された整形済みの手書き文字列と、手書き文字列データベース３３に登録されている手書き文字列とを比較することにより、スペルミスを検出する。具体的に説明すると、スペルミス検出部２０ｄはまず、文字認識処理部２０ｃから出力された手書き文字列を単語ごとに分割する。この処理は、スペルミス検出部２０ｂが行うテキストデータの分割と同様の処理でよい。そして、分割によって得られた１以上の単語のそれぞれについて、手書き文字列データベース３３内に一致又は類似する手書き文字列が存在するか否かを判定する。ある単語について一致する手書き文字列が存在した場合、スペルミス検出部２０ｄは、その単語にはスペルミスが含まれないと結論する。また、ある単語について一致する手書き文字列及び類似する手書き文字列のいずれもが存在しなかった場合にも、スペルミス検出部２０ｄは、その単語にはスペルミスが含まれないと結論する。一方、ある単語について一致する手書き文字列が存在しないが、類似する手書き文字列が存在した場合には、スペルミス検出部２０ｄは、その単語にはスペルミスが含まれると結論する。この結論を受けた修正方法決定部２０及び修正操作部２１の処理は、上記実施の形態で説明したとおりである。

このように、本変形例によれば、テキストデータを取得しなくても、上記実施の形態と同様に、スペルミスを含むインクデータを自動的に修正することが可能になる。

また、手書き文字列では、例えば英語の筆記体のように、前後の文字が連接する場合がある。そこで、修正操作部２１は、追加ストロークデータ群をインクデータに追加する際に、追加後に連接させるべき２つのストロークデータを決定し、決定した２つのストロークデータが連接することとなるよう、該２つのストロークデータの一方又は両方の形状（位置及び／又は太さを含む）を変形させることとしてもよい。同様に、１以上のストロークデータを削除し、削除した文字と同じ行内で一方側に位置していたものを他方側に移動させる際に、移動操作を行った後に連接させるべき２つのストロークデータを決定し、決定した２つのストロークデータが連接することとなるよう、該２つのストロークデータの一方又は両方の形状（位置及び／又は太さを含む）を変形させることとしてもよい。こうすることで、前後の文字を連接させる連続的なストロークを実現することが可能になる。

また、図３に示すインクデータベース３０、標準パターンデータベース３１、及び単語辞書データベース３２、図１２に示す手書き文字列データベース３３のうちの少なくとも１つのデータベースは、ネットワークを介してホストプロセッサ１０と接続される構成でも良い。

さらに、図３に示したホストプロセッサ１０が行う処理の一部又は全部を、例えばクラウドコンピューティング技術を用い、ネットワークを介して実行することとしてもよい。

１ タブレット端末
２ パネル面
１０ ホストプロセッサ
１１ 記憶部
１２ ディスプレイ
１３ タッチセンサ
１４ センサコントローラ
２０ 修正方法決定部
２０ａ，２０ｃ 文字認識処理部
２０ｂ，２０ｄ スペルミス検出部
２１ 修正操作部
３０ インクデータベース
３１ 標準パターンデータベース
３２ 単語辞書データベース
３３ 手書き文字列データベース
１０１ 追加対象の文字
１０２ 削除対象の文字
１０３ 置換対象の文字
Ｐ スタイラス
Ｘ，Ｙ 幅
α，β 調整値

Claims (16)

1. スタイラスの指示位置の軌跡を示す一連の座標をそれぞれ含む複数のストロークデータを含むインクデータによって表される手書き文字列を示すテキストデータを文字認識処理を実行することにより取得し、前記テキストデータに含まれるスペルミスの検出を行うことによって前記手書き文字列に含まれるスペルミスを検出し、前記手書き文字列に含まれるスペルミスの検出結果に基づいて前記インクデータの修正方法を決定する決定ステップと、
   前記修正方法に基づいて前記インクデータを操作することにより、前記インクデータを修正する修正ステップと、
   を含む手書き文字列に対応したインクデータの修正方法。
2. スタイラスの指示位置の軌跡を示す一連の座標をそれぞれ含む複数のストロークデータを含むインクデータによって表される手書き文字列の正規化を文字認識処理を実行することにより行い、正規化された前記手書き文字列を予め登録された手書き文字列と比較することによって前記手書き文字列に含まれるスペルミスを検出し、前記手書き文字列に含まれるスペルミスの検出結果に基づいて前記インクデータの修正方法を決定する決定ステップと、
   前記修正方法に基づいて前記インクデータを操作することにより、前記インクデータを修正する修正ステップと、
   を含む手書き文字列に対応したインクデータの修正方法。
3. 前記修正方法は文字の追加であり、
   前記修正ステップによる前記インクデータの操作は、前記インクデータを構成する複数のストロークデータに追加対象の文字を表す１以上のストロークデータを追加する操作を含む、
   請求項１又は２に記載の手書き文字列に対応したインクデータの修正方法。
4. 前記修正ステップは、前記インクデータを入力したユーザにより入力された１以上のインクデータの中から、前記追加対象の文字を表す１以上のストロークデータを取得する、
   請求項３に記載の手書き文字列に対応したインクデータの修正方法。
5. 前記修正ステップによる前記インクデータの操作は、前記追加対象の文字の幅を決定し、前記手書き文字列を構成する複数の文字のうち前記追加対象の文字を挿入する部分の一方側に位置するものを、決定した前記幅に応じて該一方側に移動させるための操作を含む、
   請求項４に記載の手書き文字列に対応したインクデータの修正方法。
6. 前記修正ステップによる前記インクデータの操作は、１以上のストロークデータの追加後に連接させるべき２つのストロークデータを決定し、決定した２つのストロークデータが連接することとなるよう、該２つのストロークデータの一方又は両方の形状を変形する操作を含む、
   請求項３乃至５のいずれか一項に記載の手書き文字列に対応したインクデータの修正方法。
7. 前記修正方法は文字の削除であり、
   前記修正ステップによる前記インクデータの操作は、前記インクデータを構成する複数のストロークデータから削除対象の文字に対応する１以上のストロークデータを削除する操作を含む、
   請求項１又は２に記載の手書き文字列に対応したインクデータの修正方法。
8. 前記修正ステップによる前記インクデータの操作は、前記削除対象の文字の幅に基づき、前記手書き文字列を構成する複数の文字のうち削除した前記削除対象の文字の一方側に位置していたものを他方側に移動させるための操作を含む、
   請求項７に記載の手書き文字列に対応したインクデータの修正方法。
9. 前記修正ステップによる前記インクデータの操作は、前記移動させるための操作を行った後に連接させるべき２つのストロークデータを決定し、決定した２つのストロークデータが連接することとなるよう、該２つのストロークデータの一方又は両方の形状を変形する操作を含む、
   請求項８に記載の手書き文字列に対応したインクデータの修正方法。
10. 前記修正方法は文字の置換であり、
    前記修正ステップによる前記インクデータの操作は、
    前記インクデータを構成する複数のストロークデータから誤っている文字に対応する１以上のストロークデータを削除する操作と、
    前記インクデータを構成する複数のストロークデータに正しい文字を表す１以上のストロークデータを追加する操作と、を含む、
    請求項１又は２に記載の手書き文字列に対応したインクデータの修正方法。
11. 前記修正ステップは、前記インクデータを入力したユーザにより入力された１以上のインクデータの中から、前記正しい文字を表す１以上のストロークデータを取得する、
    請求項１０に記載の手書き文字列に対応したインクデータの修正方法。
12. 前記修正ステップによる前記インクデータの操作は、
    前記誤っている文字の幅に基づき、前記手書き文字列を構成する複数の文字のうち削除した前記誤っている文字の一方側に位置していたものを他方側に移動させるための操作と、
    前記正しい文字の幅を決定し、前記手書き文字列を構成する複数の文字のうち前記正しい文字を挿入する部分の一方側に位置するものを、決定した前記幅に応じて該一方側に移動させるための操作と、を含む、
    請求項１１に記載の手書き文字列に対応したインクデータの修正方法。
13. スタイラスの指示位置の軌跡を示す一連の座標をそれぞれ含む複数のストロークデータを含むインクデータによって表される手書き文字列を示すテキストデータを文字認識処理を実行することにより取得し、該テキストデータに含まれるスペルミスの検出を行うことによって前記手書き文字列に含まれるスペルミスを検出し、前記手書き文字列に含まれるスペルミスの検出結果に基づいて前記インクデータの修正方法を決定する修正方法決定部と、
    前記修正方法に基づいて前記インクデータを操作することにより、前記インクデータを修正する修正操作部と、
    を含む情報処理装置。
14. スタイラスの指示位置の軌跡を示す一連の座標をそれぞれ含む複数のストロークデータを含むインクデータによって表される手書き文字列の正規化を文字認識処理を実行することにより行い、正規化された前記手書き文字列を予め登録された手書き文字列と比較することによって前記手書き文字列に含まれるスペルミスを検出し、前記手書き文字列に含まれるスペルミスの検出結果に基づいて前記インクデータの修正方法を決定する修正方法決定部と、
    前記修正方法に基づいて前記インクデータを操作することにより、前記インクデータを修正する修正操作部と、
    を含む情報処理装置。
15. 情報処理装置を、
    スタイラスの指示位置の軌跡を示す一連の座標をそれぞれ含む複数のストロークデータを含むインクデータによって表される手書き文字列を示すテキストデータを文字認識処理を実行することにより取得し、該テキストデータに含まれるスペルミスの検出を行うことによって前記手書き文字列に含まれるスペルミスを検出し、前記手書き文字列に含まれるスペルミスの検出結果に基づいて前記インクデータの修正方法を決定する修正方法決定部、及び、
    前記修正方法に基づいて前記インクデータを操作することにより、前記インクデータを修正する修正操作部、
    として機能させるためのプログラム。
16. 情報処理装置を、
    スタイラスの指示位置の軌跡を示す一連の座標をそれぞれ含む複数のストロークデータを含むインクデータによって表される手書き文字列の正規化を文字認識処理を実行することにより行い、正規化された前記手書き文字列を予め登録された手書き文字列と比較することによって前記手書き文字列に含まれるスペルミスを検出し、前記手書き文字列に含まれるスペルミスの検出結果に基づいて前記インクデータの修正方法を決定する修正方法決定部、及び、
    前記修正方法に基づいて前記インクデータを操作することにより、前記インクデータを修正する修正操作部、
    として機能させるためのプログラム。

Images