JP4678671B2 - 手書き文字配置整形方法及び電子ボードシステム - Google Patents

Description

本発明は、電子ボードシステムにおける手書き文字入力時の文字配置整形方法に関する。

近年、授業や会議などの分野において、コピーボードや黒板の発展した装置として、電子ボードシステムが利用されている。この電子ボードシステムでは、キーボードを使用せず、電子ペンのみで操作を行なうのが主流となっている。そのため文字を入力するために手書きで入力することになり、手書きで入力された文字の配置等を読み易く整形して表示することが要求される。
このような要求を解決するための方法として、従来、手書き入力された文字に基づき、次の文字の入力位置に案内マークを表示する方法や（例えば、特許文献１参照。）、文字認識を前提とした方法（例えば、特許文献２参照。）が公知となっている。
特開平０５−０６７２３６号公報 特開平０７−１８２０９９号公報

しかし、前記特許文献１に記載の方法では、入力位置の案内マークを表示するのみであり、手書き入力がされた後に文字の配置整形を行うものではなかった。従って、案内マークからずれた手書き入力がされた場合に、それを修正することはできなかった。特に、入力対象がタブレットなどＡ４サイズ程度の場合は、文字のサイズや配置をユーザ自身に調整させることが比較的可能であるが、黒板サイズになると、大きな画面に対して手書き入力を行うため、徐々に文字の整列が乱れ、横書きの場合では右に行けば行くほど、縦書きの場合には下に行けば行くほど、文字の整列が乱れてしまうという問題があった。
また、前記特許文献２に記載の方法では、文字認識を前提とする方法であるため、文字の誤認識の可能性があり、その修正が必要になる等、手書き入力をスムーズに行うことができないという問題があった。特に、授業や会議等においては、手書き入力を行いながら説明をすることが多いため、スムーズな入力操作が阻害されると、説明等に支障を来たす恐れがあった。

本発明は前記課題を解決するためのものであり、電子ボードシステムにおいて、文字認識を行うことなく、手書き入力後の文字の配置整形を行うことを可能とする手書き文字配置整形方法を提供することを目的とする。

前記課題を解決するため本発明の手書き文字配置整形方法は、電子ボードシステムにおける電子ペンによる電子ボード上の手書き文字列の配置整形方法であって、前記手書き文字列の一文字目の文字の大きさ及び配置を基準情報として記憶する第１ステップと、前記手書き文字列の二文字目以降の各入力文字について、各入力文字の大きさ及び配置に応じて、前記一文字目の文字の配置に対する配置関係を示す文字分類を決定する第２ステップと、前記基準情報に基づき、前記各入力文字の大きさ及び配置に応じて、各入力文字の大きさ及び配置を調整する第３ステップとを備える。
また、前記第２ステップは、直前の文字の大きさ及び文字分類に基づき三等分した文字配置領域を設定し、前記入力文字の大きさ及び配置に基づき前記文字配置領域内における配置関係を判定して、当該判定結果に応じて前記文字分類を決定することを特徴とする。
また、本発明の電子ボードシステムは、電子ボード上に入力された手書き文字列の配置整形を行う文字整形手段を備える電子ボードシステムであって、前記文字整形手段は、電子ペンによる電子ボード上の手書き文字列の一文字目の文字の大きさ及び配置を基準情報として記憶する記憶手段と、前記手書き文字列の二文字目以降の各文字について、各入力文字の大きさ及び配置に応じて、前記一文字目の文字の配置に対する配置関係を示す文字分類を決定する分類決定手段と、前記各入力文字の大きさ及び配置に応じて、前記基準情報に基づき各入力文字の大きさ及び配置を調整する入力文字調整手段とを備えることを特徴とする。
また、前記分類決定手段は、直前の文字の大きさ及び文字分類に基づき三等分した文字配置領域を設定し、前記入力文字の大きさ及び配置に基づき前記文字配置領域内における配置関係を判定して、当該判定結果に応じて前記文字分類を決定することを特徴とする。

以上の構成により本発明では、手書き入力された文字について、文字認識をすることなく、一文字目の配置と大きさとを基準に、二文字目以降の文字について、配置及び大きさの適切な整形が可能となる。

以下、本発明の一実施の形態に係る手書き文字配置整形方法を行う電子ボードシステムについて、図面に基づき説明する。
図１は、電子ボードシステムの概略構成を示すブロック図である。
電子ボードシステムは、投影画像を表示する電子ボード１と、電子ボード１における電子ペン２の入力操作に対応する処理を行い、投影画像データを生成する制御用コンピュータ３と、制御用コンピュータ３により生成された投影画像を電子ボード１に投影するプロジェクター等の表示装置４とを備える。
制御用コンピュータ３は、ペンセンサの取得した電子ペン２のペン先の位置座標に基づく入力データ処理と、当該処理結果に基づき投影画像データを生成する表示データ生成処理とを行う。
本実施の形態では、電子ボード１上において、電子ペン２により入力された手書き文字について、制御用コンピュータ３が配置整形処理を行う。制御用コンピュータ３は、入力された位置座標に基づき、文字列を構成する各入力文字毎に、大きさ及び配置を示す外接矩形情報を生成して記憶する手段と、当該外接矩形情報に基づき各入力文字毎に後述する文字分類を決定する手段と、当該文字分類及び大きさに応じて各入力文字の配置及び大きさを整形する手段とを備える。

図２は、本実施の形態に係る配置整形方法により整形された文字列の例を示す図である。
本実施の形態では、一連の文字列の一文字目の大きさ及び配置に合わせて、二文字目以降の各文字の分類に応じた文字配置整形を行う。各入力文字についての分類の決定では、三等分した文字配置領域を設定する。ここで、文字配置領域とは、一連の文字列を構成する各入力文字の配置関係を区別するために設定した仮想的な領域を示す。
図２（ａ）に示すように、横書きの場合には、上下方向に三等分した文字配置領域２１０を設定し、各文字の分類に応じた配置を行う。具体的には、アルファベット大文字と小文字の一部（ｂ、ｄなど）と日本語文の促音（っ）・拗音（ゃ、ゅ、ょ）以外の文字のように上側三分の二に配置されるもの、和文アルファベット小文字の一部（ｅ、ｎなど）と日本語文の促音・拗音のように中央三分の一に配置されるもの、アルファベット小文字のｊのように全体に配置されるもの、アルファベット小文字ｇ、ｙのように下側三分の二に配置されるもの、および大きさが他に比べて十分小さい記号（・、。など）に分類して各文字の配置整形を行う。
一方、図２（ｂ）に示すように、縦書きの場合には、左右方向に三等分した文字配置領域２２０を設定し、アルファベット大文字と幅の広いアルファベット小文字（ｍ、ｗなど）と日本語文の促音・拗音以外の文字のように全体に配置されるもの、日本語文の促音・拗音のように右側三分の二に配置されるもの、幅の広くないアルファベット小文字のように中央三分の一に配置されるもの、および大きさが他に比べて十分小さい記号（・、。など）に分類して各文字の配置整形を行う。
横書きの場合と縦書きの場合とでは、文字配置領域を三等分する方向と分類の数と位置関係が変わるのみなので、以下、横書きの場合についてのみ説明を行なう。なお、各文字の入力の区切りは一定時間経過などの既存技術で行うものとする。

図３は、配置整形の対象となる文字列の一例として、入力された文字が段々と小さくなっていく場合を示す図である。
この場合には、各入力文字の分類の適切な判定には、基準となる文字配置領域の大きさを変えていく必要があるため、直前の文字のサイズを基準として文字配置領域を決定する。なお、文字列の一文字目はアルファベット大文字または日本語の促音・拗音以外の文字であると仮定して、文字配置領域の上側三分の二に配置されるものとする。

図４は、文字配置領域における入力文字の配置位置と、カテゴリー種別との関係を示す図である。
図４に示すように、文字配置領域４００の上側三分の二に配置されるものをCategoryU、中央三分の一に配置されるものをCategoryC、下側三分の二に配置されるものをCategoryD、全体に配置されるものをCategoryA、記号をとする。

以上の基準に基づき、本実施の形態に係る文字配置整形方法を説明する。
図５は、本実施の形態に係る文字配置整形処理手順を示すフローチャートである。
まず、文字入力の検出を受付け、入力された文字が一文字目か否かを判定する（ステップ５０１）。この判定処理では、基準情報が記憶されているか否かを判定し、基準情報が記憶されていない場合には、一文字目とする。
一文字目である場合には、記号（CategoryS）か否かを判定する（ステップ５０２）。記号（CategoryS）か否かの判定処理では、入力文字Ｃの外接矩形の高さ及び幅が、予め定義された高さ及び幅よりも小さいか否かを判定し、小さければ記号（CategoryS）として処理を終了する。なお、高さ及び幅の定義は、システム上予め定義されたものでもよく、また、入力操作を行うユーザにより定義されたものとしてもよい。
一方、予め定義された高さ及び幅よりも大きい場合には、記号（CategoryS）以外のものと判定し、入力文字Ｃを文字列の一文字目として、以下の基準情報の記憶処理を行う（ステップ５０３〜５０７）。
ステップ５０３では、基準矩形情報BaseRectに、入力文字Ｃの外接矩形を記憶する。
ステップ５０４では、入力文字Ｃが一文字目と判定されたことからアルファベット大文字もしくは促音・拗音以外の日本語文字であるとして、前の文字の分類情報PreCtgにCategoryUを記憶する。
ステップ５０５では、前の文字の高さ情報PreHに、文字配置領域を三等分した値として、入力文字Ｃの高さの二分の一を記憶する。
ステップ５０６では、前の文字の大きさ及び配置に対応した文字配置領域全体の中心の高さ情報PreCenterに、入力文字Ｃの外接矩形の上から四分の三の位置を記憶する。
ステップ５０７では、前の文字の外接矩形情報PreRectに、入力文字Ｃの外接矩形を記憶する。
一方、ステップ５０１において、一文字目でないと判定された場合には、新しい文字列か否かを判定する（ステップ５０８）。この判定処理では、前の文字の外接矩形情報PreRectの中心点と、入力文字Ｃの外接矩形の中心点の距離を計算し、予め決められた距離以上離れていれば新しい文字列の一文字目として、ステップ５０３に進む。
ステップ５０８において、新しい文字列でないと判定された場合には、前の文字の高さ情報PreHと、前の文字の中心の高さ情報PreCenterと、入力文字Ｃの外接矩形の高さ情報とから分類を決定し、前の文字の高さ情報PreH，前の文字の中心の高さ情報PreCenter，前の文字の外接矩形情報PreRectを、入力文字Ｃの情報に更新する（ステップ５０９）。

図６は、図５に示すステップ５０９の処理の詳細を示すフローチャートである。
本処理では、直前の文字の大きさ及び文字分類に基づき三等分した文字配置領域を設定し、前記入力文字の大きさ及び配置に基づき前記文字配置領域内における配置関係を判定して、当該判定結果に応じて前記文字分類を決定する。
まず、入力文字Ｃの外接矩形の高さ情報を、前の文字の高さ情報PreHで割った値を算出する（ステップ６０１）。この場合、前の文字の高さ情報PreHが、文字配置領域を三等分した値となる。
算出した値が０．５以上１．５未満に該当するか否かを判定し（ステップ６０２）、該当する場合には、入力文字Ｃの分類を文字配置領域の中央三分の一に配置されるCategoryCと判断して、入力文字Ｃの分類情報CCtgにCategoryCを記憶し（ステップ６０３）、入力文字Ｃの外接矩形の上から二分の一の位置を前の文字の中心の高さ情報PreCenterとして記憶し（ステップ６０４）、入力文字Ｃの外接矩形の高さを前の文字の高さ情報PreHとして記憶する（ステップ６０５）。
ステップ６０２において、０．５以上１．５未満でない場合には、さらに、算出した値が１．５以上２．５未満か否かを判定する（ステップ６０６）。判定の結果、該当する場合には、さらに、入力文字Ｃの外接矩形の中心と、前の文字の中心の高さPreCenterとを比較する（ステップ６０７）。比較の結果、入力文字Ｃの外接矩形の中心の方が上にある場合は、文字配置領域の上側三分の二に配置されるCategoryUと判断し、入力文字Ｃの分類情報CCtgにCategoryUを記憶し（ステップ６０８）、入力文字Ｃの外接矩形の上から四分の三の位置を、前の文字の中心の高さ情報PreCenterとして記憶する（ステップ６０９）。一方、ステップ６０７の比較の結果、入力文字Ｃの外接矩形の中心の方が下にある場合は、文字配置領域の下側三分の二に配置されるCategoryDと判断し、入力文字Ｃの分類情報CCtgにCategoryDを記憶し（ステップ６１０）、入力文字Ｃの外接矩形の上から四分の一の位置を、前の文字の中心の高さ情報PreCenterとして記憶する（ステップ６１１）。さらに、入力文字Ｃの外接矩形の高さの二分の一を前の文字の高さ情報PreHとして記憶する（ステップ６１２）。
ステップ６０６において、１．５以上２．５未満でない場合には、さらに、算出した値が２．５以上３．５未満か否かを判定する（ステップ６１３）。判定の結果該当する場合には、文字配置領域全体に配置されるCategoryAと判断し、入力文字Ｃの分類情報CCtgにCategoryAを記憶し(ステップ６１４)、入力文字Ｃの外接矩形の上から二分の一の位置を前の文字の中心の高さ情報PreCenterとして記憶し（ステップ６１５）、入力文字Ｃの外接矩形の高さの三分の一を前の文字の高さ情報PreHとして記憶する（ステップ６１６）。
ステップ６１３において、算出した値が２．５以上３．５未満に該当しない場合には、入力文字Ｃの分類情報CCtgにCategorySを記憶する（ステップ６１７）。
以上の処理により入力文字Ｃの分類情報CCtg等を記憶した後、入力文字Ｃの分類情報CCtgと、基準矩形情報BaseRectに基づき文字配置整形を行う（ステップ６１８）。具体的には、入力文字Ｃの分類情報CCtgがCategoryUの場合、入力文字Ｃを基準矩形情報BaseRectと同じ高さで上辺が基準矩形情報BaseRectの上辺と合うように配置する。入力文字Ｃの分類情報CCtgがCategoryDの場合、入力文字Ｃを基準矩形情報BaseRectと同じ高さで上辺が基準矩形情報BaseRectの中央に合うように配置する。入力文字Ｃの分類情報CCtgがCategoryCの場合、入力文字Ｃを基準矩形情報BaseRectの半分の高さで上辺が基準矩形情報BaseRectの中央に合うように配置する。入力文字Ｃの分類CCtgがCategoryAの場合、入力文字Ｃを基準矩形情報BaseRectの１．５倍の高さで上辺が基準矩形情報BaseRectの上辺に合うように配置する。入力文字Ｃの分類CCtgがCategorySの場合、入力文字Ｃの高さや位置の調整を行なわずそのままの位置に配置する。
以上のように、文字配置領域を三等分した大きさと入力文字Ｃの大きさとの比較結果とともに、前記文字配置領域の中心位置と入力文字Ｃの中心位置との比較による文字配置領域内における配置関係の判定結果を考慮して、入力文字の文字分類を判定する。

以上の文字配置整形処理の具体例について、図７〜９に基づき説明する。
図７は文字配置整形処理の対象となる文字列の一例を示す図であり、図８は文字列の各文字についての文字配置領域を三等分した状態を示す図である。
本実施の形態に係る文字配置整形処理では、図７に示す文字列を構成する各文字について、図８に示すように、文字配置領域を三等分するとともに、前の文字の文字配置領域の中心高さを設定する。
図９は文字Ｓ（一文字目）及び文字ａについての矩形情報等の一例を示す図であり、図１０は文字ａ（二文字目）の入力時における記憶情報を示す図である。
図９に示すように、文字Ｓの外接矩形情報が「（３０，２７）−（１３０，１４１）」，高さ情報が「１１４」とする。また、文字ａの外接矩形情報が「（１３３，８９）−（２１４，１４２）」，高さ情報が「５３」とする。ここで、外接矩形情報は、各文字を構成する描画データの上下左右端の位置座標に基づき生成し、高さ情報は、上下端の位置座標の差に基づき生成する。
本例では、文字Ｓは一文字目であるため、アルファベット大文字もしくは促音・拗音以外の日本語文字であるとして、分類情報はCategoryUとする。
図１０（ａ）に示すように、記憶情報１０００は、基準矩形情報BaseRect１００１と、前の文字の分類情報CCtg１００２，高さ情報PreH１００３，中心高さ情報PreCenter１００４とを有する。
図１０（ｂ）に示すように、文字ａが入力された場合、前の文字の高さ情報PreHが「５７」で文字ａの高さ情報が「５３」であることから、二文字目の“ａ”は“S”の半分の大きさ、すなわち三等分全体の三分の一の大きさであるとしてCategoryCと判断する。なお、図６に示すフローチャートでは、５７÷５３≒０．９３となるため、図６に示すステップ６０２より、CategoryCと判断することとなる。この結果、分類情報CCtgにCategoryCを記憶するとともに、前の文字の高さ情報PreH及び中心高さ情報PreCenterを文字ａについての情報に更新する。
同様に、三文字目“ｍ”は二文字目“ａ”と同じ大きさ、すなわち三等分全体の三分の一の大きさであるとしてCategoryCと判断する。四文字目“ｐ”は三文字目“ｍ”の倍の大きさ、すなわち三等分全体の三分の二の大きさであり、中心が三文字目“ｍ”の三等分全体の中央より下方向に寄っている（図８参照）としてCategoryDと判断する。五文字目“ｌ”は四文字目“ｐ”と同じ大きさ、すなわち三等分全体の三分の二の大きさであり、中心が三等分全体の中央である“ｐ”の上から四分の一の位置より上方向に寄っている（図８参照）としてCategoryUと判断する。六文字目の“ｅ”は五文字目“ｌ”の半分の大きさ、すなわち三等分全体の三分の一の大きさであるとしてCategoryCと判断する。最後の“．”は六文字目の“ｅ”に対して十分に小さいのでCategorySと判断する。
図１１は、以上の判定結果に応じて、図７に示す文字列７００を構成する各文字を配置整形した例を示す図である。
図１１（ａ）に示すように、手書き入力された文字列７００を構成する各文字について分類を判定した後、図１１（ｂ）に示すように、一文字目の“S”の高さ及び位置を基準にして、各文字の分類に応じた配置整形を行う。この場合、CategoryUと判断されたもの（例えば、図１１の「ｌ」）は“S”と同じ高さで上辺が“S”の上辺に合うように配置し、CategoryCと判断されたもの（例えば、図１１の「a」「m」「e」）は“S”の半分の高さで下辺が“S”の下辺に合うように配置し、CategoryDと判断されたもの（例えば、図１１の「p」）は“S”と同じ高さで上辺が“S”の半分の高さに合うように配置し、CategoryAと判断されたものは“S”の一．五倍の高さで上辺が“S”の上辺に合うように配置し、CategorySと判断されたもの（例えば、図１１の「．」）は大きさと位置の調整は行なわない。

以上のように、本実施の形態に係る文字配置整形方法では、手書き入力された文字について、文字認識をすることなく、一文字目の位置と大きさを基準に、二文字目以降の文字について、配置及びサイズの適切な整形が可能となる。

なお、前記実施の形態では、各入力文字毎に配置整形処理を行うこととしているが、これに限らず、一連の文字列の入力が終了したとき（新たな文字列の入力が開始されたと判定したとき等）に、前記一連の文字列を構成する全ての入力文字をまとめて配置整形することとしてもよい。また、ユーザによる所定操作が行われたとき等、任意のタイミングで配置整形処理を行うこととしてもよく、この場合には、配置整形処理を行う文字列の範囲を指定可能としてもよい。
また、前記実施の形態では、文字配置領域を設定する基準として、直前の文字の大きさ及び配置を用いることとしているが、これに限らず、例えば、一連の文字列の一文字目等、他の文字の大きさ及び配置に基づき文字配置領域を設定することとしてもよい。

本発明の一実施の形態に係る手書き文字配置整形処理を行う電子ボードシステムの概略構成を示すブロック図である。 配置整形した手書き文字列の一例を示す図である。 手書き文字列の 文字の位置関係と大きさと、文字分類との関係を示す図である。 本発明の一実施の形態に係る手書き文字配置整形処理手順を示すフローチャートである。 二文字目以降の各文字についての手書き文字配置整形処理の詳細を示すフローチャートである。 手書き入力された文字列の一例を示す図である。 図７に示す文字列を構成する各文字の配置と分類判定との関係を説明するための図である。 図７に示す文字列を構成する一文字目及び二文字目の配置及び高さ情報の一例を示す図である。 図７に示す文字列を構成する二文字目の入力時における記憶情報のデータ構造の一例を示す図である。 図７に示す文字列を配置整形した状態を示す図である。

符号の説明

１ 電子ボード、２ 電子ペン、３ 中央処理装置、４ 表示装置、２１０，２２０，３００，４００ 文字配置領域、１０００ 記憶情報、１００１ 基準矩形情報，１００２ 分類情報、１００３ 高さ情報、１００４ 中心高さ情報。

Claims (2)

1. 電子ボードシステムにおける電子ペンによる電子ボード上の手書き文字列の配置整形方法であって、
   前記手書き文字列の一文字目の文字の大きさ及び配置を基準情報として記憶する第１ステップと、
   前記手書き文字列の二文字目以降の各入力文字について、各入力文字の大きさ及び配置に応じて、前記各入力文字の配置関係を示す文字分類を決定する第２ステップと、
   前記基準情報に基づき、前記各入力文字の大きさ及び文字分類に応じて、各入力文字の大きさ及び配置を調整する第３ステップと
   を備え、
   前記第２ステップは、基準となる文字の大きさ及び配置に基づき三等分した文字配置領域を設定し、前記入力文字の大きさ及び配置に基づき前記文字配置領域内における配置関係を判定して、当該判定結果に応じて前記文字分類を決定することを特徴とする手書き文字配置整形方法。
2. 電子ボード上に入力された手書き文字列の配置整形を行う文字整形手段を備える電子ボードシステムであって、
   前記文字整形手段は、
   電子ペンによる電子ボード上の手書き文字列の一文字目の文字の大きさ及び配置を基準情報として記憶する記憶手段と、
   前記手書き文字列の二文字目以降の各文字について、各入力文字の大きさ及び配置に応じて、前記一文字目の文字の配置に対する配置関係を示す文字分類を決定する分類決定手段と、
   前記各入力文字の大きさ及び文字分類に応じて、前記基準情報に基づき各入力文字の大きさ及び配置を調整する入力文字調整手段と
   を備え、
   前記分類決定手段は、基準となる文字の大きさ及び配置に基づき三等分した文字配置領域を設定し、前記入力文字の大きさ及び配置に基づき前記文字配置領域内における配置関係を判定して、当該判定結果に応じて前記文字分類を決定することを特徴とする電子ボードシステム。

Images