JPH01318112A - ユーザインタフェース方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概　　　要〕 手書き英大文字入力を認識し、小文字への変換を可能と
するユーザインタフェース方式に関し、ディスプレイ上
でのユーザの手の動きを最小にし、かつ英文字列の字体
変換を一回のペン操作で可能とするユーザインタフェー
スを提供することを目的とし１ ．ユーザにより手書き入力される数字及び英大文字のオ
ンライン認識機能を有するディスプレイ付処理装置にお
いて、前記ユーザの入力位置のディスプレイ座標を検出
するペン入力手段と、該入力座標が前記ディスプレイ上
で文字が手書きされる文字認識エリアにあるか、英文の
大文字または小文字を指定する字体指定エリアにあるか
を判定するエリア判定手段と、該判定の結果前記入力座
標が前記文字認識エリアにあるとき、前記ユーザにより
入力される手書き文字を認識する英数字認識手段と、該
認識結果の文字を前記字体指定エリアの指定に従って表
示する表示手段と、前記判定の結果前記入力座標が前記
字体指定エリアにあるとき、前記文字認識エリアに表示
されている英文字に対して大文字と小文字との可逆的変
換を行い、該変換結果を前記表示手段に表示させる字体
変換手段を有するように構成する。

〔産業上の利用分野〕

本発明は手書き英数字認識機能を有するディスプレイ付
処理装置におけるユーザインタフェース方式に係り、さ
らに詳しくは手書き英大文字入力を認識し、小文字への
変換を可能とするユーザインタフェース方式に関する。

〔従来の技術〕

最近のデータ通信の発展にともない、ユーザに対するサ
ービスはますます高度化しつつある。そのような高度の
サービスをユーザに提供するための通信ｔ１末として複
合通信端末が考えられている。

これは音声、画像、テキストなどのマルチメディア通信
サービスに対応できるもので、図形、イメージ情報等を
含んだ文書情報や描画コマンドをネットワークを介し°
ζ相手側端末に送り、音声で会話を進めながら、相手端
末のディスプレイ上に表示された文書情報の上にアンダ
ーラインやコメントを書き加えたりするテレライティン
グ（描画像通信）などに用いられる。従って複合通信端
末は一＋ｎに、ユーザからの入力１段としてキー人力用
のキーボード、手書き入力用の平面ディスプレイ上に設
置された透明タブレットと入力ペンなど多種の入力手段
を具備している。

以上のような複合通信端末における１つの機能として手
書き文字の認識機能がある。手書き文字の認識方法とし
ていくつかの方式があるが、その１つが基本ストローク
方式である。この方式では、まずタブレットから入力さ
れる手書きオンライン文字の座標データに前処理を施し
、ストロークのサンプル点を得る。これらのサンプル点
を直線で結び、この直線をいくつかの方向のコードで近
似する。次いで同じ方向コードの直線を結合した後、辞
書に格納されている基本ストロークコードと比較し、最
も類似した基本ストロークコードを抽出して、そのコー
ドを認識ストロークとして手書き文字の特徴抽出を行う
。

しかしながら、全ての種類の手書き文字を認識するため
には認識アルゴリズムも複雑となり、その処理にかなり
の時間を要する。また、前述の複合通信端末においても
、作成する文書が電話帳やスケジュール程度の場合には
キーボードを接続しておくことはコストパフォーマンス
を悪くする。

そこで通信端末のプロセッサの処理能力をも考慮し、認
識対象文字を認識が比較的容易な英字の大文字と数字の
みに限り、オンライン手書き文字認識をキーボードレス
で実現することが考えられている。

このように、キーボードを用いず、ユーザが入力ペンを
用いて入力した手書き文字認識時のユーザインタフェー
スの従来例を第８図に示す。同図（ａ）において、上部
に表示されている文字列のアンダーライン部が中央の原
稿用紙の折目のような文字認識エリアに表示されている
。ユーザはこれらの表示をディスプレイ画面上の透明タ
ブレットの上から見ることができる。また下部の大文字
／小文字のモード措定ボタンは“小文字°　（点灯）に
なっている。

ユーザが第８図（ａｌの文字認識エリアに表示されてい
る文字のうち“ｉｊｋ’を大文字に変更したい場合には
、同図山）のようにまず例えば入力ペンによってモード
指定を°大文字°に変更した後に、同図（１１１の°ｉ
ｊｋ’　を表示している文字認識エリア位置の透明タブ
レット上に入力ペンで文字“ＩＪＫ”を手書きする。そ
してこれらの手書き文字がシステムで認識され、同図ｆ
ｂ）の上部の文字列及び文字認識エリアの表示文字がＩ
ＪＫ’　となる。

〔発明が解決しようとする課題〕

第８図のようなユーザインタフェース方式においては、
第１に認識エリアとモード指定ボタンとが離れているた
めにユーザの手の動きが大きくなること、第２にユーザ
が前に書いた英文字列を大文字から小文字に、或いはそ
の逆に書き換えたい場合には、再びモードを指定して書
き直す必要があるという問題点があった。

本発明は、ディスプレイ上でのユーザの手の動きを最小
にし、かつ英文字列の字体変換を一回のベン壕作で可俺
とするユーザインタフェースを提供することを目的とす
る。

〔課題を解決するための手段〕

本発明の原理ブロック図を第１図に示す。本発明では第
８図の文字認識エリア内の表示文字の各文字に対応させ
て字体指定エリアを設ける。第１図でペン入力手段ｌは
例えば入力ペンと透明タブレットとから成り、入力ペン
のタブレットへの接触座標位五を検出する。エリア判定
手段２はペン入力手段ｌにより検出された入力ペンの座
標位置が文字認識エリアにあるか、字体指定エリアにあ
るかを判定する。英数字認識手段３は入力ペンの座標位
置が文字認識エリアにあるとき手書き文字を認識する。

表示手段４は例えば透明タブレットの下の平面ディスプ
レイであり、認識された文字、及び字体指定エリアなど
の表示で行う。字体変換手段５は入力ペンの座標位置が
字体指定エリアにあるとき、ディスプレイ上で文字ＬＴ
Ｉ　１６エリアに表示されている英文字に対して大文字
と小文字との可逆的変換を行う。

〔作　　　用〕

ユーザはまず手書きで英大文字又は数字を入力ペンによ
り透明タブレット上の文字認識エリアに記入する。入力
ペンの座標位置がペン入力手段１により検出され、手書
き入力が英数字認識手段３により認識される。認識結果
は表示手段４によりディスプレイ上の文字認識エリア内
の入力位置に表示されるが、このとき英字の場合には、
字体指定エリアの表示が大文字であるか小文字であるか
により英大文字か英小文字のいずれかが表示される。

ユーザが表示された英字の字体変更を行いたいときには
、入力ペンを透明タブレット上で字体変更を行いたい英
字に対応する字体措定エリアにペンダウンする。この入
力位置がエリア判定手段２により字体１旨定エリアと判
定され、字体変換手段５により、該当する英字が大文字
から小文字に、または小文字から大文字に変換され、表
示手段４により表示される。

以上のように本発明では手書き文字の一字毎に文字認識
エリアと字体１旨定エリアとを設けることにより、−字
毎の制御が可能となる。

〔実　　施　　例〕

本発明のユーザインタフェース方式を用いる複合通信端
末の実施例ブロック図を第２図に示す。

同図において、６はプロセッサである。７は例えばＣＲ
７表示部などであり、フレームメモリ８の内容を表示制
御部９の制御により表示する。表示部７の表示面上には
透明タブレット１０が設置されている。このタブレット
の上に入力ペン１１を接触させることにより、タブレッ
ト制御部１２を介して表示内容との対応をつけながら入
力を行うことができる。さらに他の入力手段としてキー
ボード１３があり、インタフェース１４を介しての人力
が可能である。１５はメインメモリ、１６はテレライテ
ィングなどのための送受話器、１７は電話制御部、１８
は入力された描画データ等を相手側端末に送るための伝
送制御部、１９は共通バスである。

このような複合通信端末において作成される文書が電話
帳やスケジュール帳程度に限定されている場合には、前
述のようにキーボードレスとし、しかもオンライン手書
き文字認識機能の認識対象文字を英字の大文字と数字の
みに限定して対処することが可能である。

対象文字が英大文字と数字のみに限定された場合にユー
ザが入力ペン１１を用いて入力した手書き文字認識時の
本発明におけるユーザインタフェース実施例を第３図に
示す。従来例の第８図と同様に、上部に表示されている
文字列のうちアンダーライン部が中央の文字認識エリア
に表示されている。そして第８図における大文字／小文
字のモード指定ボタンの代わりに、各文字認識エリアと
一対一に対応して、字体指定エリアであるモード＋ｉ定
ソフトキーが認識エリアの上部に設けられている。この
モード（指定ソフト）キーの点灯は大文字、消灯は小文
字を指定する。

第３図（−１）で認識エリアに表示されている文字列’
ｆＧＩＩ（スペース）ｉｊｋビのうちユーザがｌ１ｊｋ
１　の３文字を大文字に変更したい場合には、ユーザは
同図（ｂ）のようにこの３文字の文字認識エリアの上に
あるモードキーを入力ペン１１で透明タブレット１０の
上からなぞることになる。

するとこのペン入力に応じζ、表示部７の画面上の認識
エリアと上部に表示されている文字列のｌ１ｊｋｌ　の
部分が大文字の“ＩＪＫ’　に変更される。

第４図は本発明のユーザインクフェース方式実施例にお
ける制御のフローチャートである。ユーザが透明タブレ
ット１０上の文字認識エリアの上に入力ペン１１金ペン
ダウンし、手書き文字を入力すると、同図のステップ２
０で入力座標が検出され、次にステップ２１でその座標
がモードキーエリアであるか否かが判別される。ここで
はモードキーエリアでないためステップ２２で入力座標
により認識エリアの番号が決定される。

第３図では文字認識エリアが８箇所あり、例えば左から
順に１から８までの番号がつけられる。

ユーザが例えば左端のエリア、すなわち隘１の認識エリ
アに大文字でＦ゛を手書き入力すると、ステップ２２で
“１ｌｈｌ”が決定され、次にステップ２３で認識プロ
グラムにより入力手書き文字の認識が行われる。ステッ
プ２４で認識終了と判定されればステップ２５に移行し
、終了と判定されない場合にはステップ２０に戻る。

認識が終了するとステップ２５で対応する認識エリア、
ここではＮｌｌがクリアされる。次いでステップ２６で
該当番号のモードキーフラグが“０゜か′ｌ”かが判別
される。ここでモードキーフラグはモードキーの消灯／
点灯をあられすもので“Ｏ゛が消灯すなわち小文字、１
″が点灯すなわち大文字をあられす。第３図（ａｌのＮ
［Ｌｌのモードキーは消灯なのでフラグは“０”　とな
り、ステップ２７で該当番号エリアの文字のコードを記
憶する。例えばコードバッファに手書き入力の°Ｆ゛に
対する小文字コード、すなわちｆ′をあられす。例えば
アスキーコード６６Ｈを格納し、認識エリアＮＱＩに小
文字“ｆ′を表示してステップ２０に戻る。

次にユーザが認識エリアＮ［Ｌ２に例えば“Ｇ′を手書
き入力すると、前述と同様にステップ２０から２５まで
の処理が行われ、認識エリア１１ｍ２がクリアされる。

このエリアに対するモードキーは第３図で点灯、ずなわ
ぢ大文字を指示しているのでモードキーフラグは“１°
　となり、ステップ２６からステップ２８に移行し、隘
２に対するコードバッファに“Ｇ′をあられすアスキー
コード４７Ｈが格納され、認識エリアに大文字の“Ｇ゛
が表示されてステップ２０に戻る。

ユーザの手書き入力が次々と行われ、認識エリアに第３
図（ａｌに示す文字列“ｆＧＨ（スペース）ｉｊｋビが
表示された状態では、例えばメインメモリ１５内のＲＡ
　Ｍに認識エリアとモードキーエリアの内容が例えばテ
ーブルの形式で記憶される。そのテーブルの記憶内容を
第５図に示す。同図のテーブルにはモードキーエリアと
文字認識エリアの番号に対応してモードキーフラグ内容
と認識エリアに表示されている文字のアスキーコードと
が記憶されている また、例えばメインメモリ１５内のＲＡＭには、第３図
（ａ）の上部に表示されている文字列“ＡＢＣｄｅｆＧ
Ｈ・・パをアスキーコードにより記憶しているキャラク
タテーブルがあり、そのテーブルにはこの文字列に対応
して“４１Ｈ４２Ｈ４３Ｈ６４Ｈ６５Ｈ６６Ｈ４７Ｈ４
８ Ｈ・・・”が格納されている。そしてプロセッサ６はこ
のキャラクタテーブルの内容によって例えばメインメモ
リ１５内のＲＯＭにあるキャラクタジェネレータにより
フレームメモリ８に例えばビットマツプ方式で文字列’
ＡＢＣｄｅｆＧＨ・・・”を記憶させ、ＣＲＴなどの表
示部７の画面上に表示させる。

再び第４図のフローチャー１・を用いて、入力された文
字の字体変更時のフローを説明する。第３図ｆａ）で陽
５から７の認識エリアに表示されている“ｉｊｋ’　を
大文字に変更するためにユーザは同図ｆｂ）でＮ１１５
から磁７のモードキーを入力ペン１１でなぞる。すると
第４図のステップ２１でモードキーエリアと判定され、
ステップ２９でまずキー隘が°５゛　と決定され、ステ
ップ３０でこの番号のモードキーフラグの状態が判別さ
れる。このとき１１ｈ５のモードキーフラグは第５図に
示すように“０′であり、ステップ３１でそのフラグが
′１゛とされ、アスキーコードも大文字“ビに相当する
４９Ｈとされる。

エリア階６と７についても同様の動作が繰り返され、認
識エリアの表示は第３図（ｂ）に示すように“ＩＪＫ”
　に変更される。このとき、同時にメインメモリ１５内
のＲＡＭのキャラクタテーブル及びフレームメモリ８の
記憶内容も書き換えられ、画面上部の文字列表示も該当
部分が大文字に変更される。更に大文字で表示された英
字を小文字に変更する場合も第４図のフローにおいてス
テップ３］、３２の代わりにステップ３３．３４が実行
されること以外は全く同様に処理される。

最後に本発明の実施例における手書き文字の認識方式に
つき簡単に説明する。

第６図は実施例における手書き文字認識時の基本ストロ
ークの種類である。手書き文字の１つのストロークはコ
ードＯ〜７の８種類のストロークのいずれかで表わされ
る。ストロークコードＯは横線、１は縦線、２は左下り
線、３は右下り線、４は左まわり曲線、５は右まわり曲
線、６はループ、７は点である。これらの８種類のスト
ロークのうち、方向性を持っているのは左まわり曲線と
右まわり曲線のみである。

第７図は手書き文字の抽出ストローク列の例を示す図で
ある。同図（ａｌにおいて、第１ストロークΔに対応す
る基本ストロークは右まわり曲線でありそのコードは°
５’　　（１６進数表示）である。コード５°の基本ス
トロークが右まわりという条件のみで規定されているの
で、ユーザが第１ストロークを４、Ｎのように傾斜して
書いても、また、いわゆる漫画字と俗称される丸みをお
びた書体としても、同様にコード５の基本ストロークと
して認識される。第１ストロークのコード５の次の“、
゛は入力ペン１１を持ち上げることによるペンアップを
意味しており、そのコードはＥ（１６進表示）である。

第２ストロークに対応する基本スＩ・−コークは横線で
ありそのコードは“Ｏ”である。

コード°０°　（１６進表示）の基本ストロークには方
向性がないので右方向又は左方向のいずれに横線を書い
ても得られる基本ストロークはＯニーである。このため
、ユーザの筆順に対する制限はなくなり、かつ基本スト
ロークを格納するメインメモリ１５の容量の圧縮が可能
になる。以上により、ストロークの文字Ａの抽出ストロ
ーク列はコード５ＥＯＥで表わされる。

同様にして、第７図（ｂ）に示すように１ストロークの
文字Ｑの抽出ストローク列は６５４Ｅで表わされ、第７
図（Ｃ１に示すように２ストロークの文字Ｂの抽出スト
ローク列はＩＥ５４５Ｅで表わされる。

このようにして決定されたストローク列を例えばメイン
メモリ１５内の辞書の内容と比較するごとにより手書き
文字の認識が行われる。実際の手書き文字はユーザのく
せなどのために直線が曲線になったりするため、１つの
ストロークを複数のサンプル点で分割し、サンプル点間
の直線の方向を決定するなど更に複雑なアルゴリズムが
必要となるが、手書き文字認識方式自体は本発明の課題
ではないため、その詳細は省略する。

〔発明の効果〕

以上説明したように、本発明によれば、個々の文字認識
エリアに対応して字体ｔｈ定モードキーが設けられてい
るために、認識後の修正時に複数の英文字に対して１回
のペン操作により字体を変更することが可能となり、英
字の大文字と数字のみを認識対象とする簡易な認識シス
テムにおけるユーザインタフェース方式として実用的に
極めて有用である。

【図面の簡単な説明】

第１図は本発明の原理ブロック図、 第２図は複合通信端末の実施例ブロック図、第３図Ｔ８
）、　（ｂ）は本発明におけるユーザインタフェース実
施例を示す図、 第４図は実施例における制御のフローチャート、第５図
は認識エリア及びモードキーエリアテーブルの内容を示
す図、 第６図は実施例における手書き文字認識時の基本ストロ
ークの種類を示す図、 第７図（８１，（ｂｌ、　（Ｃ）は手書き文字の抽出ス
トローク列の例を示す図、 第８図（ａ）、　（ｂ）は手書き文字認識システムにお
けるユーザインタフェースの従来例を示す図である。 ６・・・プロセッサ、 ７・・・ディスプレイ（表示部）、 ８・・・フレームメモリ、 ｌＯ・・・透明タブレフト、 １１・・・入力ペン、 １５・・・メインメモリ。 特許出廓人　　　富士通株式会社 （ａ） （ｂ） 本発明にｈＩするユープ′インタフェース寛相伊」第３
図 ４、ハ　　５．０６・０　７１・ 実施イ列にｈ（ブケチ嘗文字ｔ＝、−織時の基２オ・ス
トローク／）オ直類第６図 （ａ） （Ｃ） 手書１文字のオ由出ストローク列の例 第７図

Claims (1)

1. 【特許請求の範囲】 ユーザにより手書き入力される数字及び英大文字のオン
   ライン認識機能を有するディスプレイ付処理装置におい
   て、 前記ユーザの入力位置のディスプレイ座標を検出するペ
   ン入力手段（１）と、 該入力座標が前記ディスプレイ上で文字が手書きされる
   文字認識エリアにあるか、英文の大文字または小文字を
   指定する字体指定エリアにあるかを判定するエリア判定
   手段（２）と、 該判定の結果前記入力座標が前記文字認識エリアにある
   とき、前記ユーザにより入力される手書き文字を認識す
   る英数字認識手段（３）と、該認識結果の文字を前記字
   体指定エリアの指定に従って表示する表示手段（４）と
   、 前記判定の結果前記入力座標が前記字体指定エリアにあ
   るとき、前記文字認識エリアに表示されている英文字に
   対して大文字と小文字との可逆的変換を行い、該変換結
   果を前記表示手段（４）に表示させる字体変換手段（５
   ）を有することを特徴とするユーザインタフェース方式
   。