JPH06289984A

JPH06289984A - 文書作成編集装置

Info

Publication number: JPH06289984A
Application number: JP5073985A
Authority: JP
Inventors: Takafumi Ito; 隆文伊藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-03-31
Filing date: 1993-03-31
Publication date: 1994-10-18
Anticipated expiration: 2015-08-14
Also published as: JP3075882B2

Abstract

(57)【要約】【目的】本発明は、一定時間以上ペンからの入力がない
とき、又は間違ったジェスチャー記号を書いたときに、
ペン先位置近傍に編集メニューをポップアップ表示する
ことで、ジェスチャー記号を忘れた場合であっても容易
に編集操作を可能としたことを特徴とする。【構成】範囲指定操作終了後、時間経過検出装置１５に
より、ペン３がタブレット面から離れてタブレット１か
らの座標データが無い状態が一定時間継続したことを検
出したとき、又はジェスチャー認識装置１３が、書き込
まれたジェスチャー記号に対応する文字列操作命令が存
在しないことを検出したときに、それぞれ編集機能選択
メニュー表示手段２，５，８が、指定範囲の終点の近く
に編集機能選択メニューをポップアップ表示し、もしく
はリジェクトされたジェスチャーが書き込まれた位置の
近くに編集機能選択メニューをポップアップ表示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は一体型表示入力装置を備
えた文書作成編集装置に係り、特に操作性の一層の向上
を図った文書作成編集装置に関する。

【０００２】

【従来の技術】座標入力装置であるタブレットと表示装
置とを重ね合わせた一体型入力表示装置を持つ情報処理
装置は、情報の入力位置と表示位置とが一致しているた
めに操作性が優れており、コンピュータの入力・表示方
式として注目されている。

【０００３】図１７に一体型入力表示装置を持つ文書作
成編集装置の構成例を示す。

【０００４】図に於いて、座標入力装置である静電結合
方式の透明タブレット７２が表示装置であるＬＣＤ７３
上に重ねられており、ペン（スタイラス）７１で入力さ
れ、透明タブレット７２を介して検出された位置情報が
制御装置７４により処理される。また、図１８に示すよ
うに、入力ペン８１のペン先にはスイッチがあり、ペン
先を押して圧力を加えると、このスイッチがＯＮ、押す
のを止めて圧力が加わらなくなるとスイッチがＯＦＦに
なる。即ち、ペン先８２が押されると電極８３が接触し
信号線８５によってその情報が伝達される。ペン先８２
が離されるとスプリング８４によって電極８３が不接触
となりスイッチＯＦＦとなる。図中、８１はペン軸であ
る。尚、ペンがタブレット面から１０ｍｍ程度離れてい
てもタブレットによる座標検出動作は可能である。

【０００５】このような一体型入力表示装置を持つ情報
処理装置によって、文書図形作成装置を構成した場合、
以下に列挙する特徴を持ち、優れた操作性を提供するこ
とができる。

【０００６】（１）ペンによって手書き文字の入力がで
きる。

【０００７】（２）カーソルを移動させる場合ペンで直
接移動先を指定できる。

【０００８】（３）装置に対する命令を画面にメニュー
として表示させて、それをペンで直接選択することで命
令の入力ができる。

【０００９】最近では、このような一体型入力表示装置
を持つ文書作成編集理装置に於いては、ペンによって書
き込まれた編集記号を認識して各種の文字列編集操作を
行なう、いわゆるジェスチャー認識を採用することで一
層優れた操作性を提供している。従来の、ジェスチャー
認識による文字列編集の概要は以下に記すとおりであ
る。図１９にジェスチャー認識を採用した文書作成編集
装置の画面構成を示す。図に於いて、ａは作成・編集中
の文書の一部が表示される文書作成編集領域である。こ
の領域は必要に応じて上下左右にスクロールして表示さ
れている文書領域を変更することができる。ｂは文字入
力領域であり、認識忰ｃの中にペンで文字を手書きする
と、それが認識されて文字コードに変換され、その文字
コードに相当する文字が文書として入力され、文書作成
編集領域ａにその文字フォントが表示される。

【００１０】上述した文書作成編集装置に於ける文字列
編集機能の動作例を説明する。

【００１１】まず、文書作成編集領域ａに表示されてい
る文字の上にペンを持っていてペン先スイッチをＯＦＦ
からＯＮにして、スイッチをＯＮにしたままペンを移動
させて文字列をなぞるとその範囲が反転表示される。ペ
ン先スイッチをＯＮからＯＦＦにすると、そのとき反転
表示されている文字列が編集対象の文字列範囲として指
定される。この模様は図２０に示されている。上述した
ように範囲指定した後、図１９の文書作成編集領域ａに
ペンで編集記号を書き込むと、それが認識されて編集操
作が実行される。この例では、γを書くと指定文字列が
削除され、Λを書くと指定列がΛを書いた位置に移動
し、νを書くと指定文字列がνを書いた位置にコピーさ
れる。この模様は図２１（ａ）〜（ｃ）に示されてい
る。尚、編集記号の認識そのものはオンライン手書き文
字認識と同じ技術によって実現できる。

【００１２】

【発明が解決しようとする課題】上述した従来例では、
各種下線、各種網掛け、文字サイズ変更等のように、編
集操作の種類が増えてくると、それぞれに対応するジェ
スチャー記号を覚えきれなくなり、また、実行可能な編
集操作が一覧表示されないので、どのような編集操作が
できるのかが使用者にわからないといった操作上の問題
があった。

【００１３】本発明は上記事情に鑑みてなされたもの
で、対象範囲指定後、一定時間以上ペンからの入力がな
いか、あるいは、間違ったジェスチャー記号を書いたと
きに。ペン先位置近傍に編集メニューをポップアップ表
示することで、ジェスチャー記号を忘れた場合であって
も容易に編集操作を可能とし、優れた操作性を保持しつ
つ、上述した問題を解消した一体型入力表示装置を持つ
情報処理装置を提供することを目的とする。

【００１４】

【課題を解決するための手段】本発明は、一体型入力表
示装置を持ち、入力手段によってインプットされた編集
記号を認識して文字列編集操作を行う文書作成編集装置
であって、編集対象となる範囲を指定した後、一定時間
以上、入力手段からのインプットがないこと、もしくは
入力手段によって間違った編集記号をインプットしたこ
とを検出して、編集メニューをポップアップ表示するこ
とを特徴とする。このような機能を実現するために本発
明は、表示装置に文書を表示する文書表示手段と、座標
入力装置からの入力情報に基づいて文書の一部分を領域
として指定する手段と、上記座標入力装置から入力され
た座標データ列を指定領域に対する操作命令を指示する
ジェスチャーとして認識するジャスチャー認識手段と、
編集対象となる領域指定終了後に一定時間以上座標入力
装置から有効な座標データの入力がないこと、もしく
は、ジェスチャー認識手段にて、入力された座標データ
列に対応する操作命令が存在しないと判断された場合
に、その入力された座標データに応じた表示装置上の位
置近傍に、指定領域に対する操作命令を選択するための
メニューを表示するメニュー表示手段を具備すること特
徴とする。また、指定領域に対する操作命令を選択する
ためのメニューに、各操作命令に対応するジェスチャー
記号がガイドとして併記されていることも特徴とする。

【００１５】

【作用】本発明は、入力手段によってインプットされた
編集記号を認識して文字列編集操作を行なう文字作成編
集装置であって、編集コマンドが多くなるにつれてそれ
に対応するジェスチャーを全て覚えるのが困難であるこ
とに鑑み、範囲指定操作終了後、タイマにより、ペンが
タブレット面から離れてタブレットからの座標データが
無い状態が一定時間継続したことを検出し、指定範囲の
終点の近くに編集機能選択メニューをポップアップ表示
する。また、範囲指定操作終了後にタイマによって座標
データ入力が無い状態が一定時間継続したことが検出さ
れる以前に文書作成編集領域に書き込まれたジェスチャ
ー記号を認識する。ここで認識した結果、書き込まれた
ジェスチャー記号に対応する文字列操作命令が存在しな
いことが検出された場合、リジェクトされたジェスチャ
ーが書き込まれた位置の近くに編集機能選択メニューを
ポップアップ表示する。編集機能選択メニュー中の各機
能メニューには、各機能に対応するジェスチャー記号が
ガイドとして併記されている。

【００１６】これにより、範囲指定終了後、ペンを上げ
て一定時間が経過すれば、編集機能の一覧を見て選択で
きる編集機能選択メニューがポップアップ表示され、ま
た、正しいジェスチャー記号を忘れて間違ったジェスチ
ャー記号を書き込んだ場合にも、編集機能の一覧を見て
選択できる編集機能選択メニューがポップアップ表示さ
れるので、ジェスチャー記号を忘れた場合にも編集操作
が容易に実行できる。通常はメニュー表示されないため
文書作成の邪魔にならず、操作性のより一層の向上が図
れる。

【００１７】

【実施例】以下、図面を参照して本発明の実施例につい
て説明する。

【００１８】図１は本発明の実施例を示すブロック図で
ある。

【００１９】図に於いて、符号１はタブレットであり、
ペン３の座標を検出する座標検出装置である。符号３は
ペンであり、使用者はこのペンでタブレット上の座標デ
ータを指定する。このペン３のペン先にはスイッチ（ペ
ン先スイッチ）を有する。符号２はＬＣＤであり、各種
のデータを表示する表示装置である。

【００２０】符号４は入力制御装置であり、タブレット
１とペン３とを制御して、タブレット１上のペン座標デ
ータとペン先スイッチの状態情報を得る。符号５は表示
制御装置であり、他の装置からの指示に従って、指示さ
れた情報をＬＣＤ２に表示する。

【００２１】符号６はカーソル移動制御装置であり、入
力制御装置４からの座標データとペン先スイッチデータ
に基づいて、文字入力用のカーソル表示の制御や範囲指
定操作中の文字列反転表示の制御を行なう。

【００２２】符号７は編集機能メニュー制御装置であ
り、カーソル移動制御装置６による編集文字範囲指定状
況に応じて機能メニューをポップアップ表示し、また、
入力制御装置４からの座標データとペン先スイッチデー
タ、座標データに従って機能メニュー選択操作の制御を
行なう。

【００２３】符号８は編集動作実行装置であり、カーソ
ル移動制御装置６によって指定された文字列範囲に対し
て、編集機能メニュー制御装置７によって選択された編
集機能を実行する。

【００２４】符号９は主制御装置であり、装置全体を制
御する。符号１０は記憶装置であり、作成中の文書デー
タ、表示パターンデータ、フラグ、ワークデータ等の各
種のデータを記憶する書き替え可能な記憶装置である。

【００２５】符号１１は手書き文字認識装置であり、手
書き入力された文字パターンと認識辞書１２に格納され
た辞書パターンとの間でパターンマッチング操作を行う
ことによって入力された手書き文字を認識する。

【００２６】符号１２は手書き文字認識辞書であり、文
字認識の際のパターンマッチングのための標準辞書パタ
ーンが格納されている読み出し専用の記憶装置である。
符号１３はジェスチャー認識装置であり、手書き入力さ
れたジェスチャー記号とジェスチャー認識辞書１４に格
納された辞書パターンとの間でパターンマッチング操作
を行なうことによって入力されたジェスチャー記号を認
識する。

【００２７】符号１４はジェスチャー認識辞書であり、
ジェスチャー記号認識の際のパターンマッチングのため
の標準辞書パターンが格納されている読み出し専用の記
憶装置である。

【００２８】符号１５は時間経過検出装置であり、いわ
ゆるタイマである。このタイマ１５は、範囲指定操作終
了後、ペン３がタブレット面から離れてタブレットから
の座標データ入力が無い状態が一定時間継続したことを
検出する時間経過検出のための手段である。

【００２９】図２〜図９、図１０〜図１６はそれぞれ本
発明の実施例の動作を説明するためのもので、図２〜図
９はそれぞれ動作フローチャート、図１０〜図１６はそ
れぞれ文字作成編集装置の画面構成を示す図である。
尚、フローチャートに於いて、（）内の数字は処理ス
テップの参照番号を示す。

【００３０】以下、図２〜図９に示すフローチャート、
ならびに図１０〜図１６に示す画面構成を参照しなが
ら、図１に示す本発明の実施例の動作について説明す
る。

【００３１】まず、システムが起動されると、従来と同
様に、図１９のような初期画面が表示される（ステップ
１）。

【００３２】入力制御装置４は、タブレット１上のペン
先の位置とペン先のスイッチ状態を読み込む（ステップ
２）。

【００３３】図１９に示す文書作成編集領域ａにペン先
があるときにペン先スイッチがＯＦＦ状態からＯＮ状態
になると、ペン先位置に文字入力用カーソルが移動する
（ステップ２９，３０。図１０）。

【００３４】文字入力領域ｂにペンで手書き文字が書き
込まれると、その文字が認識されて文書作成編集領域ａ
の文字入力用カーソルの位置に入力される（ステップ６
６。図１１）。

【００３５】ペン３を入力された文字の上に持っていっ
てペン先スイッチをＯＦＦからＯＮにすると、上述した
ようにその文字の上にカーソルが移動する。

【００３６】スイッチＯＮのままペンを移動させて別の
文字の上にもってくると文字入力用のカーソルは消え
て、そのカーソル位置を始点とし、ペン先位置を終点と
する範囲が編集対象範囲となって反転表示される（ステ
ップ３７〜４３。図２０）。

【００３７】上述したように、範囲指定を行なっている
ときにペン先スイッチをＯＦＦにすると、そのときに反
転表示されている文字列が編集範囲として確定する（ス
テップ３１〜３５）。

【００３８】指定範囲確定後、ペン先がタブレット面か
ら離れて座標検出が不可能になると、タイムアウトのカ
ウントが始まる（ステップ４５〜４７）。

【００３９】カウンタ１５が一定値（Ｎ）を越えるまで
にペン先が文書作成編集領域ａにあるときに、ペン先ス
イッチが“ＯＦＦ”から“ＯＮ”になるとジャスチャー
認識が開始される（ステップ５１〜５３）。

【００４０】ジェスチャー認識が開始されると、ペン先
の軌跡が筆跡として表示装置上に表示される。その座標
が図示しないジェスチャー認識データバッファに保存さ
れる（ステップ５４，５５）。

【００４１】ペン先スイッチがＯＮからＯＦＦになる
と、それまでに書き込まれたジャスチャー記号が認識さ
れる（ステップ５６，５９）。このとき、ジェスチャー
記号の筆跡は消去される。

【００４２】このようにして実行可能な編集操作のジェ
スチャー記号が認識されることにより、従来と同様にジ
ェスチャー記号による編集操作が実行される（ステップ
６１〜６３。図２１）。

【００４３】ジェスチャー記号の書き込みが始まるカウ
ンタが一定値（Ｎ）を越えると、指定範囲の終点位置に
応じた次のような位置に編集機能選択用のポップアップ
メニューがポップアップ表示される。

【００４４】ポップアップメニューの表示位置＝指定範
囲の終点の次の行を表示開始行とし、ポップアップメニ
ューの横方向の中心位置が指定範囲の終点の桁位置と一
致するような位置（図１２）。但し、この表示で、ポッ
プアップメニューが表示画面の左（または右）にはみ出
す場合には、ポップアップメニューの左端（または右
端）が表示画面の右端）と一致するような桁位置をポッ
プアップメニューの表示位置とする（ステップ４８，４
９。図１３）。尚、ポップアップメニューの各メニュー
には、以後のジャスチャー記号入力のガイドになるよう
に正しいジャスチャー記号の書き方が付記されている
（図１３〜図１４）。

【００４５】上述のようにして範囲が指定されポップア
ップメニューが表示されているときにポップアップメニ
ューの〈次機能〉キーをペンで押すと、ポップアップメ
ニューのパターンが図１４のようにメニュー番号２のメ
ニューに変化する。再度〈次機能〉キーを押すと図１２
のメニュー番号１のメニューに戻る（ステップ１１〜１
５）。

【００４６】上述したように範囲が指定されポップアッ
プメニューが表示されているときにポップアップメニュ
ーの〈取消〉キーをペンで押すと、ポップアップメニュ
ーは消去されて範囲指定は解除され、文字入力用カーソ
ルがもとの位置に表示される（ステップ１６〜２１）。

【００４７】同様にポップアップメニューが表示されて
いるときに文書作成編集領域ａのうちポップアップメニ
ュー表示領域以外の場所にペンがあるときにペン先スイ
ッチがＯＮになると、ポップアップメニューは消去され
て範囲指定は解除され、文字入力用カーソルがペンの位
置に表示される（ステップ２２〜２７）。

【００４８】上述したようにして範囲が指定されポップ
アップメニューが表示されているときに、ポップアップ
メニューの中の機能選択メニューのどれかがペンで押さ
れると、ポップアップメニューは消去されて、そのとき
に指定されている文字列範囲に対して選択した編集機能
の処理が実行される（ステップ１０，３〜８）。

【００４９】一方、上記のようにジェスチャー認識が行
われた際に、図１６のような誤ったジェスチャー記号が
書き込まれたと判定されたときは、そのジェスチャー記
号が書き込まれた位置に応じた次のような位置に編集機
能選択用のポップアップメニューがポップアップ表示さ
れる。

【００５０】ポップアップメニューの表示位置＝ジェス
チャー記号の終点がある行を表示開始行とし、ポップア
ップメニューの横方向の中心位置がジェスチャー記号の
終点がある桁位置と一致するような位置（図１６）。こ
の表示で、ポップアップメニューが表示画面の左（また
は右）にはみ出す場合には、ポップアップメニューの左
端（または右端）が表示画面の左端（または右端）と一
致するような桁位置をポップアップメニューの表示位置
とする（ステップ６４，６５。図１３）。

【００５１】上述したように、ジェスチャー記号認識の
リジェクトによってポップアップメニューが表示された
後の動作は上記の場合と同様である。

【００５２】尚、本発明は、一体型入力表示装置をもつ
文書作成編集装置、具体的には、ペン入力ワードプロセ
ッサや、ペン入力パーソナルコンピュータ、ペン入力端
末等の各種の文書作成編集アプリケーションに応用でき
る。

【００５３】

【発明の効果】以上説明のように本発明によれば以下に
列挙する効果が得られる。

【００５４】（１）範囲指定終了後、ペンを上げて一定
時間が経過すれば、編集機能の一覧を見て選択できる編
集機能選択メニューがポップアップ表示されるので、編
集機能の種類が多いために、ジエスチャー記号を忘れて
しまうような編集機能も容易に選択できる。

【００５５】（２）正しいジェスチャー記号を忘れて間
違ったジェスチャー記号を書き込んだ場合には、編集機
能の一覧を見て選択できる編集機能選択メニューがポッ
プアップ表示されるので、編集機能の種類が多いため、
ジェスチャー記号を忘れてしまったような編集機能も容
易に選択できる。

【００５６】（３）範囲指定終了後、ペンを上げて一定
時間が経過するか、間違ったジェスチャー記号を書き込
んだとき以外には編集機能選択メニューはポップアップ
表示されないので、操作の邪魔にならない。

【００５７】（４）編集機能メニューは指定範囲の終点
の近くか、間違ったジェスチャー記号を書き込んだ位置
の近くにポップアップ表示されるので、固定位置にメニ
ューが表示される場合に比べてメニューの選択操作にお
けるペンの移動量が減少し、操作性が向上する。

【００５８】（５）編集機能メニューにはジェスチャー
記号がガイドとして併記されているので、正しいジェス
チャー記号を覚える手助けとなる。

【図面の簡単な説明】

【図１】本発明の実施例の構成を示すブロック図。

【図２】上記実施例の動作を示すフローチャート。

【図３】上記実施例の動作を示すフローチャート。

【図４】上記実施例の動作を示すフローチャート。

【図５】上記実施例の動作を示すフローチャート。

【図６】上記実施例の動作を示すフローチャート。

【図７】上記実施例の動作を示すフローチャート。

【図８】上記実施例の動作を示すフローチャート。

【図９】上記実施例の動作を示すフローチャート。

【図１０】上記実施例の動作を画面上で示す図。

【図１１】上記実施例の動作を画面上で示す図。

【図１２】上記実施例の動作を画面上で示す図。

【図１３】上記実施例の動作を画面上で示す図。

【図１４】上記実施例の動作を画面上で示す図。

【図１５】上記実施例の動作を画面上で示す図。

【図１６】上記実施例の動作を画面上で示す図。

【図１７】一体型入力表示装置を持つ情報処理装置の構
成例を示す図。

【図１８】ペン先スイッチの構造を示す図。

【図１９】従来例による文書作成装置の画面構成を示す
図。

【図２０】ペンによる編集対象文字列の範囲指定を時系
列的に示す図。

【図２１】ジェスチャー認識による編集操作を概念的に
示す図。

【符号の説明】

１…タブレット、２…ＬＣＤ、３…ペン、４…入力制御
装置、５…表示制御装置、６…カーソル移動制御装置、
７…編集機能メニュー制御装置、８…編集動作実行装
置、９…主制御装置、１０…記憶装置、１１…手書き文
字認識装置、１２…手書き文字認識辞書、１３…ジェス
チャー認識装置、１４…ジェスチャー認識辞書、１５…
時間経過検出装置。

Claims

【特許請求の範囲】

【請求項１】一体型入力表示装置を持ち、入力手段に
よってインプットされた編集記号を認識して文字列編集
操作を行なう情報処理装置に於いて、編集対象となる範
囲を指定した後、一定時間以上上記入力手段からのイン
プットがないことを検出して、編集メニューをポップア
ップ表示することを特徴とする文書作成編集方法。
【請求項２】一体型入力表示装置を持ち、入力手段に
よってインプットされた編集記号を認識して文字列編集
操作を行なう情報処理装置に於いて、上記入力手段によ
って間違った編集記号をインプットしたことを検出し
て、編集メニューをポップアップ表示することを特徴と
する文書作成編集方法。
【請求項３】表示装置と座標入力装置とを重ね合わせ
た一体型表示入力装置を備えた情報処理装置に於いて、
上記表示装置に文書を表示する文書表示手段と、座標入
力装置からの入力情報に基づいて文書の一部分を領域と
して指定する手段と、上記座標入力装置から入力された
座標データ列を指定領域に対する操作命令を指示するジ
ェスチャーとして認識するジャスチャー認識手段と、編
集対象となる領域指定終了後に定時間以上座標入力装置
から有効な座標データの入力がないことを検出し、指定
領域に対する操作命令を選択するためのメニューを上記
表示装置上の指定領域に表示するメニュー表示手段とを
具備すること特徴とする文書作成編集装置。
【請求項４】指定領域に対する操作命令を選択するた
めのメニューに、各操作命令に対応するジェスチャー記
号がガイドとして併記されていることを特徴とする請求
項３記載の文書作成編集装置。
【請求項５】表示装置と座標入力装置とを重ね合わせ
た一体型表示入力装置を備えた情報処理装置に於いて、
表示装置に文書を表示する文書表示手段と、座標入力装
置からの入力情報に基づいて文書の一部分を領域として
指定する手段と、座標入力装置から入力された座標デー
タ列を指定領域に対する操作命令を指示するジェスチャ
ーとして認識するジェスチャー認識手段と、入力された
座標データ列に対応する操作命令が存在しないと判断さ
れた場合に、その入力された座標データに応じた表示装
置上の位置近傍に、指定領域に対する操作命令を選択す
るためのメニューを表示するメニュー表示手段を具備す
ることを特徴とする文書作成編集装置。
【請求項６】指定領域に対する操作命令を選択するた
めのメニューに、各操作命令に対応するジェスチャー記
号がガイドとして併記されていることを特徴とする請求
項５記載の文書作成編集装置。