JPH0834766B2 - 表示データ編集方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、表示画面上に表示さ
れたデータに対して表示データ編集処理を行う表示デー
タ編集方法に関する。

【０００２】

【従来技術】ユーザーとコンピュータ間でインターラク
ティブな通信が可能な種々の装置が知られている。両者
間のコミュニケーションを可能にする媒体ないしポート
としてキーボード、インターラクティブディスプレイ等
が使用されている。ユーザーインターフェースの問題は
長年にわたり大きな課題のひとつであり、絶ゆまざる努
力で研究、開発が進められ、数多くの有効なユーザーイ
ンターフェースをつくり出してきた。にもかかわらず、
万能といえるようなものはいまだ存在せず、今後も、な
お一層の努力を傾けていかなければならない。

【０００３】

【発明が解決しようとする課題】このような非常に広汎
にわたるユーザーインターフェースのひとつの問題とし
て、ユーザーないしオペレータが必要な情報、指示、特
にこみいったものをコンピュータに如何に容易に入力す
ることができるか、という問題、いわゆる操作性の問題
がある。従来技術はいまだこの課題に対し、十分な解決
を与えていない。１例としてワードプロセッサを挙げて
みる。ワードプロセッサに編集処理（テキストの削除、
挿入、入替、枠あけ等々）を行なわせる場合、ワードプ
ロセッサ側としては、どのような命令をテキストのどの
ような領域で行なえばよいのかについて教示してもらわ
ない限り、必要な処理の選択のしようがなく処理を実行
できず、したがってユーザーの要求をかなえることがで
きない。このため、従来のワードプロセッサにおいて
は、ユーザーは特定の編集処理に必要な全情報をワード
プロセッサのコンピュータに伝達するため、２種類の情
報、すなわち、命令を実行してもらいたい場所、領域に
関する情報と、指定場所で実行してもらいたい命令の型
に関する情報をコンピュータに伝達（入力）していた。
代表的には、命令の実行領域の方は、ディスプレイ上の
スクリーンカーソルを移動デバイス、例えばキーボード
上のキーカーソル、マウス、トラックボール等で移動し
て指定する。一方、命令の型については、キーボード上
の編集命令キー等（例えば削除キー、挿入キー等）を選
択して指定する。本発明の課題は、ユーザーインターフ
ェースの優れた命令の入力、具体的には編集命令の入力
操作を行なえるようにすることである。

【０００４】

【課題を解決するための手段】本発明の手段は次の通り
である。データを表示する表示画面と、その表示画面上
に配置された透明な座標検出パネルと、を有した表示装
置における表示データ編集方法であって、上記座標検出
パネルを介して上記表示画面に対する表示座標位置上で
のジェスチャー指示操作を検出し、このジェスチャー指
示操作の検出の後、直ちにそのジェスチャー指示操作に
よる指示位置の軌跡パターンを解析し、この軌跡パター
ンの解析の後、その解析結果に基づいて、上記ジェスチ
ャー指示操作による軌跡の形状の種類に応じたデータ編
集命令の型と、そのジェスチャー軌跡による指示位置に
対応した上記表示データ上に編集対象位置と、を直ちに
決定し、上記決定の編集命令の型を示す情報と、上記決
定の編集対象位置を示す情報とを入力するようにしたこ
とを特徴とする。

【０００５】

【作用】この発明の手段の作用は次の通りである。座標
検出パネルを介して表示画面に対する表示座標位置上で
のジェスチャー指示操作を検出すると、このジェスチャ
ー指示操作の検出の後、直ちにそのジェスチャー指示操
作による指示位置の軌跡パターンが解析され、この軌跡
パターンの解析の後、その解析結果に基づいて上記ジェ
スチャー指示操作による軌跡の形状の種類に応じたデー
タ編集命令の型と、そのジェスチャー軌跡による指示位
置に対応した上記表示データ上に編集対象位置と、が直
ちに決定され、上記決定の編集命令の型を示す情報と、
上記決定の編集対象位置を示す情報とが入力される。従
って、従来の表示データ編集作業であっては別々の操作
で行っていた２種類の操作、即ち、データ編集対象位置
の指定操作と、編集命令の種類の指定操作と、を表示画
面上における編集命令に対応したジェスチャー指示操作
のみで直ちに指定できることになり、表示画面上に表示
されるデータに対する表示データ編集作業を、スムーズ
にしかも迅速に行うことができる。

【０００６】

【実施例】以下、この発明をワードプロセッサに適用し
た場合の実施例について説明する。 〈実施例の概要〉本実施例ではワードプロセッサにおけ
る編集機能を働かせるために、編集命令入力として、文
書の校正記号（proofreader's marks）のようなマーク
を入力する。マークの入力は文書出力画面上に重ねられ
た透視型タッチ操作面上で行なわれる。

【０００７】図１は、校正マーク入力例を示したもの
で、同図（ａ）は挿入命令のマーク入力例、（ｂ）は削
除命令のマーク入力例、（ｃ）は枠あけ命令のマーク入
力例である。例えば、図１（ａ）に示すような

【外１】 のマークを入力すれば、これが命令解析部側で「テキス
ト座標（３、１）に挿入せよ」と解読される。この場
合、「挿入」という命令の型と「テキスト座標（３、
１）」という命令の実行される領域、位置がひとつのマ
ーク入力

【外１】から同時に、識別される。この例からもわかる
ように、本実施例によれば、編集命令を入力するのに、
ユーザーはマークを入力するだけでよく、ユーザーイン
ターフェースが格段に向上する。

【０００８】さらに本実施例においては処理装置側、こ
の場合ワードプロセッサが、出力画面に表示されるテキ
ストの各文字に対する位置を行方向ないしＸ軸方向に平
行な複数の直線とＹ軸方向ないし列方向に平行な複数の
直線とで規定されるメッシュ上（例えば表示プレーンメ
モリ上の各文字行と文字列より成るメッシュ、また、テ
キストメモリ上の各文字行と文字列のページ）の各交点
ないし各ます（テキストメモリでいえば所定行番号、桁
番号にあるメモリセル）において位置管理（例えば出力
画面上の左上のような基準位置ないし原点（０、０）か
らの相対ｘ、ｙ座標で管理）していることを、想定して
ある。このような位置管理機能は既存のワードプロセッ
サが通常もっている機能である。

【０００９】これに対し、タッチ操作面をもつ入力装置
より入力された、タッチ操作面に対する操作位置信号は
Ｘ軸方向に平行な複数の直線とＹ軸方向に平行な複数の
直線とによって規定されるメッシュ（以下、入力メッシ
ュと呼ぶ）上の交点として最終的に検出ないし、識別さ
れる。

【００１０】したがって、命令解析手段は、上記入力メ
ッシュ上の交点の集合のパターンから、命令の型と命令
の実行される領域を解析する。そして入力メッシュ上の
交点ないし交点群として定義された命令実行領域を、ワ
ードプロセッサのテキストメモリないしテキスト表示メ
モリ上において規定されたメッシュ上の位置ないし位置
群に対応づける。

【００１１】このように、本実施例ではワードプロセッ
サ側のメッシュと同様な（例えば相似な）入力メッシュ
を用いているので、メッシュ変換（基本的にスケール変
換）を行うだけでワードプロセッサが実行する命令の領
域を得ることができる。したがって、これに関連する処
理量、記憶容量（プログラムも含めて）が非常に少なく
てすみ、応答性の向上に大きく貢献する。

【００１２】＜構成＞図２に本実施例の全体構成を示
す。４１は入出力装置であり、校正マークの入力とワー
ドプロセッシング回路４６からの文字の出力表示を兼ね
るものである。例えば、ＣＲＴあるいはＬＣＤのような
ディスプレイとそのスクリーン上に透明なタッチパネル
を重ねたタイプのタッチ入力装置ないし座標入力装置と
を組み合わせたもので構成される。

【００１３】４２と４３はタッチ操作面に対する操作位
置ないし入力座標を検出するもので、Ｙ座標の方はＹ軸
座標検出回路４２により、Ｘ座標の方はＸ軸座標検出回
路４３により、それぞれ検出される。

【００１４】タッチ操作面（座標入力面）と入力座標の
検出回路は既存の任意の型式、例えばディジタル検出方
式、アナログ検出方式、マトリクス抵抗／コンダクタ
型、抵抗分圧型、ストレンゲージ型、光型、静電容量
型、表面波型等々が使用できる。要するに、タッチ操作
面（物理的なパネルである必要はない）に対する入力の
位置が検出できるものであればよい。

【００１５】Ｘ、Ｙ軸座標検出回路４２、４３により検
出された座標は検出座標記憶部４４に蓄積される。記憶
された座標ないし位置の集合は命令解析部４５において
解析され、その命令の型と命令の実行される領域が識別
される。解析結果はワードプロセシング回路４６に渡さ
れ、実際のテキスト編集処理が行なわれる。なお、ワー
ドプロセシング回路４６は既存の任意のワードプロセッ
サで構成できる。ワードプロセッサ自体の構造について
は本発明の対象ではないので説明を省略する。

【００１６】検出座標記憶部、命令解析部（図３、図
４） 図３に検出座標記憶部４４の内部概要を、図４に命令解
析部４５のハード構成を示す。ＸＹ座標比較部４４１は
同一の座標入力を禁止するものであって、前と異なるデ
ータ（座標）を検出した場合に、座標記憶制御部４４３
に座標検出信号を送って、有効な座標が検出されたこと
を知らせるとともに座標記憶ＲＡＭ４４２をアクセスす
る。これに対し、座標記憶制御部４４３は、座標記憶Ｒ
ＡＭ４４２への書込のアドレスを要求するため検出信号
を、ＣＰＵ４５１とプログラムメモリ４５２より成る命
令解析部４５（図４）のＣＰＵ４５１に送る。これによ
りＣＰＵ４５１からアドレスが返されたら、座標記憶制
御部４４３はそのアドレスをアドレスバス上に出力して
座標記憶ＲＡＭ４４２をアドレス指定するとともに、要
求は実行されたので検出信号を解除する。これの繰り返
しによって座標データを座標記憶ＲＡＭ４４２に入力す
る。

【００１７】検出信号が例えば所定時間出なくなった状
態で座標記憶ＲＡＭ４４２を命令解析部がアクセス開始
する。解析中の座標入力はＸＹ座標比較部にＦＩＦＯ
（先入れ先出し）型式で蓄積される。解析が終了した段
落で座標記憶制御部４４３よりＸＹ座標比較部４４１へ
出力制御信号を送り、ＦＩＦＯが空になるまで、すなわ
ち座標検出信号がきれるまで、座標記憶ＲＡＭ４４２に
座標データが転送される。

【００１８】＜動作＞次に、実施例の動作、特に、命令
解析部４５の処理を中心にして説明する。全体処理（図５） ５図に命令解析部４５の実行するメインフローを示す。 処理Ｇ１、Ｇ２：この処理は、入力座標の集合が挿入命
令の型をもつか否かについて検査する挿入命令識別処理
である。 処理Ｇ３ ：挿入命令の場合に行なわわれる出力処
理で、テキスト座標への変換処理が含まれる。 処理Ｇ４、Ｇ５：挿入命令でないときにはこの削除命令
識別処理により、入力座標が削除命令の型をもつか否か
が検査される。 処理Ｇ６ ：削除命令の場合に行なわれる処理でテ
キスト座標への変換処理を含む。 処理Ｇ７、Ｇ８：削除命令でもないときには、この枠あ
け命令識別処理により、 入力座標が
枠あけ命令の型をもつか否かが検査される。 処理Ｇ９ ：枠あけ命令の場合に行なわれる処理で
テキスト座標への変換処理を含む。 処理Ｇ１０ ：入力座標集合がいずれの命令の型もも
たない場合は解析不能信号を出力する。

【００１９】挿入命令識別処理（図６） ６図に挿入命令識別処理のフローチャートを示す。本例
では、図１（ａ）からもわかるように、挿入命令として
判断されるのは

【外２】 のようなマークないし記号が入力されたときである。座
標点が３点であり（Ａ１）、最初のｘ座標に１を加えた
ものが次のＸ座標となっており、（Ａ２）、２点目のＸ
座標を１つだけ右にずらせたものが３点目のＸ座標とな
っており（Ａ３）、最初のＹ座標と３点目のＹ座標とが
同じ高さに位置しており（Ａ４）、２点目のＹ座標と１
点目のＹ座標との高低の差が１であるとき（Ａ４）、の
全条件を満たすときのみ挿入記号であると認定される
（Ａ６）。それ以外のときは挿入記号でないと認定され
る（Ａ７）。なお、挿入記号のなるための条件が厳しす
ぎるのであれば、もっとゆるい条件で行ってもよい。こ
のために必要なプログラミングの変更は当業者には容易
である。

【００２０】削除命令識別処理（図７） 図７に削除命令の識別処理のフローチャートを示す。図
１（ｂ）からもわかるように、削除命令として認められ
るのは“→”のようなマーク、記号を入力したときであ
る。本例では、よこ書フォーマットにおいて１行内の削
除を想定してある。したがって全座標入力について、そ
のＸ座標が１つずつ右にシフトし、そのＹ座標は全て同
じ高さにあることを条件としている。座標点の総数を求
め、座標番号の変数ｉの初期値とし（Ｂ１）、終点より
始点に向け、対を成す座標の後の方の番号の変数ｉにつ
いて以下の処理を行う（Ｂ２〜Ｂ７）。

【００２１】ｉ番目のｘ座標が直前すなわち（ｉ−１）
番目のＸ座標より１単位（入力メッシュの１単位）だけ
右にあって（Ｂ２）、ｉ番目のＹ座標と（ｉ−１）番目
のＹ座標が同じ水平位置にある（Ｂ３）ときには、ｉ番
目は合格だから、ひとつ前の座標番号に進め（Ｂ４）、
これを、ｉ＝１になるまでくり返し、全部合格なら削除
命令と認定し（Ｂ６）、ひとつでも不合格があれば削除
命令でないと認定する（Ｂ７）。前と同様に、よりゆる
い条件で削除命令の認定が行なわれるようにしてもよ
い、例えば、始点と終点が上記の条件Ｂ２、Ｂ３を満た
せば命令の型を「削除命令」とする、あるいは逆方向
（右から左）も許容する等々。

【００２２】枠あけ命令識別処理（図８） 図８に枠あけ命令の識別処理のフローチャートを示す。
枠あけ命令のマーク入力の例は図１（ｃ）に示されてい
る。この例において、マーク入力は次のような（Ｘ、
Ｙ）座標の列として得られる。（１、１）、（２、
１）、（３、１）、（４、１）、（５、１）、（５、
２）、（５、３）、（５、４）、（５、５）、（４、
５）、（３、５）、（２、５）、（１、５）、（１、
４）、（１、３）、（１、２）、（１、１）。この座標
点の集合の特徴は始点と終点が同一座標であり、罫線上
に線が引かれるところにある。また本例では、入力メッ
シュ（図１では丸で囲んでいない数字で示されるもの）
の４ますが、出力メッシュ（丸で囲んだ数字で示される
もの）の１ますに対応し、かつ出力メッシュの交点（文
字センター）は入力メッシュ上の交点のうち、ともに偶
数値をもつ行番号（Ｙ座標）と列番号（Ｘ座標）の交点
とのみ一致することを想定してある。

【００２３】したがって、Ｃ１とＣ２で始点と終点が同
一座標であることをチェックし、Ｃ３〜Ｃ９において、
全入力座標について、偶数点のみの座標がないことをチ
ェックし、すべての条件が満たされる場合のみ、枠あけ
命令であると認定し、その他の場合は枠あけ命令ではな
いと決定する（Ｃ１０）。

【００２４】命令の発行（図９、図１０、図１１） 挿入命令を識別した場合に図９のフローに入る。ワード
プロセシング回路４６に対し、挿入命令信号を出力し、
命令の型が「挿入命令」であることを知らせる（Ｓ
１）。挿入位置を示す始点のＸ座標と２番目のＹ座標を
テキスト座標のＸ座標、Ｙ座標に変換し、それをワード
プロセシング回路４６に渡す（Ｓ２、Ｓ３）。上述した
ように、本実施例ではテキスト座標と関連する出力メッ
シュと相似な入力メッシュを用いて入力座標を定義して
いる。したがって命令の実行される領域について、入力
メッシュ系より出力（テキスト）メッシュ系への変換が
非常に簡単にできる（図９のＳ２、図１参照）。

【００２５】挿入命令信号と、挿入の行なわれるテキス
ト座標の情報を受け取ったワードプロセシング回路４６
は挿入命令の実行のため、通常の仕方でテキストメモリ
を再編成し、表示メモリ（リフレッシュメモリ）を書き
換える。図１０には図５の処置Ｇ６に相当する削除命令
の発行のフローチャートを、図１１には図５の処理Ｇ９
に相当する枠あけ命令の発行のフローチャートを示す。
両図の記載からその動作は明らかであるので説明は省略
する。

【００２６】

【変形例】本発明は上記実施例に限らず、種々の変形、
変更が可能である。例えば上記実施例では、入力手段と
して、表示スクリーン上にタッチ操作面をもつ透視型入
力装置を用いている。これは、インターラクティブで動
作する際、操作入力と応答結果との対応がつきやすい点
で有利である。

【００２７】しかし、これには限らず、タブレットない
しディジタイザーのように表示スクリーンとは別体でタ
ッチ操作面を有する座標入力装置が使用できる。また上
記実施例は本発明をワードプロセッサに適用したもので
あるが、インターラクティブなグラフィック処理装置に
も適用可能である。またタッチ操作面に対するマーク入
力としては、上記実施例以外に多数のマーク入力が考え
られるが、紙面の関係上そのすべてを述べることはでき
ない。

【００２８】例えば、一筆書のマーク入力以外に二筆な
いし複数筆書のマーク入力を使用することができる。例
えば、

【外３】 （意味：文字間、行間、あるいはスペースを詰める）、

【外４】 （意味：矢印の向き、例えば文字列ないし記号列を左に
移動させる）、等々である。複数筆書のマーク入力にも
対応できるよう命令解析部４５を変形することは容易で
ある。

【００２９】

【発明の効果】本発明によれば、従来の表示データ編集
作業であっては別々の操作で行っていた２種類の操作、
即ち、データ編集対象位置の指定操作と、編集命令の種
類の指定操作と、を表示画面上における編集命令に対応
したジェスチャー指示操作のみで直ちに指定できること
になり、表示画面上に表示されるデータに対する表示デ
ータ編集作業を、スムーズにしかも迅速に行うことがで
きる。

【図面の簡単な説明】

【図１】実施例によるマーク形式の命令入力を示す図で
ある。

【図２】実施例の全体構成図である。

【図３】検出座標記憶部の構成図である。

【図４】命令解析部の構成図である。

【図５】実施例の動作のメインフローチャートである。

【図６】挿入命令識別処理のフローチャートである。

【図７】削除命令識別処理のフローチャートである。

【図８】枠あけ命令識別処理のフローチャートである。

【図９】挿入命令発行のフローチャートである。

【図１０】削除命令発行のフローチャートである。

【図１１】枠あけ命令発行のフローチャートである。

【符号の説明】

４１ 入出力装置 ４２、４３ 座標検出回路 ４５ 命令解析部 ４６ ワードプロセシング回路

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 昭57−155675（ＪＰ，Ａ) 特開 昭60−75980（ＪＰ，Ａ) 特開 昭51−48333（ＪＰ，Ａ) 特開 昭54−47636（ＪＰ，Ａ)

Claims (3)

【特許請求の範囲】
1. 【請求項１】 データを表示する表示画面と、その表示
   画面上に配置された透明な座標検出パネルと、を有した
   表示装置における表示データ編集方法であって、 上記座標検出パネルを介して上記表示画面に対する表示
   座標位置上でのジェスチャー指示操作を検出し、 このジェスチャー指示操作の検出の後、直ちにそのジェ
   スチャー指示操作による指示位置の軌跡パターンを解析
   し、 この軌跡パターンの解析の後、その解析結果に基づい
   て、上記ジェスチャー指示操作による軌跡の形状の種類
   に応じたデータ編集命令の型と、そのジェスチャー軌跡
   による指示位置に対応した上記表示データ上に編集対象
   位置と、を直ちに決定し、 上記決定の編集命令の型を示す情報と、上記決定の編集
   対象位置を示す情報とを入力するようにしたことを特徴
   とする表示データ編集方法。
2. 【請求項２】 表示データの表示される表示画面上での
   任意の表示位置において手書きによるジェスチャー指示
   操作を行うことにより、予め用意されたデータ編集命令
   のうちの何れかのデータ編集命令を選択して上記表示画
   面上の表示データを編集する方法であって、 １つのデータ編集命令に対応したジェスチャー指示操作
   が上記表示画面上において行われた際に、そのジェスチ
   ャー指示操作を検出し、 上記ジェスチャー指示操作が検出された時点において、
   そのジェスチャー指示操作によるジェスチャー軌跡が、
   上記複数のデータ編集命令の各々に対応して予め用意さ
   れていたジェスチャー軌跡の何れと近似するか否か、を
   上記ジェスチャー軌跡の指示表示位置とその指示順序と
   から直ちに解析し、 このジェスチャー軌跡の解析に基づいて、上記ジェスチ
   ャー軌跡が上記複数のデータ編集命令のうちの何れか１
   つのデータ編集命令と近似するジェスチャー軌跡である
   と判別されれば、その判別された時点において、そのジ
   ェスチャー軌跡に対応したデータ編集命令を直ちに選択
   すると共に、そのジェスチャー軌跡の指示表示位置が上
   記表示データ上のどの部分のデータに対応する操作であ
   るかを直 ちに特定し、 そのジェスチャー軌跡によって特定された上記表示デー
   ター部分に対して上記選択されたデータ編集処理命令の
   種類に応じたデータ編集処理を行うようにした、 ことを特徴とする表示データ編集方法。
3. 【請求項３】 表示データを表示画面上に表示する表示
   装置における表示データ編集方法であって、 表示データの表示される表示画面上の任意の表示位置に
   おいて手書きによるジェスチャー指示操作が行われた際
   に、そのジェスチャー指示操作された上記表示画面上の
   表示座標位置を順次検出し、 上記ジェスチャー指示操作により各表示座標位置が検出
   されたことに応じて、その検出直後において直ちに、上
   記ジェスチャー指示操作のジェスチャー軌跡を、上記各
   指示位置の表示座標位置とその指示順序とから解析し、 その解析に応じて、その解析された上記ジェスチャー軌
   跡が、予め用意されていた複数のジェスチャー軌跡の何
   れと近似するか否かを判別すると共に、そのジェスチャ
   ー軌跡の位置が上記表示データ上のどの部分のデータに
   対応する操作であるかを特定し、 上記解析されたジェスチャー軌跡が、データ挿入の編集
   命令に対応するジェスチヤー軌跡であると判別された際
   は、そのジェスチャー軌跡によって特定された上記表示
   データ上のデータ位置に対してデータ挿入の編集処理を
   行うためのデータ挿入編集命令を発行し、 上記解析されたジェスチャー軌跡が、データ削除の編集
   命令に対応するジェスチャー軌跡であると判別された際
   は、そのジェスチャー軌跡によって特定された上記表示
   データ上のデータ位置のデータを削除編集するためのデ
   ータ削除編集命令を発行するようにした、 ことを特徴とする表示データ編集方法。