JPH06131107A - ペン入力操作方法および情報処理装置 - Google Patents

Abstract

(57)【要約】 【構成】 ペン入力手段を備えた情報処理装置におい
て、複数の操作に対して予め定められた固有の記号をペ
ンの軌跡で指定して所望の操作を指示するペン入力操作
方法であって、相反する操作に対して同一の記号を割り
当てるとともに、該同一の記号の入力順序によって当該
相反する操作を識別するようにした。 【効果】 操作を実行する際に覚える記号（ジェスチ
ャ）の数を、最大半分に減らすことができる。また、入
力方法は、人間の生理的に動作に合致するものであり、
違和感がなく、操作性が向上する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ペンなどのポインティ
ングデバイスを用いて文字や図形の入力時にそれらの取
り消し方法、属性変更に適するペン入力操作方法に関す
る。

【０００２】

【従来の技術】近年、情報処理装置の入力装置として、
ペン入力装置が注目されている。ペンによる操作を指示
するコマンドの入力の手法として、予め複数のコマンド
に対してそれぞれ固有の記号（ジェスチャ）を登録して
おき、ユーザのペン入力軌跡を登録されたジェスチャ内
容と照合して、コマンドを認識させることが行われてい
る。例えば、コピー操作を意味するジェスチャを入力す
ることにより文字列のコピーをした後、その文字列のコ
ピーを取り消す場合（アンドゥ）は、取消を意味する別
のジェスチャを入力する。同様に、文字の拡大操作およ
びその反対の縮小操作をするには、各々あらかじめ登録
されていた別個のジェスチャを入力する。

【０００３】

【発明が解決しようとする課題】上記従来技術では、あ
る操作に対しての取り消しを行う場合には、当該ある操
作とは別に登録されているジェスチャ入力を必要とす
る。また、拡大および縮小のような相反する操作につい
ても、別々のジェスチャ入力を行わなければなければな
らない。したがって、種々の操作を行うために、それぞ
れ異なるジェスチャを覚えておく必要があった。特に、
使用するシステムのＯＳやアプリケーションによってジ
ェスチャは異なっている場合があり、このような場合に
は覚えるべきジェスチャの数は増大し、操作に支障を来
たした。

【０００４】本発明の目的は、ユーザが覚えるジェスチ
ャの数をできるだけ少なくし、ペン入力の操作性の向上
を図ることができるペン入力操作方法を提供することに
ある。

【０００５】

【課題を解決するための手段】本発明によるペン入力操
作方法は、ペン入力手段を備えた情報処理装置におい
て、複数の操作に対して予め定められた固有の記号をペ
ンの軌跡で指定して所望の操作を指示するペン入力操作
方法であって、相反する操作に対して同一の記号を割り
当てるとともに、該同一の記号の入力順序によって当該
相反する操作を識別するようにしたことを特徴とする。

【０００６】また、本発明によるペン入力手段を備えた
情報処理装置は、前記ペン入力手段により入力された記
号に対して、ペンの軌跡を表わす複数の代表座標点を入
力順に抽出する代表座標点抽出手段と、複数の操作のう
ち、相反する操作の一方に対してのみ固有の記号を割り
当て、そのペンの軌跡を表わす代表座標点を正順に登録
しておく記号登録手段と、前記代表座標点抽出手段によ
り得られた代表座標点を、前記登録された複数の記号の
代表座標点と、正順および逆順に照合することにより、
前記入力手段から指示された操作が前記複数の操作およ
びその相反する操作のうちのいずれの操作であるかを特
定する照合手段とを備えたものである。

【０００７】

【作用】ペン入力指示により、ある操作と反対の操作を
指示する場合、ある操作の記号（ジェスチャ）の書く方
向を逆にしてペン入力することにより、当該反対の操作
を指示することができる。例えば、拡大と縮小の操作に
対しては、同一の記号を割り当て、その各方向を逆にす
ることにより、両者を識別する。また、コピーや移動操
作等については、その相反する操作を取消し操作と考
え、逆方向のペン入力により直前の操作指示を取り消す
こととする。

【０００８】これにより、ユーザはある操作の反対の操
作について別個の記号を覚える必要がなくなり、ユーザ
の覚えるべきジェスチャの数を最大半分に削減すること
ができる。

【０００９】

【実施例】以下、本発明の実施例につき図面を参照して
詳細に説明する。

【００１０】図１に、本発明を適用するコンピュータ装
置の外観図を示す。コンピュータ本体１１は、その表面
に表示部およびペン入力部を有する。本実施例では、表
示部に重なるペン入力認識領域１２内でペン１３による
入力が可能である。なお、本構成以外に、このペン入力
認識領域１２とコンピュータ本体１１とが別々になって
いるものであっても本発明を適用することは可能であ
る。この例では、文字の入力は文字認識領域１４内で行
い、ひらがな等をこの領域に入力して漢字などに変換さ
せるが、ペン入力認識領域１２と文字認識領域１４とが
同一になっているものであってもよい。

【００１１】図２は、図１のコンピュータ装置の主要機
能ブロックおよび制御データの流れを示したものであ
る。２１は、文字や図形を入力するポインティング入力
部であり、本実施例では、ペンである。２２は、入力さ
れた座標データを入力データに変換する為の座標解析処
理部である。２４は、あらかじめ登録されているジェス
チャ文字記号を格納する部分である。また、そのジェス
チャの書き順として、数箇所の座標も格納されている。
２３は、入力されたデータとジェスチャ記憶部２４のデ
ータとのマッチングを行う逆方向認識処理部である。２
５は、これらの処理結果を表示する画面表示部である。

【００１２】図３は、図１のコンピュータ装置のハード
ウエア構成例を示すブロック図であり、本実施例では、
文字や図形などの編集システムに適用した場合について
説明する。この装置は、主として中央処理装置（ＣＰ
Ｕ）３１、ＣＰＵ３１により実行されるプログラムおよ
びデータを格納する主記憶装置３２、実行されたコマン
ド結果を表示する表示装置３３、実行されたコマンド結
果を印刷するプリンタ３６、プログラムおよびデータ等
を格納する外部記憶装置３５、文字や図形を入力するポ
インティングデバイスであるペン入力装置３４からな
る。

【００１３】図２の画面表示部２５は表示装置３３に対
応し、入力部２１はペン入力装置３４に対応する。ま
た、図２の座標解析処理部２２および逆方向認識処理部
２３は、ＣＰＵ３１の機能に該当する。ジェスチャ記憶
部２４は、主記憶装置３２または外部記憶装置３５に対
応する。

【００１４】次に、図４により、本実施例において文字
列のある操作の取り消し（アンドゥ）や図形の属性を変
更する相反する操作の為の、ペンによる操作方法とその
機能を説明する。

【００１５】図４（ａ）は、ある１文字（ここでは
「あ」）に対して、予め定められたジェスチャ４１ａの
入力によりその文字をコピーする動作を示す。同図
（ｂ）は、そのコピーを取り消す操作を示す。すなわ
ち、ジェスチャ４１ａと形状は同じであるが、ジェスチ
ャ４１ａの入力順序（書く方向）４２ａと逆の入力順序
４４ａのジェスチャ４３ａを入力することにより、コピ
ーを取り消すものである。なお、この例では、説明の都
合上、図１の文字認識領域１４にある文字に対してコピ
ーのジェスチャを行うとその文字が隣の位置に複写され
るように示したが、一般にコピー＆ペーストの動作で
は、画面上でコピーする範囲を指定してコピー動作を行
うと、コピーした内容が特定の記憶領域に書き込まれ、
次に、コピー先の位置を指定してペースト動作を行うと
その位置に前記記憶領域の内容がコピーされる。本実施
例もそのようなコピー操作に適用することができる。

【００１６】図５は、ある文字を拡大するジェスチャを
入力して拡大させる操作（同図（ａ））と、これと反対
の操作であるに縮小操作（同図（ｂ））とを示す。拡大
を指示するジェスチャ４１ｂと、縮小を指示するジェス
チャ４３ｂとは、形状は同一であるが、それぞれの入力
順序の４２ｂと４４ｂとは逆になっている。

【００１７】図６は、ある図形を拡大するジェスチャを
入力して拡大させる操作（同図（ａ））と、これを反対
に縮小する操作（同図（ｂ））とを示す。図５と同様、
それぞれのジェスチャ４１ｃ，４３ｃの形は同じである
が、その入力順序の４２ｃ，４４ｃは逆である。

【００１８】このように、相反する操作（ある操作とそ
れを取消す操作も相反する操作とする）に対して、入力
順序の異なる同一形状のジェスチャを割り当てることに
より、実質的に記憶すべきジェスチャの数を半減させる
ことが可能になる。

【００１９】図７により、複数の操作について予め登録
された複数のジェスチャ命令について説明する。

【００２０】図７（ａ１）〜（ａ４）に示した記号は、
それぞれ、コピー、拡大、色反転、塗りつぶしの各命令
（コマンド）に対応する記号を示す。ここでは、すべて
一筆書きのできる記号を選択している。図中の“×”
は、各記号の重心点、“・”は、各記号を記述する際の
代表座標点である。代表座標点の数の取り方は、いくつ
かあるが、本実施例では、説明簡略化のため４点とす
る。

【００２１】図７（ａ１）の（ｘ０１、ｙ０１），（ｘ
０２、ｙ０２），（ｘ０３、ｙ０３）（ｘ０４、ｙ０
４）は、コピーのジェスチャにおける、重心点を原点と
したときの各代表座標点までの相対座標である。各座標
値の２個の添字番号の前者はジェスチャの通し番号を示
し、後者はその座標の入力順序を示している。他のジェ
スチャについても同様である。

【００２２】図７（ｂ）は、ペンなどのポインティング
デバイスによって実際に入力された文字の軌跡であり、
図７（ａ１）〜（ａ４）のジェスチャ（記号）と照合さ
れるものである。この文字についても、重心点および代
表座標点が定まる。図中、（Ｘ０１、Ｙ０１），（Ｘ０
２、Ｙ０２），（Ｘ０３、Ｙ０３），（Ｘ０４、Ｙ０
４）は、それぞれ、重心点を原点としたときの各代表座
標点までの相対座標である。

【００２３】図７（ｃ）は、前述の各ジェスチャ命令に
ついて各々のジェスチャ代表座標４点を登録したジェス
チャ代表座標テーブル２４０を示す。各ジェスチャ命令
に対して、その操作に相反する操作を表わすジェスチャ
逆命令も登録されている。ジェスチャ命令は、文字コー
ドでもよいし、コマンド名称などでもよい。ジェスチャ
逆命令としては、ジェスチャ命令の逆の文字の文字コー
ドや逆のコマンドなどを用いることができる。

【００２４】次に、図８〜図１３により、これらの操作
を実現するための処理フローを説明する。これらは、入
力文字とあらかじめ登録されているジェスチャとのマッ
チングを図るための一連の処理フローである。

【００２５】まず、図８において、ペンなどのポインテ
ィングデバイスにより、文字や図形の入力を行うと文字
や図形の重心を決定し、入力代表座標を４点抽出し、重
心から入力代表座標点までの相対座標を計算する（１０
１）。ジェスチャ代表座標テーブル（図７の２４０）に
登録された複数のジェスチャと順次マッチングをとるた
め、ジェスチャ代表座標テーブルの一番最初のアドレス
を指定する（１０２）。ジェスチャ代表座標テーブルに
は、ｎ個のジェスチャが登録されており、最初は、０番
目から始まることとする。ジェスチャ代表座標テーブル
のアドレス変数ｎを０番目の意味の０にセットする（１
０３）。入力Ｘ座標第１点目とジェスチャ代表Ｘ座標第
１点目との差の絶対値と、入力Ｙ座標第１点目とジェス
チャ代表Ｙ座標第１点目との差の絶対値の和（Ｔｎ１）
を算出する。入力Ｘ座標第２点目とジェスチャ代表Ｘ座
標第２点目との差の絶対値と入力Ｙ座標第２点目とジェ
スチャ代表Ｙ座標第２点目との差の絶対値の和（Ｔｎ
２）を算出する。入力Ｘ座標第３点目とジェスチャ代表
Ｘ座標第３点目との差の絶対値と、入力Ｙ座標第３点目
とジェスチャ代表Ｙ座標第３点目との差の絶対値の和
（Ｔｎ３）を算出する。入力Ｘ座標第４点目とジェスチ
ャ代表Ｘ座標第４点目との差の絶対値と、入力Ｙ座標第
４点目とジェスチャ代表Ｙ座標第４点目との差の絶対値
の和（Ｔｎ４）を算出する（１０４）。Ｔｎ１、Ｔｎ
２、Ｔｎ３、Ｔｎ４の和を算出し、ＴＡとしてセーブし
ておく（１０５）。次のジェスチャの代表座標データを
取得するためにジェスチャ代表座標テーブルのポインタ
を一つインクリメントする（１０６）。ジェスチャ代表
座標テーブルのポインタが一つ進んだのでｎの値も一つ
インクリメントする（１０７）。このｎ＋１番目のジェ
スチャ代表座標テーブル内容に対して、ステップ１０４
と同様の計算処理を行い（１０８）、これにより求まっ
たＴｎ１、Ｔｎ２、Ｔｎ３、Ｔｎ４の和を算出し、これ
をＴＢとしてセーブしておく（１０９）。

【００２６】図９に進み、先にセーブしておいたＴＡと
ＴＢを比較する（１１０）。ＴＢがＴＡより小さい場合
は、入力された記号の代表座標に対しては、ｎ＋１番目
のジェスチャ代表座標の方が０番目のジェスチャ代表座
標より誤差が少ないとみなし、ｎ＋１番目のジェスチャ
命令を候補としてセーブする（１１１）。そして、ＴＢ
の値を変数Ｔｔにセーブしておく（１１２）。逆に、Ｔ
ＡがＴＢより小さい場合、入力された記号の代表座標に
対しては、０番目のジェスチャ代表座標の方がｎ＋１番
目のジェスチャ代表座標より誤差が少ないとみなし、０
番目のジェスチャ命令を候補としてセーブする（１１
３）。そして、ＴＡの値を変数Ｔｔにセーブしておく
（１１４）。ジェスチャ代表座標テーブルのポインタを
進める為、ｎの値を１つインクリメントする（１１
５）。次のジェスチャの代表データを取得するために、
ジェスチャ代表座標テーブルのポインタを一つインクリ
メントする（１１６）。続いて、ステップ１０４と同様
の計算処理を行い（１１７）、求まったＴｎ１，Ｔｎ
２，Ｔｎ３，Ｔｎ４の和を算出して、これをＴｃとして
セーブしておく（１１８）。

【００２７】図１０に進み、先にセーブしておいたＴｔ
の値とＴｃの値を比較する（１１９）。Ｔｃの方が小さ
い場合、入力された記号の代表座標に対しては、今回の
ジェスチャ代表座標の方が前回のそれよりも誤差が少な
いとみなし、現在のジェスチャ代表座標テーブルのジェ
スチャ命令をセーブする（１２０）。そして、Ｔｃの値
をＴｔにセーブする（１２１）。これらをジェスチャ代
表座標テーブルに登録されているすべてのジェスチャに
対して行う（１２２）。すべてのジェスチャ代表座標テ
ーブルに対しての処理を終えたならば、Ｔｔの値が閾値
の範囲内にあるか調べる（１２３）。ここで、閾値と
は、Ｔｔの値が誤差として容認できるか否かの基準値で
ある。Ｔｃが閾値の範囲内にあったばらば、最終的にセ
ーブされたジェスチャ命令が選択される（１２４）。Ｔ
ｔが閾値の範囲外ならば、図１１の処理へ進む。

【００２８】図１１では、入力文字をジェスチャ逆命令
についてマッチングを図るため、ジェスチャ代表座標テ
ーブルの先頭アドレスを再指定する（２２５）。そし
て、初期値０をセットする（２２６）。入力Ｘ座標第１
点目とジェスチャ代表Ｘ座標第４点目との差の絶対値
と、入力Ｙ座標第１点目とジェスチャ代表Ｙ座標第４点
目との差の絶対値の和（Ｔｎ１）を算出する。入力Ｘ座
標第２点目とジェスチャ代表Ｘ座標第３点目との差の絶
対値と、入力Ｙ座標第２点目とジェスチャ代表Ｙ座標第
３点目との差の絶対値の和（Ｔｎ２）を算出する。入力
Ｘ座標第３点目とジェスチャ代表Ｘ座標第２点目との差
の絶対値と、入力Ｙ座標第３点目とジェスチャ代表Ｙ座
標第２点目との差の絶対値の和（Ｔｎ３）を算出する。
入力Ｘ座標第４点目とジェスチャ代表Ｘ座標第１点目と
の差の絶対値と、入力Ｙ座標第４点目とジェスチャ代表
Ｙ座標第１点目との差の絶対値の和（Ｔｎ４）を算出す
る（２２７）。Ｔｎ１，Ｔｎ２，Ｔｎ３，Ｔｎ４の和を
算出し、ＴＡとしてセーブしておく（２２８）。次のジ
ェスチャの代表座標データを取得するためにジェスチャ
代表座標テーブルのポインタを一つインクリメントする
（２２９）。ジェスチャ代表座標テーブルのポインタが
一つ進んだので、ｎの値も一つインクリメントする（２
３０）。ｎ＋１番目のジェスチャ代表座標テーブルに対
して、ステップ２２７と同様の計算処理を行い（２３
１）、求まったＴｎ１，Ｔｎ２，Ｔｎ３，Ｔｎ４の和を
算出し、ＴＢとしてセーブしておく（２３２）。

【００２９】図１２に進み、先にセーブしておいたＴＡ
とＴＢとを比較する（２３３）。ＴＢの方が小さい場
合、入力された記号の代表座標に対しては、ｎ＋１番目
のジェスチャ代表座標の方が０番目のジェスチャ代表座
標より誤差が少ないとみなし、ｎ＋１番目のジェスチャ
逆命令を候補としてセーブする（２３４）。そしてＴＢ
の値を変数Ｔｔにセーブしておく（２３５）。ＴＡの方
が小さい場合、入力された記号の代表座標に対しては、
０番目のジェスチャ代表座標の方がｎ＋１番目のジェス
チャ代表座標より誤差が少ないとみなし、０番目のジェ
スチャ逆命令を候補としてセーブする（２３６）。そし
て、ＴＡの値を変数Ｔｔにセーブしておく（２３７）。
ジェスチャ代表座標テーブルのポインタを進めるため、
ｎの値を一つインクリメントする（２３８）。次のジェ
スチャの代表座標データを取得するためにジェスチャ代
表座標テーブルのポインタを一つインクリメントする
（２３９）。次に、ステップ２２７と同様の計算処理を
行い（２４０）、求まったＴｎ１，Ｔｎ２，Ｔｎ３，Ｔ
ｎ４の和を算出して、これをＴｃとしてセーブしておく
（２４１）。

【００３０】図１３に進み、先にセーブしておいたＴｔ
の値とＴｃの値を比較する（２４２）。Ｔｃの方がが小
さい場合、入力された記号の代表座標に対しては、今回
のジェスチャ代表座標の方が前回のそれよりも誤差が少
ないとみなし、現在のジェスチャ代表テーブルのジェス
チャ逆命令をセーブする（２４３）。そして、Ｔｃの値
をＴｔにセーブする（２４４）。これらをジェスチャ代
表座標テーブルに登録されているすべてのジェスチャに
対して繰り返す（２４５）。すべてのジェスチャ代表座
標テーブルに対しての処理を終えたならば、Ｔｔの値が
閾値の範囲内にあるか否かを調べる（２４６）。Ｔｔが
閾値の範囲内にあったならば、最終的にセーブされたジ
ェスチャ逆命令が選択される（２４７）。Ｔｔが閾値の
範囲外ならば、エラーコードをセットして（２４８）、
ジェスチャ命令を選択せずにリターンする。

【００３１】

【発明の効果】本発明によれば、ペンなどのポインティ
ングデバイスでジェスチャを用いて文字や図形などに対
してある操作を行った後、その操作の反対の操作を行う
ときは、今入力したジェスチャと同じ文字を入力順序を
逆に入力するだけでよく、両操作について別個のジェス
チャを覚える必要がない。さらに、このジェスチャの文
字の入力順序を逆に入力するという行為は、人間の生理
的動作に合致するものであり、ユーザにとって違和感が
なく、操作性が向上する。

【図面の簡単な説明】

【図１】本発明を適用するコンピュータ装置の外観図で
ある。

【図２】図１のコンピュータ装置の主要機能ブロック図
である。

【図３】図１のコンピュータ装置のハードウエア構成例
を示すブロック図である。

【図４】実施例における、文字のコピー操作およびその
取消操作の方法の説明図である。

【図５】実施例における、文字の拡大操作および縮小操
作の方法の説明図である。

【図６】実施例における、図形の拡大操作および縮小操
作の方法の説明図である。

【図７】実施例における、登録されたジェスチャの説明
図である。

【図８】実施例におけるジェスチャー認識処理の一部の
フローチャートである。

【図９】実施例におけるジェスチャー認識処理の一部の
フローチャートである。

【図１０】実施例におけるジェスチャー認識処理の一部
のフローチャートである。

【図１１】実施例におけるジェスチャー認識処理の一部
のフローチャートである。

【図１２】実施例におけるジェスチャー認識処理の一部
のフローチャートである。

【図１３】実施例におけるジェスチャー認識処理の一部
のフローチャートである。

【符号の説明】

２１…入力装置、２２…座標解析処理、２３…逆方向認
識処理、２４…ジェスチャ記憶部、２１…画面表示装置

Claims (3)

【特許請求の範囲】
1. 【請求項１】ペン入力手段を備えた情報処理装置におい
   て、複数の操作に対して予め定められた固有の記号をペ
   ンの軌跡で指定して所望の操作を指示するペン入力操作
   方法であって、 相反する操作に対して同一の記号を割り当てるととも
   に、該同一の記号の入力順序によって当該相反する操作
   を識別するようにしたことを特徴とするペン入力操作方
   法。
2. 【請求項２】前記記号は一筆書きのできる記号とし、前
   記相反する操作についてその書く方向を異ならせたこと
   を特徴とする請求項１記載のペン入力操作方法。
3. 【請求項３】ペン入力手段を備えた情報処理装置におい
   て、 前記ペン入力手段により入力された記号に対して、ペン
   の軌跡を表わす複数の代表座標点を入力順に抽出する代
   表座標点抽出手段と、 複数の操作のうち、相反する操作の一方に対してのみ固
   有の記号を割り当て、そのペンの軌跡を表わす代表座標
   点を正順に登録しておく記号登録手段と、 前記代表座標点抽出手段により得られた代表座標点を、
   前記登録された複数の記号の代表座標点と、正順および
   逆順に照合することにより、前記入力手段から指示され
   た操作が前記複数の操作およびその相反する操作のうち
   のいずれの操作であるかを特定する照合手段とを備えた
   ことを特徴とする情報処理装置。