JPH1049291A - ペン型入力装置の筆記軌跡検出方法及びペン型入力装置 - Google Patents
ペン型入力装置の筆記軌跡検出方法及びペン型入力装置Info
- Publication number
- JPH1049291A JPH1049291A JP22191596A JP22191596A JPH1049291A JP H1049291 A JPH1049291 A JP H1049291A JP 22191596 A JP22191596 A JP 22191596A JP 22191596 A JP22191596 A JP 22191596A JP H1049291 A JPH1049291 A JP H1049291A
- Authority
- JP
- Japan
- Prior art keywords
- pen
- acceleration
- axis
- axis direction
- writing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
誤検出する場合があった。そこで、ペン軸の傾斜角の変
化による影響を移動量演算前に除去する。 【解決手段】2個1組で互いにペン軸方向に離れて位置
する3組の加速度センサ1〜3を設ける。3組の加速度
センサ1〜3はそれぞれ各組ごとにペン座標系の各軸方
向の加速度を示す信号を2本ずつ出力する。3個の差動
増幅部51は各軸方向の2本の加速度を示す信号を入力
し、各組を構成する加速度センサ1〜3におけるペン先
端部8からの距離の比に応じて差動増幅してペン軸9の
傾斜角変化による加速度成分を除去する。
Description
先端部の筆記軌跡を検出するペン型入力装置の筆記軌跡
検出方法及びペン型入力装置、特にペン軸の傾斜角変化
による検出加速度に対する影響をなくすものである。
キーボード、マウス、デジタイザ、ライトペン及びタブ
レット等が用いられている。コンピュータ装置の小型化
に伴い、携帯端末装置のニーズが高まり利用者も年々増
加している。そこで、小型の入力装置が求められるよう
になった。
ーフェイスの点で限界があり、携帯端末装置の入力装置
としては実用性が低い。また、マウスはポインティング
デバイスとしては小型化が可能であるが、図形及び文字
等の入力には適さない。
はタブレットとペンを用いたペン型の入力装置が多く採
用されている。このタブレットを用いたペン型の入力装
置をさらに小型化しようとした場合にはタブレットの大
きさが問題となる。そこで、例えば特開平6-67799号公
報に掲載されたペン型のコンピュータ入力装置、特開平
7-84716号公報に掲載されたデータ入力装置、特開平7
-200127号公報に掲載された手書き入力装置、特開平6-
230886号公報に掲載されたペンシル型入力装置及び特開
平8-95697号公報に掲載された筆記ペン、筆記情報処理
方法及び加速度検出装置のようなタブレットレスの入力
装置が開発された。
のコンピュータ入力装置は加速度センサで移動方向と移
動距離を調べ、圧電振動ジャイロで加速度センサが検出
した移動方向及び移動距離のペン型のコンピュータ入力
装置のローテーションによる影響を補正している。さら
に、特開平7-84716号公報に掲載されたデータ入力装置
は互いに直角に配置された振動ジャイロからの極性及び
振幅を示す信号を基に装置の移動方向及び移動距離を検
出している。さらに、特開平7-200127号公報に掲載さ
れた手書き入力装置は2個の加速度センサからの信号を
基に装置の移動方向及び移動距離を求めている。さら
に、特開平6-230886号公報に掲載されたペンシル型入
力装置は2組の加速度センサをペン軸上の異なった位置
に設け、この2組の加速度センサからの出力を基に加速
度センサの取り付け位置による影響を補正したペン先端
部の移動方向及び移動距離を求めている。また、特開平
8-95697号公報に掲載された筆記ペン、筆記情報処理方
法及び加速度検出装置はペン軸をZsとするペン座標系
のXs軸方向の加速度及びYs軸方向の加速度をペン軸方
向に離れた2か所で検出しているが、ペン先端部の加速
度が傾斜角の変化により変化することを考慮していな
い。
く、例えばゲーム機に利用され、人体頭部の移動速度、
位置、姿勢等を検出するものであるが、特開平7-29424
0号公報に掲載された位置センサは、X軸方向,Y軸方
向及びZ軸方向の加速度を検出する加速度センサとX軸
周り,Y軸周り及びZ軸周りの角速度を検出するジャイ
ロを備え、これらが検出した加速度及び角速度基にスト
ラップダウン方式の演算を行って、頭部の移動速度、位
置、姿勢及び向きを検出している。
6-67799号公報に掲載されたペン型のコンピュータ入力
装置では、装置のローテーションによる影響を補正する
もので、装置がダイナミックな傾斜を伴う場合には補正
することができない。通常の筆記動作では装置のダイナ
ミックな傾斜を伴うので、検出結果が不正確になる場合
がある。
たデータ入力装置は手首の回転動作を検出して移動方向
及び移動距離を入力するものなので、図形等の入力には
適さない。
れた手書き入力装置では、装置の傾斜及び回転に対する
補正手段がないため、検出結果が不正確になる場合があ
る。
れたペンシル型入力装置はペン先端部を中心とした傾斜
運動により検出した加速度が影響を受けていることを考
慮していない。また、加速度センサが検出した加速度に
装置の回転角に対する成分が含まれていることを考慮し
ていないため移動距離の検出誤差が大きくなる場合があ
る。
筆記ペン、筆記情報処理方法及び加速度検出装置では、
加速度センサが検出する加速度が傾斜角の変化速度に応
じて変化することを考慮していないため、検出結果が不
正確になる場合がある。
た位置センサは、頭部の移動速度、位置、姿勢及び向き
を空間的に検出するものなので、複雑な演算処理を採用
しているが、ペン型入力装置では装置の小型化が要求さ
れているため、簡単な演算処理で正確に被筆記面上の移
動方向及び移動距離を検出しなければならない。
先端部に3個の加速度センサを設けることは設置スペー
スの関係で困難である。また、ペン先端部と加速度線差
が離れている場合、加速度センサはペン先端部を中心と
して傾斜運動により生じる加速度も拾うこととなる。こ
れは、加速度を基にペン先端部の軌跡を検出す場合に誤
検出の元となる。ここで、人間の筆記動作を検出してみ
ると、傾斜運動の加速度成分はペン先端部移動の加速度
成分に対して十分大きい場合が有り、無視すると検出誤
差を生じる場合がある。
されたものであり、小型の装置で正確な筆記入力を図る
ことを目的とする。
入力装置の筆記軌跡検出方法は、ペン軸をZs軸とした
ペン座標系(Xs,Ys,Zs)のXs軸,Ys軸及びZs軸
の各軸方向の加速度をペン軸方向に離れた2箇所で検出
し、検出した加速度を各軸方向毎にペン先端部から検出
箇所までの距離の比に応じて差動増幅してペン軸の傾斜
角変化による加速度成分を除去し、差動増幅後のペン座
標系(Xs,Ys,Zs)のXs軸方向,Ys軸方向及びZs
軸方向の加速度並びにXs軸周り,Ys軸周り及びZs軸
周りの回転角速度を基に差動増幅後のペン座標系(X
s,Ys,Zs)における加速度を重力加速度方向をZg軸
方向とした重力座標系(Xg,Yg,Zg)における加速
度に変換し、変換した重力座標系(Xg,Yg,Zg)の
加速度を基にペン先端部の筆記軌跡を検出して、装置の
傾斜及び装置の傾斜角の変化速度による加速度の影響を
ペン先端部の移動量検出前に除去する。
にペン軸方向に離れて位置する3組の加速度センサと3
個の差動増幅部を有し、3組の加速度センサはそれぞれ
各組ごとにペン軸をZs軸としたペン座標系(Xs,Y
s,Zs)のXs軸方向,Ys軸方向及びZs軸方向の加速
度を示す信号を2本ずつ出力し、3個の差動増幅部はそ
れぞれ各組の加速度センサが出力した各方向の2本の加
速度を示す信号を入力し、各組を構成する加速度センサ
におけるペン先端部からの距離の比に応じて差動増幅し
てペン軸の傾斜角変化による加速度成分を除去し、ペン
軸の傾斜角変化による加速度成分を除去した後のXs軸
方向,Ys軸方向及びZs軸方向の加速度並びにXs軸周
り,Ys軸周り及びZs軸周りの回転角速度を基にペン座
標系(Xs,Ys,Zs)における加速度を重力加速度方
向をZg軸方向とした重力座標系(Xg,Yg,Zg)にお
ける加速度に変換し、変換した重力座標系(Xg,Yg,
Zg)の加速度を基にペン先端部の筆記軌跡を検出す
る。
け、より正確にペン先端部の筆記軌跡を検出する。
比がどの組においても等しくなるように各加速度センサ
を配置して、組立て及び調整を簡単にする。
向及びZs軸方向の加速度を示す信号並びにXs軸周り,
Ys軸周り及びZs軸周りの回転角速度を示す信号のペン
先端部と被筆記面との摩擦による高周波成分を透過する
ハイパスフィルタを有し、ハイパスフィルタを経由した
加速度信号及び回転各速度信号のうちいずれか最初に高
周波成分を含んだ信号を基に筆記開始を判断し、ハイパ
スフィルタを経由した加速度信号及び回転各速度信号の
うちいずれか最後まで高周波成分を含んだ信号を基に筆
記終了を判断する。
s軸方向,Ys軸方向及びZs軸方向の加速度を基に算出
したペン先端部の移動方向及び移動距離から筆記開始か
ら終了までのペン先端部の筆記軌跡を抽出し、実際に筆
記されている筆記軌跡と、空間を移動している軌跡を分
離する。
が抽出したペン先端部の筆記軌跡を被筆記面に写像す
る。
抽出したペン先端部の筆記軌跡をZg軸方向の誤差が最
小になるように被筆記面に写像する。
ン座標系(Xs,Ys,Zs)の加速度からペン先端部を
中心として傾斜運動により生じる加速度成分を除去し、
傾斜運動により生じる加速度成分を除去した加速度とペ
ン座標系(Xs,Ys,Zs)の各軸Xg,Yg,Zg回りの
回転角速度を基にペン軸の傾斜角による影響を補正し、
重力座標系(Xg,Yg,Zg)におけるペン先端部の筆
記軌跡を正確に検出するものである。
の加速度センサと3個のジャイロと演算部を有する。加
速度センサの各組は、例えばそれぞれペン軸上に2個1
組で設けられ、各組ごとにペン座標系(Xs,Ys,Z
s)のXs軸方向、Ys軸方向及びZs軸方向の加速度を示
す信号を2本ずつ出力する。3個のジャイロはそれぞれ
Xs軸周り,Ys軸周り及びZs軸周りの回転角速度を検
出し、検出した回転角速度を示す信号を出力する。演算
部は3個の差動増幅部と初期傾斜角演算部と傾斜角変化
演算部と筆記中傾斜角演算部と座標変換演算部と移動量
演算部を備える。3個の差動増幅部はそれぞれXs軸方
向、Ys軸方向及びZs軸方向の加速度加速度を示す信号
を2本ずつ入力し、それぞれ各組を構成する加速度セン
サにおけるペン先端部からの距離の比に応じて差動増幅
してペン軸の傾斜角変化による加速度成分を除去する。
ここで、例えば加速度センサをペン型入力装置の上段と
中段に設け、ペン先部から上段に設けた加速度センサま
での距離と中段に設けた加速度センサまでの距離の比を
1:mとすると、上段に設けた加速度センサの出力を1
/(m+1)倍し、中段に設けた加速度センサの出力を
m/(m+1)倍し、中段に設けた加速度センサの出力
から上段に設けた加速度センサの出力を引くと、ペン軸
の傾斜角変化による加速度成分を除去することができ
る。
動増幅部が出力したペン座標系(Xs,Ys,Zs)の加
速度を基にペン軸の重力座標系(Xg,Yg,Zg)にお
ける傾斜角の初期値を演算する。傾斜角変化演算部は筆
記状態で3個のジャイロが検出した回転角速度を基にペ
ン軸の重力座標系(Xg,Yg,Zg)における傾斜角の
変化を演算する。筆記中傾斜角演算部は初期傾斜角演算
部が演算したペン軸の重力座標系(Xg,Yg,Zg)に
おける傾斜角の初期値と傾斜角変化演算部が演算したペ
ン軸の重力座標系(Xg,Yg,Zg)における傾斜角の
変化を基に、筆記中のペン軸の重力座標系(Xg,Yg,
Zg)における傾斜角を求める。座標変換演算部は筆記
中傾斜角演算部が検出した筆記中のペン軸の重力座標系
(Xg,Yg,Zg)における傾斜角を基に差動増幅部が
出力したペン座標系(Xs,Ys,Zs)による加速度を
重力座標系(Xg,Yg,Zg)による加速度に変換す
る。移動量演算部は座標変換演算部が変換した加速度を
基にペン先端部の移動方向及び移動距離を算出して、装
置の傾斜角及び傾斜角の変化による影響を補正した正確
な筆記入力を行う。
の組においても等しくなるように各加速度センサを配置
すると、各差動増幅部の増幅度を同じに設定でき、調整
などが容易になる。
態の判断にはイネーブルスイッチ等を用いても良いし、
加速度センサ及びジャイロからの信号の周波数成分を基
に判断するようにしても良い。例えば、ペン型入力装置
は加速度センサ及びジャイロからの信号の高周波成分
を、例えば10Hz近傍の周波数を境に透過するハイパスフ
ィルタを有する。加速度センサ等からの信号の高周波数
成分はペン先端部と被筆記面との摩擦によるもので、か
つ、これは10Hz近傍を境としているので、3個の加速度
センサ及び3個のジャイロからの信号のいずれからか上
記高周波成分を検出している間を筆記中と判断する。こ
れにより、操作間違いなどを防止でき正確に筆記の開始
および終了を検出できる。
で、例えば筆記軌跡抽出部とフィティング部を有するよ
うにしても良い。筆記軌跡抽出部は移動量演算部が算出
したペン先端部の移動方向及び移動距離から筆記開始か
ら終了までのペン先端部の筆記軌跡を抽出する。フィテ
ィング部は筆記軌跡抽出部が抽出したペン先端部の筆記
軌跡を被筆記面に写像して、被筆記面の傾斜による影響
を補正する。
が抽出したペン先端部の筆記軌跡をZg軸方法の誤差が
最小になるように被筆記面に写像するようにしても良
い。これにより、平面のパラメータを一つ少なくし、傾
斜補正にかかる時間を短縮し、応答を速くできる。
の構成図である。図に示すように、ペン型入力装置は加
速度センサ1a,1b,2a,2b,3a,3b、ジャ
イロ4a,4b,4c、演算部5、記憶部6及び電源部
7を有する。加速度センサ1a,2a,3aは、例えば
図2に示すようにペン型入力装置の上段部に設けられ、
それぞれペン軸7をZsau軸とした場合のXsau軸方向,
Ysau軸方向及びZsau軸方向の加速度を検出し、検出し
た加速度を示す信号を出力する。同様に、加速度センサ
1b,2b,3bは、ペン型入力装置の中段部に設けら
れ、それぞれペン軸7をZsal軸とした場合のXsal軸方
向,Ysal軸方向及びZsal軸方向の加速度を検出し、検
出した加速度を示す信号を出力する。加速度センサ2
a,2b,2cは、ピエゾ抵抗方式のもの、圧電方式の
もの又は静電容量方式のもののいずれでも良い。また、
ジャイロ4a,4b,4cは、ペン型入力装置の下段部
に設けられ、それぞれペン軸7をZsj軸とした場合のX
sj軸周り,Ysj軸周り及びZsj軸周りの回転角速度を検
出し、検出した回転角速度を示す信号を出力する。
点をペン先端部8に設けた座標系をペン座標系(Xs,
Ys,Zs)といい、加速度センサ1a,2a,3aの座
標系であってペン軸7をZsau軸とし原点をペン型入力
装置の上段部に設けた座標系を上段加速度座標系(Xsa
u,Ysau,Zsau)といい、加速度センサ1b,2b,
3bの座標系であってペン軸7をZsal軸とし原点をペ
ン型入力装置の中段部に設けた座標系を中段加速度座標
系(Xsal,Ysal,Zsal)といい、ジャイロ4a,4
b,4cの座標系であってペン軸7をZsj軸とし原点を
ペン型入力装置の下段部に設けた座標系をジャイロ座標
系(Xsj,Ysj,Zsj)という。これらペン座標系(X
s,Ys,Zs)、上段加速度座標系(Xsau,Ysau,Zs
au)、中段加速度座標系(Xsal,Ysal,Zsal)、ジ
ャイロ座標系(Xsj,Ysj,Zsj)はペン軸上の原点が
異なるだけで、Xs軸,Xsau軸,Xsal軸,Xsj軸は平
行であるとする。同様にYs軸,Ysau軸,Ysal軸,Ys
j軸は平行である。ここで、加速度センサ1aからペン
座標系(Xs,Ys,Zs)の原点のZs軸上の距離と加速
度センサ1bからペン座標系(Xs,Ys,Zs)の原点
のZs軸上の距離の比を、ma:1とする。同様に加速度
センサ2aからペン座標系(Xs,Ys,Zs)の原点の
Zs軸上の距離と加速度センサ2bからペン座標系(X
s,Ys,Zs)の原点のZs軸上の距離の比を、mb:1
とし、加速度センサ3aからペン座標系(Xs,Ys,Z
s)の原点のZs軸上の距離と加速度センサ3bからペン
座標系(Xs,Ys,Zs)の原点のZs軸上の距離の比
を、mc:1とする。また、重力加速度方向に伸びる軸
をZg軸とする座標系を重力座標系(Xg,Yg,Zg)と
いう。さらに、Xs軸,Ys軸及びZs軸とXg軸,Yg軸
及びZg軸とが成す角度をそれぞれφ,θ及びψとす
る。
51a〜51c、AD変換器52a〜52f、ローパス
フィルタ(以下「LPF」という。)53a〜53f、
静止判別部54、初期傾斜角演算部55、傾斜角変化演
算部56、傾斜角演算部57、座標変換演算部58、重
力加速度除去部59及び移動量演算部60を備える。差
動増幅部51a〜51cは、例えば図4に示すようにO
Pアンプ511を使った差動増幅回路からなる。図中、
入力電圧V1,V2と出力V0は次式で示す関係がある。
2a,2b,3a,3bの取付位置の距離の比を満たす
ように抵抗素子R1〜R4の値を定める。例えば加速度セ
ンサ1a,1bからの加速度信号を差動増幅する差動増
幅部51aの場合は、上段に設けた加速度センサ1aの
出力を1/(m+1)倍し、中段に設けた加速度センサ
1bの出力をm/(m+1)倍し、中段に設けた加速度
センサ1bの出力から上段に設けた加速度センサ1aの
出力を引くように抵抗素子R1〜R4の値を定め、ペン軸
9の傾斜角変化速度の影響による加速度成分を除去す
る。ここで、加速度センサ1a,1b,2a,2b,3
a,3bが出力にオフセットを持つ場合にはオフセット
を除去する回路を通す。また、加速度センサ1a,1
b,2a,2b,3a,3bの検出感度(加速度に対す
る出力電圧の比例係数)に差がある場合には、検出感度
の差を含めて差動増幅の係数mを決定する。差動増幅部
51a〜51cは、それぞれXsau軸の加速度及びXsal
軸方向の加速度,Ysau軸方向の加速度及びYsal軸方向
の加速度,Zsau軸の加速度及びZsal軸方向の加速度を
入力して、Xs軸方向の加速度,Ys軸方向の加速度,Z
s軸方向の加速度を示す信号を出力する。
動増幅部51a〜51c及びジャイロ4a〜4cからの
アナログ信号をデジタル信号に変換する。LPF53a
〜53fはペン先端部8と被筆記面との摩擦力により生
じる加速度センサ1a,1b,2a,2b,3a,3b
及びジャイロ3a,3b,3cからの信号の高周波成分
を遮断する。静止判断部54は差動増幅部51a〜51
c及びジャイロ4a〜4cからのアナログ信号を基にペ
ン型入力装置が静止状態か否かを判断する。例えば、上
記信号が全てゼロのときは静止状態である。
差動増幅部51a,51b,51cが出力したペン座標
系(Xs,Ys,Zs)での加速度を基にペン軸9の重力
座標系(Xg,Yg,Zg)おける傾斜角の初期値φ0,θ
0,ψ0を演算する。傾斜角変化演算部56は筆記状態で
3個のジャイロ4a,4b,4cが検出した回転角速度
を基にペン軸9の重力座標系(Xg,Yg,Zg)におけ
る傾斜角の変化Δφ,Δθ,Δψを演算する。傾斜角演
算部57は初期傾斜角演算部55が演算したペン軸9の
重力座標系(Xg,Yg,Zg)における傾斜角の初期値
φ0,θ0,ψ0と傾斜角変化演算部56が演算したペン
軸9の重力座標系(Xg,Yg,Zg)における傾斜角の
変化Δφ,Δθ,Δψを基に、筆記中のペン軸9の重力
座標系(Xg,Yg,Zg)における傾斜角φ,θ,ψを
求める。
検出した筆記中のペン軸9の重力座標系(Xg,Yg,Z
g)における傾斜角φ,θ,ψを基に差動増幅部51
a,51b,51cが出力したペン座標系(Xs,Ys,
Zs)による加速度を重力座標系(Xg,Yg,Zg)によ
る加速度に変換する。重力加速度除去部59は座標変換
演算部58が変換した加速度から重力加速度成分を除去
する。移動量演算部60は重力加速度除去部59が重力
加速度成分を除去した加速度を基にペン先端部8の移動
方向及び移動距離を算出する。
る。重力座標系(Xg,Yg,Zg)からペン座標系(X
s,Ys,Zs)への座標変換式は次式のようになる。
ら重力座標系(Xg,Yg,Zg)への座標変換式に変形
すると、次式のようになる。
(Xg,Yg,Zg)での座標(Xgal,Ygal,Zgal)
は、ペン先端部8の重力座標系(Xg,Yg,Zg)での
座標(Xgo,Ygo,Zgo)と点Plのペン座標系(Xs,
Ys,Zs)での座標(Lx,Ly,Lz)と傾斜角φ,
θ,ψから次式のようになる。
(Xgal,Ygal,Zgal)の重力座標系(Xg,Yg,Z
g)での加速度(Axgl,Aygl,Azgl)である。ここ
で、傾斜角φ,θ,ψも時間の関数であるので、次式を
得ることができる。
力座標系(Xg,Yg,Zg)のZg軸方向には重力が働
く。そこで、上式に重力加速度gを加えると、点Plに
働く見かけの重力座標系(Xg,Yg,Zg)の加速度
(Axgl,Aygl,Azgl)は次式のようになる。ここ
で、重力加速度gはg=9.80665(m/sec2)である。
設けたとすると、これらの式から加速度センサ1b,2
b,3bが検出するペン座標系(Xs,Ys,Zs)にお
ける加速度(Axsl,Aysl,Azsl)は、次式で表わす
ことができる。
点(o点)と点Plとを結ぶ直線上にはさらに3個の加速
度センサ1a,2a,3aを設けている。この座標を点
Pu(mLx,mLy,mLz)とすると、同様に点Puで
検出するペン座標系(Xs,Ys,Zs)における加速度
(Axsu,Aysu,Azsu)を次式で表わすことができ
る。
cを用いて、上段の加速度センサ1a,2a,3aが出
力したペン座標系(Xs,Ys,Zs)における加速度
(Axsu,Aysu,Azsu)の信号と中段の加速度センサ
1b,2b,3bが出力したペン座標系(Xs,Ys,Z
s)における加速度(Axsl,Aysl,Azsl)の信号を次
式のように差動増幅すると、ペン軸9の傾斜角変化によ
る加速度成分を除去し、ペン先端部8のペン座標系(X
s,Ys,Zs)における加速度(Axso,Ayso,Azso)
を求めることができる。
a,3bの設置位置は、ペン軸9上であることがより好
ましいが、上段の加速度センサ1a,2a,3aと中段
の加速度センサ1b,2b,3bとがある程度離れてい
れば、ペン型入力装置は細長い形状をしていることから
ペン軸9上でなくともほとんど誤差は無い。また、ペン
座標系(Xs,Ys,Zs)の原点から加速度センサ1a
までと加速度センサ1bまでの距離の比、ペン座標系
(Xs,Ys,Zs)の原点から加速度センサ2aまでと
加速度センサ2bまでの距離の比、ペン座標系(Xs,
Ys,Zs)の原点から加速度センサ3aまでと加速度セ
ンサ3bまでの距離の比が等しいと、設計及び調整が容
易になるが、これらの比がそれぞれ異なっても良い。し
たがって、例えば図6に示すように加速度センサ1a,
1b,2a,2b,3a,3bをペン軸9と平行な線上
に設けても良いし、図7に示すように加速度センサ1
a,1bと加速度センサ2a,2bと加速度センサ3
a,3bとをそれぞれペン軸と平行な異なった直線上に
等しい距離の比で設けても良い。ここで、距離の比が異
なる場合を考えると、ペン先端部8のペン座標系(X
s,Ys,Zs)における加速度(Axso,Ayso,Azso)
を表わす式は次式のようになる。
けるペン先端部8の加速度(Axgo,Aygo,Azgo)は
次式のようになる。
を求めるのに必要な傾斜角(φ,θ,ψ)は、初期傾斜
角演算部55で静止状態におけるペン先端部8のペン座
標系(Xs,Ys,Zs)の加速度(Axs,Ays,Azs)
からペン軸9の初期傾斜角(φ0,θ0,ψ0)を求め、
傾斜角変化演算部56でジャイロ4a,4b,4cが検
出した回転角速度(P,Q,R)からペン軸9の傾斜角
の変化分(Δφ,Δθ,Δψ)を求め、傾斜角演算部5
7でこれらを基にして求める。
座標系(Xg,Yg,Zg)における加速度(Axgo,Ayg
o,Azgo)から重力加速度成分を除去した後に移動量演
算部60で2回積分することにより、ペン先端部8の移
動方向及び移動距離を検出し、ペン先端部8の軌跡を求
める。
さらに詳しく説明する。
標系(Xg,Yg,Zg)における加速度(Axgo,Ayg
o,Azgo)は(Axgo,Aygo,Azgo)=(0、0、
0)なので、差動増幅後のペン座標系(Xs,Ys,Z
s)の加速度信号(Axso,Ayso,Azso)は重力加速度
成分のみが残り次式のようになる。
θ0が求まる。ここで、静止状態か否かは静止判別部5
4においてデジタル変換後の加速度信号及び回転角速度
信号の時間変化を監視することにより行なう。
本の方程式が立てられているので、重力加速度gについ
ても未知数として取り扱うことができる。したがって、
重力加速度gの値を定義しなくとも初期傾斜角φ0,θ0
を求めることができる。また、重力加速度gの値を演算
し、演算した重力加速度gの値を監視して演算結果の要
否の判定を行ない、演算した値が大きく変化した場合に
は警告を発するようにしても良い。また、初期傾斜角ψ
0を0にリセットする。これにより、Xg軸はXs軸方向
の加速度センサ1a,1bの傾斜方向にとられることに
なる。
軸周りの回転角速度(P,Q,R)と傾斜角変化(Δ
ψ,Δθ,Δφ)の関係は次式で示すようになる。
8のフローチャートを参照して説明する。
軸周り,Ysj軸周り,Zsj軸周りの回転角速度を示す信
号を出力し、加速度センサ1a,1b,2a,2b,3
a,3bはそれぞれXsu軸方向の加速度を示す信号,X
sl軸方向の加速度を示す信号,Ysu軸方向の加速度を示
す信号,Ysl軸方向の加速度を示す信号,Zsu軸方向の
加速度を示す信号,Zsl軸方向の加速度を示す信号Axs
u,Axsl,Aysu,Aysl,Azsu,Azslを出力する。差動増
幅部51aはXsu軸方向の加速度を示す信号とXsl軸方
向の加速度を示す信号を入力し、ペン軸9の傾斜角変化
による加速度成分を除去し、ペン先端部8のXs軸方向
の加速度を示す信号Axsoを出力する。同様に、差動増
幅部51bはYsu軸方向の加速度を示す信号とYsl軸方
向の加速度を示す信号を入力し、ペン軸9の傾斜角変化
による加速度成分を除去し、ペン先端部8のYs軸方向
の加速度を示す信号Aysoを出力し、差動増幅部51c
はZsu軸方向の加速度を示す信号とZsl軸方向の加速度
を示す信号を入力し、ペン軸9の傾斜角変化による加速
度成分を除去し、ペン先端部8のZs軸方向の加速度を
示す信号Azsoを出力する。このように、移動量演算前
にペン軸9の傾斜角変化による加速度成分を除去するの
で、加速度センサ1a,1b,2a,2b,3a,3b
の取付位置をペン先端部8にしなくともペン軸9の傾斜
角変化による加速度成分を除去でき、正確な筆跡検出が
できるとともに、容易に組立て及び調整ができる。
b,52cを介した差動増幅部51a,51b,51c
からの加速度信号及びAD変換器52d,52e,52
fを介したジャイロ4a,4b,4cからの回転角速度
信号を調べ、ペン型入力装置が静止状態か否かを判別す
る(ステップS1)。静止判別部54が静止状態である
と判別すると、初期傾斜角演算部45は差動増幅部51
a,51b,51cからのXs軸方向の加速度Axso、Y
s軸方向の加速度Ayso、Zs軸方向の加速度Azsoを入力
し、ペン軸9の重力座標系における傾斜角の初期値φ
0,θ0及びψ0を算出する(ステップS2)。
と判別すると、傾斜角変化演算部46は3個のジャイロ
4a,4b,4cが検出した回転角速度を基にペン軸9
の重力座標系(Xg,Yg,Zg)における傾斜角の変
化Δφ,Δθ及びΔψを演算する(ステップS3)。傾
斜角演算部57は、上記のように初期傾斜角演算部55
が演算したペン軸9の傾斜角の初期値φ0,θ0,ψ0と
傾斜角変化演算部56が演算したペン軸9の傾斜角
(φ,θ,ψ)の変化を基に、筆記中のペン軸9の傾斜
角(φ,θ,ψ)を求める(ステップS4)。座標変換
演算部58は傾斜角演算部57が検出した筆記中の傾斜
角(φ,θ,ψ)を基に差動増幅部51a,51b,5
1cからの加速度(Axso,Ayso,Azso)を重力座標
系(Xg,Yg,Zg)による加速度(Axgo,Aygo,Az
go)に変換する(ステップS5)。重力加速度除去部5
9は座標変換演算部58からの重力座標系(Xg,Yg,
Zg)による加速度(Axgo,Aygo,Azgo)から重力加
速度性文を除去する(ステップS6)。移動量演算部6
0は重力加速度除去部59が重力加速度成分を除去した
ペン先端部8における加速度(Axgo,Aygo,Azgo)
を2回積分してペン先端部8の移動方向及び移動距離を
算出する(ステップS7)。ペン型入力装置は上記動作
(ステップS3〜S7)を静止判別部54が再び静止状
態であると判別するまで繰り返し、ペン先端部8の筆跡
を検出する(ステップS8)。このようにペン型入力装
置はペン軸9の傾斜による加速度の影響及びペン軸9の
傾斜角変化の速度と加速度センサ1a,1b,2a,2
b,3a,3bの取付位置による加速度の影響を移動量
演算前に無くすので、移動量演算後に補正する場合に比
べ正確な筆記検出をすることができるとともに演算速度
を向上できる。
うに演算部5aにハイパスフィルタ(以後「HPF」と
いう。)61a〜61f、筆記中判別部62、筆記軌跡
抽出部63及びフィティング部64を備えても良い。
にして差動増幅部51a,51b,51c及びジャイロ
4a,4b,4cからの信号の摩擦力による高周波数成
分を抽出する。筆記中判別部62はHPF61a〜61
fを経由した3個の差動増幅部51a,51b,51c
及び3個のジャイロ4a,4b,4cからの信号のうち
いずれか最初に高周波成分を含んだ信号を基に筆記開始
を判断し、HPF61a〜61fを経由した3個の差動
増幅部51a,51b,51c及び3個のジャイロ4
a,4b,4cからの信号のうちいずれか最後まで高周
波成分を含んだ信号を基に筆記終了を判断する。例えば
ペン先端部8を鉛筆の芯で構成し、紙に対して筆記した
場合の加速度信号の波形を図10に示す。図に示すよう
に筆記加速度成分は中心周波数10Hz以下の比較的に周波
数が低い部分に表れ、ペン先端部8と被筆記面との摩擦
による成分は100Hz以上の比較的周波数が高い部分に表
れる。そこで、10Hz以上の周波数成分をHPF61a〜
61fで抽出し、筆記中判別部62はHPF61a〜6
1fが抽出した信号を予め定めた閾値と比較することに
より、筆記中か否かを判断する。ここで、図11に一筆
書きで円を描いた場合にHPF61a〜61fを通過し
た信号の代表的なデータの例を示した。図から分かるよ
うに、筆記開始の際の筆記方向及び、筆記終了の際の筆
記方向により加速度センサ1a,1b,2a,2b,3
a,3b及びジャイロ4a,4b,4cからの出力信号
の始まる時間及び、終わる時間に相違がある。そのた
め、ある特定のセンサからの出力信号を任意に取り出し
て筆記中信号を得ようとした場合には、前記筆記方向に
より再現性のある信号を得ることができない。そこで、
筆記中判別部62はいずれか最初に高周波成分を含んだ
信号を基に筆記開始を判断し、いずれか最後まで高周波
成分を含んだ信号を基に筆記終了を判断することで、再
現性を良くし、かつ精度を向上させることが可能にな
る。
の判別結果を基に移動量演算部60が算出したペン先端
部8の移動方向及び移動距離から筆記開始から終了まで
のペン先端部8の軌跡を抽出し、記憶部6に記憶する。
ペン先端部8の軌跡からこの筆記中信号に対応した時間
の軌跡だけを切り出すことで、実際に筆記されている筆
記軌跡と、空間を移動している軌跡を分離することがで
きる。
を用いて筆記軌跡抽出部63が抽出したペン先端部8の
軌跡から被筆記面を特定し、ペン先端部8の軌跡を被筆
記面に写像する。例えば図12(a)に示す筆記軌跡の
3次元データ(Xi,Yi,Zi)を被筆記面の表わす式
aX+bY+cZ+d=0に代入し、aXi+bYi+c
Zi+d=δiとし、この誤差の二乗和Σ(δi)2が最小
になるように被筆記面(a,b,c,d)を特定する。
ここで、図12(b)に示すようにこの誤差δiは座標
(Xi,Yi,Zi)と被筆記面との最短距離となる。こ
のように、ペン先端部8の軌跡を被筆記面に写像するこ
とにより、被筆記面が傾いていた場合であっても正確に
ペン先端部8の被筆記面上の移動距離を入力することが
できる。ペン型入力装置の場合基本的には被筆記面に書
かれた軌跡を認識できれば良く、3次元データを必要と
しない場合が多い。また、3次元データの状態ではデー
タ量が多く、表示しても却って見にくくなる場合があ
る。そこで、どのような傾斜面に書かれた場合であって
も、筆記軌跡から被筆記面を特定し、フィティングする
ことで被筆記面上の筆記軌跡を再現するようにしたもの
である。
4は座標(Xi,Yi,Zi)と被筆記面との最短距離と
なるようにしてペン先端部8の軌跡を被筆記面に写像し
たが、例えば図13に示すように座標(Xi,Yi,Z
i)と被筆記面とのZg軸方向の距離が最短になるよう
にしても良い。例えば被筆記面を表わす式(a1)X+
(b1)Y+Z+d1=0とし、筆記軌跡の3次元データ
(Xi,Yi,Zi)を上式に代入し、(a1)×(Xi)
+(b1)×(Yi)+(Zi)+(d1)=δiとし、こ
の誤差の二乗和Σ(δi)2が最小になるように被筆記面
(a1,b1,d1)を特定する。このように、パラメー
タを一つ減らすことにより演算時間を短縮することがで
きる。この場合、被筆記面が垂直の場合に誤差が生じる
が通常のペン型入力装置の使用状況において被筆記面を
垂直にすることはほとんど無い。
1a,1b,2a,2b,3a,3bからの加速度を示
す信号を差動増幅した後にデジタル変換しているが、図
14に示すようにデジタル変換した後に差動増幅するよ
うにしても良い。
標系の各軸方向の加速度をそれぞれペン軸方向に離れた
2箇所で検出し、検出した加速度を各軸方向毎にペン先
端部から検出箇所までの距離の比に応じて差動増幅して
ペン軸の傾斜角変化による加速度成分を除去し、差動増
幅後のペン座標系の各軸方向の加速度及びペン座標系の
各軸軸周りの回転角速度を基に差動増幅後のペン座標系
の各軸方向の加速度を重力座標系の各軸方向の加速度に
変換し、変換した重力座標系の各軸方向の加速度を基に
ペン先端部の軌跡を検出して、装置の傾斜及び装置の傾
斜角の変化速度による加速度の影響をペン先端部の移動
量検出前に除去するので、正確に筆記軌跡を検出でき
る。
て位置する3組の加速度センサの各組ごとにXs軸方
向,Ys軸方向及びZs軸方向の加速度を示す信号を2本
ずつ出力し、3個の差動増幅部はそれぞれ各組の加速度
センサが出力した各方向の2本の加速度を示す信号を入
力し、各組を構成する加速度センサにおけるペン先端部
からの距離の比に応じて差動増幅してペン軸の傾斜角変
化による加速度成分を除去して、ペン軸の傾斜角変化速
度による加速度センサの検出結果に対する影響を移動量
変換前に無くすので、正確な筆記検出をすることができ
るとともに移動量演算後に補正する場合に比べ演算速度
を向上できる。
成分を除去した後のペン座標系(Xs,Ys,Zs)にお
けるXs軸方向,Ys軸方向及びZs軸方向の加速度並び
にXs軸周り,Ys軸周り及びZs軸周りの回転角速度を
基にペン座標系(Xs,Ys,Zs)における加速度を重
力加速度方向をZg軸方向とした重力座標系(Xg,Y
g,Zg)における加速度に変換し、変換した重力座標系
(Xg,Yg,Zg)の加速度を基にペン先端部の軌跡を
検出するので、ペン軸の傾斜による影響をなくすことが
でき、小型の装置で正確な筆記入力をすることができ
る。
Zs軸方向に互いに離れた位置に設けたので、より正確
に軌跡を検出できる。
比が各加速度センサの組において等しくなるように各加
速度センサを配置したので、組立て及び調整を簡単にす
ることができる。
向及びZs軸方向の加速度を示す信号並びにXs軸周り,
Ys軸周り及びZs軸周りの回転角速度を示す信号のペン
先端部と被筆記面との摩擦による高周波成分を基に筆記
開始および筆記終了を判断するので、筆記面上に筆記中
かまたは空中を移動中かを判断でき、正確に筆記中か否
かを検出できる。
向及びZs軸方向の加速度を基に算出したペン先端部の
移動方向及び移動距離から筆記開始から終了までのペン
先端部の軌跡を抽出し、実際に筆記されている筆記軌跡
と、空間を移動している軌跡を分離するので、重力加速
度方向の加速度を積分する必要が無く、演算速度を速め
ることができる。
跡を被筆記面に写像するので、どのような傾斜面に書か
れた場合であっても、筆記軌跡から被筆記面を特定し、
被筆記面上の筆記軌跡を再現することができる。
をZg軸方向の誤差が最小になるように被筆記面に写像
するので、パラメータを一つ減らして演算時間を短縮す
ることができる。
である。
る。
図である。
た場合の配置図である。
ある。
である。
る。
合の説明図である。
ィングした場合の説明図である。
成図である。
Claims (8)
- 【請求項1】 ペン軸をZs軸としたペン座標系(Xs,
Ys,Zs)のXs軸,Ys軸及びZs軸の各軸方向の加速
度をそれぞれペン軸方向に離れた2箇所で検出し、検出
した加速度を各軸方向毎にペン先端部から検出箇所まで
の距離の比に応じて差動増幅してペン軸の傾斜角変化に
よる加速度成分を除去し、差動増幅後のペン座標系(X
s,Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向の
加速度並びにXs軸周り,Ys軸周り及びZs軸周りの回
転角速度を基に差動増幅後のペン座標系(Xs,Ys,Z
s)における加速度を重力加速度方向をZg軸方向とした
重力座標系(Xg,Yg,Zg)における加速度に変換
し、変換した重力座標系(Xg,Yg,Zg)の加速度を
基にペン先端部の筆記軌跡を検出することを特徴とする
ペン型入力装置の筆記軌跡検出方法。 - 【請求項2】 ペン軸をZs軸としたペン座標系(Xs,
Ys,Zs)のXs軸方向,Ys軸方向及びZs軸方向の加
速度並びにXs軸周り,Ys軸周り及びZs軸周りの回転
角速度を基にペン座標系(Xs,Ys,Zs)における加
速度を重力加速度方向をZg軸方向とした重力座標系
(Xg,Yg,Zg)における加速度に変換し、変換した
重力座標系(Xg,Yg,Zg)の加速度を基にペン先端
部の筆記軌跡を検出するペン型入力装置において、2個
1組でペン軸方向に互いに離れて位置する3組の加速度
センサと3個の差動増幅部を有し、3組の加速度センサ
はそれぞれ各組ごとにXs軸方向,Ys軸方向及びZs軸
方向の加速度を示す信号を2本ずつ出力し、3個の差動
増幅部はそれぞれ各組の加速度センサが出力した各方向
の2本の加速度を示す信号を入力し、各組を構成する加
速度センサにおけるペン先端部からの距離の比に応じて
差動増幅してペン軸の傾斜角変化による加速度成分を除
去することを特徴とするペン型入力装置。 - 【請求項3】 上記各加速度センサをZs軸上に設けた
請求項2記載のペン型入力装置。 - 【請求項4】 上記各組の加速度センサまでの距離の比
がどの組においても等しくなるように各加速度センサを
配置した請求項2記載のペン型入力装置。 - 【請求項5】 差動増幅後のXs軸方向,Ys軸方向及び
Zs軸方向の加速度を示す信号並びにXs軸周り,Ys軸
周り及びZs軸周りの回転角速度を示す信号のペン先端
部と被筆記面との摩擦による高周波成分を透過するハイ
パスフィルタを有し、ハイパスフィルタを経由した加速
度信号及び回転各速度信号のうちいずれか最初に高周波
成分を含んだ信号を基に筆記開始を判断し、ハイパスフ
ィルタを経由した加速度信号及び回転各速度信号のうち
いずれか最後まで高周波成分を含んだ信号を基に筆記終
了を判断する請求項2記載のペン型入力装置。 - 【請求項6】 差動増幅後のXs軸方向,Ys軸方向及び
Zs軸方向の加速度を基に算出したペン先端部の移動方
向及び移動距離から筆記開始から終了までのペン先端部
の筆記軌跡を抽出する筆記軌跡抽出部を有する請求項5
記載のペン型入力装置。 - 【請求項7】 上記筆記軌跡抽出部が抽出したペン先端
部の筆記軌跡を被筆記面に写像するフィティング部を有
する請求項6記載のペン型入力装置。 - 【請求項8】 上記フィティング部は筆記軌跡抽出部が
抽出したペン先端部の筆記軌跡をZg軸方向の誤差が最
小になるように被筆記面に写像する請求項7記載のペン
型入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22191596A JP3655021B2 (ja) | 1996-08-06 | 1996-08-06 | ペン型入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22191596A JP3655021B2 (ja) | 1996-08-06 | 1996-08-06 | ペン型入力装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1049291A true JPH1049291A (ja) | 1998-02-20 |
| JP3655021B2 JP3655021B2 (ja) | 2005-06-02 |
Family
ID=16774160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22191596A Expired - Fee Related JP3655021B2 (ja) | 1996-08-06 | 1996-08-06 | ペン型入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3655021B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003029915A (ja) * | 2001-04-12 | 2003-01-31 | Samsung Electronics Co Ltd | コンピュータ用電子ペンデータ入力装置及び座標測定方法 |
| JP2006314775A (ja) * | 2005-04-12 | 2006-11-24 | Olympus Corp | 内視鏡装置 |
| JP2007058815A (ja) * | 2005-08-26 | 2007-03-08 | Sharp Corp | 動作判別装置、動作判別プログラムおよびコンピュータ読取り可能な記録媒体 |
| JP2018077899A (ja) * | 2013-07-17 | 2018-05-17 | シュタビロ インターナツィオナール ゲーエムベーハーSTABILO International GmbH | 電子ペン |
-
1996
- 1996-08-06 JP JP22191596A patent/JP3655021B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003029915A (ja) * | 2001-04-12 | 2003-01-31 | Samsung Electronics Co Ltd | コンピュータ用電子ペンデータ入力装置及び座標測定方法 |
| JP2006314775A (ja) * | 2005-04-12 | 2006-11-24 | Olympus Corp | 内視鏡装置 |
| JP2007058815A (ja) * | 2005-08-26 | 2007-03-08 | Sharp Corp | 動作判別装置、動作判別プログラムおよびコンピュータ読取り可能な記録媒体 |
| JP2018077899A (ja) * | 2013-07-17 | 2018-05-17 | シュタビロ インターナツィオナール ゲーエムベーハーSTABILO International GmbH | 電子ペン |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3655021B2 (ja) | 2005-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102915130B (zh) | 移动轨迹校正方法及移动轨迹产生方法 | |
| JP4033929B2 (ja) | ペン型入力装置 | |
| JPH09274534A (ja) | ペン型入力装置 | |
| JPH09230997A (ja) | ペン型入力装置 | |
| JPH0644005A (ja) | 座標入力装置 | |
| JP2009223839A (ja) | ペン型入力装置及び手書き入力方法 | |
| JP3696365B2 (ja) | ペン型入力装置 | |
| JP3560418B2 (ja) | ペン型入力装置 | |
| JP3655021B2 (ja) | ペン型入力装置 | |
| JP3327056B2 (ja) | ペン型入力装置 | |
| JP3710603B2 (ja) | ペン型入力装置 | |
| JPH10307676A (ja) | ペン型入力装置 | |
| JP3678386B2 (ja) | ペン型入力装置 | |
| JP3505057B2 (ja) | ペン型入力装置 | |
| JPH0667799A (ja) | ペン型のコンピュータ入力装置 | |
| JP3506878B2 (ja) | ペン型入力装置 | |
| JP3841953B2 (ja) | ペン型入力装置及び文字認識方法 | |
| JP3841940B2 (ja) | ペン型入力装置 | |
| JP3841952B2 (ja) | ペン型入力装置 | |
| JPH10124245A (ja) | ペン型入力装置 | |
| JP3360607B2 (ja) | 筆記具型座標入力装置 | |
| JPH1195915A (ja) | ペン型入力装置 | |
| JPH10293647A (ja) | ペン型入力装置 | |
| JP3712835B2 (ja) | ペン型入力装置 | |
| MIYAGAWA et al. | Handwritten pattern reproduction using 3d inertial measurement of handwriting movement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050302 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090311 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100311 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110311 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120311 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130311 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140311 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |