JP2014106962A - 瞳の動きを利用した命令入力装置及び命令入力方法 - Google Patents

瞳の動きを利用した命令入力装置及び命令入力方法 Download PDF

Info

Publication number
JP2014106962A
JP2014106962A JP2013128852A JP2013128852A JP2014106962A JP 2014106962 A JP2014106962 A JP 2014106962A JP 2013128852 A JP2013128852 A JP 2013128852A JP 2013128852 A JP2013128852 A JP 2013128852A JP 2014106962 A JP2014106962 A JP 2014106962A
Authority
JP
Japan
Prior art keywords
frequency
pupil
screen
movement
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013128852A
Other languages
English (en)
Other versions
JP6096069B2 (ja
Inventor
Seung Min Park
パク、スン、ミン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Publication of JP2014106962A publication Critical patent/JP2014106962A/ja
Application granted granted Critical
Publication of JP6096069B2 publication Critical patent/JP6096069B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】画面上でユーザーの目が指す地点を検出する方式に比べて誤謬率が非常に少ない、瞳の動きを利用した命令入力装置及び命令入力方法を提供する。
【解決手段】瞳の動きを利用した命令入力装置において、各物体の周波数に対応する命令を格納する情報格納部１０、各物体が当該周波数で動くように各物体を画面上に表示する表示部２０、時間帯別ユーザーの瞳の位置を検出する瞳位置検出部３０、上記瞳位置検出部が検出した時間帯別ユーザーの瞳の位置に基づいて周波数を検出する周波数検出部４０、及び上記情報格納部に格納されている各周波数に対応する命令に基づき、上記周波数検出部が検出した周波数に対応する命令を認識する制御部５０を含む。
【選択図】図１

Description

本発明は、瞳の動きを利用した命令入力装置及び命令入力方法に関し、より詳しくは、ユーザーの瞳の機械的な動きから検出した周波数に基づいて命令の入力を認識する技術に関する。
最近、人間の視線追跡技術を利用した多様なアプリケーションなどが開発されたり産業的に実施されたりしており、今後ともその応用方式は無限に拡散するものと予想される。併せて、視線追跡方式に対しては、特に視覚と関連した多様なデバイスが開発され、２次元的に視線を追跡する方式から３次元的に視線を追跡する方式に変化しており、上記の背景に応じて多様な３次元的視線追跡技術が開発されたり研究中であったりする。
３次元的視線追跡技術は、深さ方向（遠近）を含む視線追跡方式とも言い表すことができるが、これは、モニターのような平面上の視線の位置だけではなく、ユーザーの目からどれほど遠く離れた物体を見つめているかも共に把握することにより（すなわち、視線位置の遠近も把握することにより）、２次元座標で表現される視線の位置ではない３次元座標で表現可能な視線の位置を把握する方式を意味する。
このような視線追跡技術を利用して各種機器を制御する方法では、画面上でユーザーの視線が指す地点（位置）を検出した後、当該地点に設定されている命令に対応する動作を行う。
しかしながら、従来の機器制御方法は、具現化の複雑度が高く、且つ、誤謬確率の高い視線追跡技術を利用するため、機器制御の正確性を保証することができないという問題点がある。
上記のような従来技術の問題点を解決するため、本発明は、画面上で動く物体の周波数及びそれに対応する命令を格納し、上記物体を見つめる瞳の動きから検出した周波数を当該物体の周波数と比べ、検出した周波数が一定範囲に含まれる場合に上記命令の入力と判断することで、画面上でユーザーの視線が指す地点を検出する方式に比べて誤謬率が非常に少ない、瞳の動きを利用した命令入力装置及び命令入力方法を提供することにその目的がある。
上記目的を果たすための本発明の装置は、瞳の動きを利用した命令入力装置において、各物体の周波数に対応する命令を格納する情報格納部；各物体が当該周波数で動くように各物体を画面上に表示（display）する表示部；時間帯別ユーザーの瞳の位置を検出する瞳位置検出部；上記瞳位置検出部が検出した時間帯別ユーザーの瞳の位置に基づいて周波数を検出する周波数検出部；及び上記情報格納部に格納されている各周波数に対応する命令に基づき、上記周波数検出部が検出した周波数に対応する命令を認識する制御部；を含む。
また、上記目的を達成するための本発明の方法は、瞳の動きを利用した命令入力方法において、情報格納部が、各物体の周波数に対応する命令を格納する段階；表示部が、各物体が当該周波数で動くように各物体を画面上に表示する段階；瞳位置検出部が、時間帯別ユーザーの瞳の位置を検出する段階；周波数検出部が、上記検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出する段階；及び制御部が、上記情報格納部に格納されている各周波数に対応する命令に基づき、上記検出された周波数に対応する命令を認識する段階；を含む。
上記のような本発明は、画面上で動く物体の周波数及びそれに対応する命令を格納し、上記物体を見つめる瞳の動きから検出した周波数を当該物体の周波数と比べ、検出した周波数が一定範囲に含まれる場合に上記命令の入力と判断することにより、画面上でユーザーの視線が指す地点を検出する方式に比べて誤謬率が非常に少ないという効果がある。
図１は、本発明に係る瞳の動きを利用した命令入力装置に対する一実施例の構成図である。 図２ａないし図２ｃは、物体が所定の周波数を有するように各物体を画面上に表示する方式に対する一例示図である。 図２ａないし図２ｃは、物体が所定の周波数を有するように各物体を画面上に表示する方式に対する一例示図である。 図２ａないし図２ｃは、物体が所定の周波数を有するように各物体を画面上に表示する方式に対する一例示図である。 図３は、本発明に係る瞳の動きを利用した命令入力方法に対する一実施例のフロー図である。
以下、添付の図面を参照して、本発明による好ましい実施例を詳しく説明するようにする。
図１は、本発明による瞳の動きを利用した命令入力装置に対する一実施例の構成図である。
図１に示すように、本発明による瞳の動きを利用した命令入力装置は、情報格納部１０、表示部２０、瞳位置検出部３０、周波数検出部４０、及び制御部５０を含む。
上記の各構成要素などに関し、先ず、情報格納部１０は、各物体の周波数に対応する命令を格納する。この際、各物体は既設定された周波数とマッチングされており、各周波数は各命令とマッチングされている。
表示部２０は、制御部５０の制御の下、各物体が当該周波数で動くように各物体を画面上に表示する。この際、周波数の範囲は、瞳の動きから導出することが可能な０．０５Ｈｚ〜５Ｈｚが好ましい。
一般に、物体が機械的に（例えば、周期的繰り返し）動いているとき、ユーザー（運転者）が上記物体を見つめることになった場合には、瞳は上記物体の動きと類似に動く。したがって、各対象物の動き（周波数）が分かっているとき、瞳の動きを検出してその周波数を確認すれば、如何なる対象物を見つめているのかが分かることになる。
本発明は、画面上で動く物体が特定周波数を有するようにするため、図２ａないし図２ｃに示されたように下記の３つの方式を利用する。この際、画面上で動く物体は一つ以上である。
１）図２ａに示すように、画面上の一側に位置する物体２１０と他側に位置する物体２２０を周期的に互いに交替して見せる方式。したがって、ユーザーの瞳は、周期的に一側の物体２１０と他側の物体２２０を交替して見つめることになり周波数検出が可能である。
２）図２ｂに示すように、画面上で特定物体の動きが正弦波形（sine wave）を有するように連続的に動く方式。
３）図２ｃに示すように、画面上で特定物体の動きが三角波形（triangular wave）を有するように連続的に動く方式。
次に、瞳位置検出部３０は、時間帯別ユーザーの瞳の位置、すなわち、ユーザーの瞳の動きを検出する。この際、瞳位置検出部３０は、「Adaboost」アルゴリズムを通じて瞳の位置を検出することが好ましい。
一実施例として、瞳位置検出部３０は、顔領域検出器、類似度計算機、目位置計算機を含む。
先ず、顔領域検出器は、映像データの入力を受け、上記映像データで顔領域を検出して、その顔領域に該当する顔映像を類似度計算機へ伝達する。
この場合、類似度計算機は、顔領域検出器から伝達を受けた顔映像と瞳ディスクリプタを利用して瞳類似度を計算する。
そして、類似度計算機は、瞳類似度のうち瞳の位置に該当するピクセルを全ての確率に基づいて計算する。この際、瞳ディスクリプタは、データベースに格納されている。
次いで、瞳位置計算機は、類似度計算機で計算された瞳の位置に該当するピクセルが含まれた地点を利用して、ユーザーの瞳が実際に位置した地点の幾何学的な瞳の位置（例えば、瞳の３次元座標）を計算する。すなわち、瞳位置計算機は、カメラから両側瞳方向の角度と両側瞳の間の距離などを利用して幾何学的な瞳の位置を計算する。そして、瞳位置計算機は、計算された実際の幾何学的な瞳の位置に対する瞳の位置データを出力する。
次に、周波数検出部４０は、瞳位置検出部３０で検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出する。すなわち、周波数検出部４０は、unequally spaced FFT（Fast Fourier Transform）を利用して瞳の動きでDC（Direct Current）成分を除いた０．０５〜５Ｈｚの間のピーク値を検出する。
次に、制御部５０は、画面上で動く物体が所定の周波数を有するように表示部２０を制御する。
また、制御部５０は、瞳位置検出部３０で検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出するように周波数検出部４０を制御する。
また、制御部５０は、情報格納部１０に格納されている各周波数に対応する命令に基づいて、周波数検出部４０から検出された周波数に対応する命令を認識する。すなわち、制御部５０は、瞳の動きによる周波数を検出して当該周波数に対応する命令の入力及び入力された命令を判別する。
このような本発明は、入力装置を要する全ての機器に適用されることができ、本発明が適用される場合、目の動きによる周波数検出過程だけで容易に命令を入力することができる長所がある。
図３は、本発明による瞳の動きを利用した命令入力方法に対する一実施例のフロー図である。
先ず、情報格納部１０が、各物体の周波数に対応する命令を格納する（３０１）。
次に、表示部２０が、各物体が当該周波数で動くように各物体を画面上に表示する（３０２）。これにより、ユーザーは画面上の物体を見つめることになり、ユーザーの瞳は物体の動きに沿って移動する。
次に、瞳位置検出部３０が、時間帯別ユーザーの瞳の位置を検出する（３０３）。
次に、周波数検出部４０が、瞳位置検出部３０で検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出する（３０４）。
次に、制御部５０が、情報格納部１０に格納されている各周波数に対応する命令に基づいて、周波数検出部４０で検出された周波数に対応する命令を認識する（３０５）。
１０：情報格納部 ２０：表示部
３０：瞳位置検出部 ４０：周波数検出部
５０：制御部

Claims (10)

  1. 各物体の周波数に対応する命令を格納する情報格納部；
    各物体が当該周波数で動くように各物体を画面上に表示する表示部；
    時間帯別ユーザーの瞳の位置を検出する瞳位置検出部；
    上記瞳位置検出部が検出した時間帯別ユーザーの瞳の位置に基づいて周波数を検出する周波数検出部；及び
    上記情報格納部に格納されている各周波数に対応する命令に基づいて、上記周波数検出部が検出した周波数に対応する命令を認識する制御部；
    を含む瞳の動きを利用した命令入力装置。
  2. 上記制御部は、
    上記画面上の一側と他側で物体が周期的に交替して現われるように上記表示部を制御する、ことを特徴とする請求項１記載の瞳の動きを利用した命令入力装置。
  3. 上記制御部は、
    上記画面上で物体の動きが正弦波形（sine wave）を有するように上記表示部を制御する、ことを特徴とする請求項１記載の瞳の動きを利用した命令入力装置。
  4. 上記制御部は、
    上記画面上で物体の動きが三角波形（triangular wave）を有するように上記表示部を制御する、ことを特徴とする請求項１記載の瞳の動きを利用した命令入力装置。
  5. 上記制御部は、
    上記画面上で一つ以上の物体が当該周波数を有するように上記表示部を制御する、ことを特徴とする請求項１記載の瞳の動きを利用した命令入力装置。
  6. 情報格納部が、各物体の周波数に対応する命令を格納する段階；
    表示部が、各物体が当該周波数で動くように各物体を画面上に表示する段階；
    瞳位置検出部が、時間帯別ユーザーの瞳の位置を検出する段階；
    周波数検出部が、上記検出された時間帯別ユーザーの瞳の位置に基づいて周波数を検出する段階；及び
    制御部が、上記情報格納部に格納されている各周波数に対応する命令に基づいて、上記検出された周波数に対応する命令を認識する段階；
    を含む瞳の動きを利用した命令入力方法。
  7. 上記表示段階は、
    上記画面上の一側と他側で物体が周期的に交替して現われるように各物体を画面上に表示する、ことを特徴とする請求項６記載の瞳の動きを利用した命令入力方法。
  8. 上記表示段階は、
    上記画面上で物体の動きが正弦波形（sine wave）を有するように各物体を画面上に表示する、ことを特徴とする請求項６記載の瞳の動きを利用した命令入力方法。
  9. 上記表示段階は、
    上記画面上で物体の動きが三角波形（triangular wave）を有するように各物体を画面上に表示する、ことを特徴とする請求項６記載の瞳の動きを利用した命令入力方法。
  10. 上記表示段階は、
    上記画面上で一つ以上の物体が当該周波数を有するように各物体を画面上に表示する、ことを特徴とする請求項６記載の瞳の動きを利用した命令入力方法。
JP2013128852A 2012-11-27 2013-06-19 瞳の動きを利用した命令入力装置及び命令入力方法 Expired - Fee Related JP6096069B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120135334A KR101354321B1 (ko) 2012-11-27 2012-11-27 눈동자의 움직임을 이용한 명령 입력 장치 및 그 방법
KR10-2012-0135334 2012-11-27

Publications (2)

Publication Number Publication Date
JP2014106962A true JP2014106962A (ja) 2014-06-09
JP6096069B2 JP6096069B2 (ja) 2017-03-15

Family

ID=50269409

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013128852A Expired - Fee Related JP6096069B2 (ja) 2012-11-27 2013-06-19 瞳の動きを利用した命令入力装置及び命令入力方法

Country Status (5)

Country Link
US (1) US20140145949A1 (ja)
JP (1) JP6096069B2 (ja)
KR (1) KR101354321B1 (ja)
CN (1) CN103838368B (ja)
DE (1) DE102013209500B4 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101879387B1 (ko) * 2017-03-27 2018-07-18 고상걸 시선 방향 추적결과의 교정 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000010722A (ja) * 1998-06-18 2000-01-14 Mr System Kenkyusho:Kk 視線ユーザ・インタフェース装置、そのインタフェース方法、コンピュータ装置、その制御方法、およびプログラム記憶媒体
JP2008206830A (ja) * 2007-02-27 2008-09-11 Tokyo Univ Of Science 統合失調症診断装置及びプログラム
WO2009093435A1 (ja) * 2008-01-25 2009-07-30 Panasonic Corporation 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
WO2009150747A1 (ja) * 2008-06-13 2009-12-17 パイオニア株式会社 視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990021540A (ko) * 1997-08-30 1999-03-25 윤종용 눈의 시선각도를 이용한 입력장치
US6243076B1 (en) * 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
ES2258972T3 (es) * 2000-05-16 2006-09-16 Swisscom Mobile Ag Procedimiento y terminal para entrar instrucciones.
DE10121392A1 (de) 2001-05-02 2002-11-21 Bosch Gmbh Robert Vorrichtung zur Steuerung von Geräten mittels Blickrichtung
KR100520050B1 (ko) * 2003-05-12 2005-10-11 한국과학기술원 응시방향 기반의 머리착용형 컴퓨터 인터페이스 장치 및방법
DE102004005816B4 (de) 2004-02-06 2007-02-08 Audi Ag Kraftfahrzeug
FR2912274B1 (fr) * 2007-02-02 2009-10-16 Binocle Sarl Procede de commande a partir d'un signal oculaire volontaire, notamment pour une prise de vues
KR100960269B1 (ko) * 2008-10-07 2010-06-07 한국과학기술원 눈동자 시선 추정 장치 및 추정 방법
CN101477405B (zh) * 2009-01-05 2010-11-24 清华大学 基于左右视野两个频率刺激的稳态视觉诱发脑机接口方法
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
CN102087582B (zh) * 2011-01-27 2012-08-29 广东威创视讯科技股份有限公司 一种自动滚屏的方法及装置
US20130144537A1 (en) * 2011-12-03 2013-06-06 Neuro Analytics and Technologies, LLC Real Time Assessment During Interactive Activity

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000010722A (ja) * 1998-06-18 2000-01-14 Mr System Kenkyusho:Kk 視線ユーザ・インタフェース装置、そのインタフェース方法、コンピュータ装置、その制御方法、およびプログラム記憶媒体
JP2008206830A (ja) * 2007-02-27 2008-09-11 Tokyo Univ Of Science 統合失調症診断装置及びプログラム
WO2009093435A1 (ja) * 2008-01-25 2009-07-30 Panasonic Corporation 脳波インタフェースシステム、脳波インタフェース装置、方法およびコンピュータプログラム
WO2009150747A1 (ja) * 2008-06-13 2009-12-17 パイオニア株式会社 視線入力によるユーザーインターフェース装置、ユーザーインターフェース方法、ユーザーインターフェースプログラム、及びユーザーインターフェースプログラムが記録された記録媒体

Also Published As

Publication number Publication date
KR101354321B1 (ko) 2014-02-05
JP6096069B2 (ja) 2017-03-15
CN103838368B (zh) 2018-01-26
DE102013209500B4 (de) 2026-03-05
CN103838368A (zh) 2014-06-04
DE102013209500A1 (de) 2014-05-28
US20140145949A1 (en) 2014-05-29

Similar Documents

Publication Publication Date Title
JP7191714B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US9703373B2 (en) User interface control using gaze tracking
US11439473B2 (en) Surgical control apparatus, surgical control method, and program
US9264702B2 (en) Automatic calibration of scene camera for optical see-through head mounted display
US20210049360A1 (en) CONTROLLER GESTURES IN VIRTUAL, AUGMENTED, AND MIXED REALITY (xR) APPLICATIONS
US10168787B2 (en) Method for the target recognition of target objects
EP3079042B1 (en) Device and method for displaying screen based on event
US9727130B2 (en) Video analysis device, video analysis method, and point-of-gaze display system
RU2016113960A (ru) Наголовное устройство отображения и способ управления наголовным устройством отображения
US10466780B1 (en) Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
JP2019039988A5 (ja)
CN104182046A (zh) 眼控提醒方法、眼控图像显示方法及显示系统
CN116648683A (zh) 用于选择对象的方法和系统
KR101470243B1 (ko) 시선 검출 장치 및 그 시선 검출 방법
KR100916836B1 (ko) 지시형 제스처를 인식하는 방법 및 장치
van der Meulen et al. What are we missing? Adding eye-tracking to the hololens to improve gaze estimation accuracy
JP6144363B2 (ja) ３ｄビジュアルコンテンツの自動評価のための技術
US20160187990A1 (en) Method and apparatus for processing gesture input
CN113093907A (zh) 人机交互方法、系统、设备及存储介质
CN106155290A (zh) 利用视线追踪的菜单选择设备
US9465989B2 (en) User authentication apparatus and method using movement of pupil
JP6096069B2 (ja) 瞳の動きを利用した命令入力装置及び命令入力方法
CN103870146B (zh) 一种信息处理方法及电子设备
US11334151B2 (en) Display apparatus, display method, program, and non-transitory computer-readable information recording medium
Kar et al. Eye-gaze systems-an analysis of error sources and potential accuracy in consumer electronics use cases

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170215

R150 Certificate of patent or registration of utility model

Ref document number: 6096069

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees