JP3209761B2 - 焦点調節装置 - Google Patents

焦点調節装置

Info

Publication number
JP3209761B2
JP3209761B2 JP24349891A JP24349891A JP3209761B2 JP 3209761 B2 JP3209761 B2 JP 3209761B2 JP 24349891 A JP24349891 A JP 24349891A JP 24349891 A JP24349891 A JP 24349891A JP 3209761 B2 JP3209761 B2 JP 3209761B2
Authority
JP
Japan
Prior art keywords
frequency component
capture area
filter
value
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP24349891A
Other languages
English (en)
Other versions
JPH0583614A (ja
Inventor
伸弘 竹田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP24349891A priority Critical patent/JP3209761B2/ja
Publication of JPH0583614A publication Critical patent/JPH0583614A/ja
Priority to US08/490,312 priority patent/US5565917A/en
Priority to US08/706,746 priority patent/US6037980A/en
Application granted granted Critical
Publication of JP3209761B2 publication Critical patent/JP3209761B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、画像のぼけ量を検出し
焦点調節動作を行なう焦点調整装置に関するものであ
る。
【0002】
【従来の技術】図5は被写体を撮像する固体撮像素子の
出力より画像のぼけ量を検出し、自動的に合焦させる機
能を持った自動焦点機能付電子スチルカメラを示す。
【0003】図5において、1はレンズユニット、2は
レンズ駆動モータ、3は絞り、4は絞り駆動回路であ
る。5は被写体像を電気信号に変換する固体撮像素子、
6は固体撮像素子を駆動するための固体撮像素子駆動回
路である。7は固体撮像素子5の出力をA/D変換する
A/D変換回路である。8はA/D変換回路7の出力を
記憶するメモリである。9はぼけ量をあらわすES値
(後述する)を算出するESフィルタである。10はシ
ステム全体を制御するシステム制御回路である。11は
メモリ8の出力に対して、γ変換,帯域制限等の処理を
行う撮像信号処理回路である。12は撮像信号処理回路
11の出力をD/A変換するD/A変換回路である。1
3はD/A変換回路12の出力をFM変調するFM変調
回路である。14はFM変調回路13の出力を電流増幅
するRECアンプである。15は磁気ヘッド、16は記
録媒体である磁気シート、17は磁気シート16を回転
させるモータ、18はモータの回転を安定させるための
モータサーボ回路である。19は被写体の明るさを測定
するための測光素子である。20はレリーズスイッチで
ある。このスイッチの投入とともに一連の撮影動作が開
始される。
【0004】図6は図1図示固体撮像素子5を示す。
【0005】図6において、501はインターライン転
送型固体撮像素子である。502は光を電荷に変えて蓄
積するフォトダイオード、503はフォトダイオードで
発生した電荷を垂直方向に転送する垂直CCDである。
V1〜V4は垂直CCD503の転送電極であり、V1
はフォトダイオードの奇数行の電荷を転送する転送ゲー
トを兼ねている。同様に、V3はフォトダイオードの偶
数行の電荷を転送する転送ゲートを兼ねている。垂直C
CD503は4相の転送パルスで駆動されている。50
4は垂直CCD503より転送されてくる電荷を水平方
向に転送する水平CCDである。H1,H2は水平CC
D504の転送電極であり、2相の転送パルスで駆動さ
れている。505は電荷を電圧に変換し出力する出力ア
ンプである。506は不要電荷を逆転送により掃き捨て
るためのトップドレインである。507は不要電荷を順
転送により掃き捨てるためのボトムドレインである。
【0006】図7は自動焦点機能付電子スチルカメラの
動作シークエンスを示す。時刻T0にレリーズスイッチ
20が投入されると、一連の撮影シークエンスが開始さ
れる。測光素子19の出力より最適絞り値Avおよび最
適シャッタースピードTvを算出する。T1からT2の
間に絞りを開放に設定し、T2からT3の間にn段ステ
ップもしくは連続的に無限遠から至近までのピント位置
までレンズユニット1をレンズ駆動モータ2によって移
動させるとともに、n回の不要電荷の掃き捨て,露光,
信号電荷読み出しといった一連の動作、すなわちAF動
作を行い、n回の信号電荷読み出しにおける固体撮像素
子5の出力からぼけ量を算出することによって最もぼけ
量の少ない位置、すなわち最適ピント位置を算出する。
T3からT4の間に絞り値をAvに設定すると同時にレ
ンズユニット1を合焦レンズ位置に設定する。T4から
不要電荷を逆転送によりトップドレイン506に掃き捨
てるクリア動作を行い、その後、本露光を行う。次に、
T5から信号電荷の読み出しを行うと共に磁気シート1
6に処理信号を記録する。
【0007】図8はぼけ量を検出するための方法の1つ
であるES法の説明をする図である。
【0008】ES法に関しては、USP4804831
号に開示されているので簡単な説明に留める。図8
(a)に示すように、映像信号は合焦時にエッジが立
ち、非合焦時にはエッジが寝る。図8(b)に映像信号
の微分波形の絶対値Dを示す。図8(c),(d)はそ
れぞれ微分波形Dの遅延信号DL1,DL2を示し、図
8(e)は積分波形Iを示し、映像信号のエッジ部のコ
ントラストを表す。図8(f)にDをIで割算すること
によって得られるエッジの鋭さを表すES値を示す。
【0009】図9は図1図示のESフィルタ9の構成例
を示す。
【0010】図9において、801は微分回路、802
は絶対値回路、803は遅延回路、804は積分回路、
805は割算回路である。806はピークホールド回路
である。画像情報の中で最もES値の高かった値をその
被写体のES値と判断する。
【0011】図10は合焦位置を求めるためにAF動作
を行う際のレンズ位置とES値の変化を示す。
【0012】レンズ送りは最小位置から最大位置まで連
続的に送り、その間、1垂直走査期間(1Vと略す)ご
とに画像情報を固体撮像素子5に蓄積し、その信号を読
み出し、その画像情報からES値を求めて最もES値が
大きかった位置を合焦位置とする。レンズ送り量を横軸
と合焦信号(この場合はES値である)を縦軸にとった
場合に描かれる合焦位置をピークとする曲線を山登り曲
線という。ES法の山登り曲線は急峻であり、合焦検出
の精度がよい。以上の説明は入力される画像情報の全情
報を用いてAF動作を行っているが、AF動作には迅速
さが要求されるので、通常は一定の面積を持つ測距枠を
用いてこの測距枠内でAF動作が行われている。
【0013】
【発明が解決しようとする課題】しかしながら、従来の
AF動作では、測距枠の面積が一定で固定であるため、
例えば、図11(a)に示すように測距枠の面積が広い
場合、例えば、遠景の木と近景の人物が同時に測距枠内
に入ると、図8に示すES値に複数のピークを持つこと
になる。よって、どのピーク位置に合焦するのかという
点でAF動作が不安定になる。一方、図11(b)に示
すように測距枠の面積が狭い場合、測距枠内に合焦点を
割出すための高周波成分を含まないことが多く、ES値
が小さくなり、最悪の場合、ES値にピークが存在せ
ず、正確なAF動作が行えないという問題点があった。
【0014】本発明の目的は、上記のような問題点を解
決し、正確なAF動作を行なうことができる焦点調節装
置を提供することにある。
【0015】
【課題を解決するための手段】本発明は、画像の高周波
成分に基づいて焦点調節動作を行う焦点調節装置におい
て、画像の高周波成分の取り込み領域を設定する取り込
み領域設定手段と、前記取り込み領域設定手段により設
定される取り込み領域から第1の周波数帯域の高周波成
分を抽出する第1のフィルタ手段と、前記取り込み領域
設定手段により設定される取り込み領域から前記第1の
周波数帯城より下限周波数の高い第2の周波数帯域の高
周波成分を抽出する第2のフィルタ手段と、前記領域設
定手段により設定される取り込み領域の大きさを前記第
1のフィルタ手段により抽出される高周波成分が所定の
基準値を満たす大きさにする領域制御手段と、前記領域
制御手段に決められた大きさの取り込み領域から前記第
2のフィルタ手段により高周波成分を抽出し、該第2の
フィルタ手段により抽出された高周波成分に基づいて合
焦位置を検出する合焦位置検出手段とを有することを特
徴とする。
【0016】本発明は、画像の高周波成分に基づいて焦
点調節動作を行う焦点調節装置において、画像の高周波
成分の取り込み領域を設定する取り込み領域設定手段
と、前記取り込み領域設定手段により設定される取り込
み領域から第1の周波数帯域の高周波成分を抽出する第
1のフィルタ手段と、前記取り込み領域設定手段により
設定される取り込み領域から前記第1の周波数帯域より
下限周波数の高い第2の周波数帯域の高周波成分を抽出
する第2のフィルタ手段と、前記領域設定手段により設
定される取り込み領域の位置を前記第1のフィルタ手段
により抽出される高周波成分が所定の基準値を満たす位
置にする領域制御手段と、前記領域制御手段に決められ
た位置の取り込み領域から前記第2のフィルタ手段によ
り高周波成分を抽出し、該第2のフィルタ手段により抽
出された高周波成分に基づいて合焦位置を検出する合焦
位置検出手段とを有することを特徴とする。
【0017】
【0018】
【0019】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。
【0020】図1は本発明の一実施例を示す。これは自
動焦点機能付電子スチルカメラの例で、図5と同一部分
は、同一番号を付してその説明を省略する。
【0021】図において、101は画像の高周波成分を
検出するためのハイパスフィルタである。このフィルタ
はレンズの可動域でブロードな周波数特性を持ち、カッ
トオフ周波数は非合焦時、特に大ボケのときでも出力値
が零にならない程度に低く設定されている。このフィル
タの出力をCU値とする。102は画像の輝度成分の平
均値を算出するための積分回路である。この積分回路の
出力をY値とする。
【0022】次に、図2および図3を参照して合焦動作
を説明する。
【0023】時刻T0にレリーズスイッチ20が投入さ
れると、一連の撮影シークエンスが開始される。測光素
子19の出力より最適絞り値Avおよび最適シャッター
スピードTvを算出する。時刻T1から時刻T2の間に
絞りを開放に設定し、同時に、レンズ1を無限遠と至近
の中央付近のピント位置に移動させる。時刻T2で測距
可能な最小面積の測距枠を設定し、最初のCU値および
Y値を算出する。
【0024】CU値は同じ高周波成分でも輝度レベルに
よって振幅特性が異なるので、システム制御回路10内
で例えばCUをYで割算すれば、輝度に対して規格化で
きるので、コントラストに依存しない高周波成分を抽出
できる。このCU/Yなる値を図3に示す任意の基準値
と比較する。比較した結果、CU/Yが基準値よりも小
さい場合は、測距枠が小さくて高周波成分が存在しない
と見なし、システム制御回路10により一定あるいは任
意の割合で測距枠の面積を広めに設定し、再度、CU値
およびY値を算出し、同様の処理をCU/Yの値が基準
値を超えるまで繰返す。
【0025】CU/Yの値が基準値を最初に超えたと
き、ES法によるピークが1種類だけ存在するES値の
特性が得られるので、このとき時刻T3で至近から無限
遠のレンズ位置までレンズユニット1をk段ステップも
しくは連続的に移動させる。とともに不要電荷の掃き捨
て,露光,信号電荷読み出しといった一連の動作、すな
わちAF動作を行い、信号電荷読み出しにおける固体撮
像素子5の出力からぼけ量を算出することによって最も
ぼけ量の少ない位置、すなわち合焦レンズ位置(P)を
算出する。従来に比べてAF動作前に測距枠を調整して
ES値のピーク特性が1種類になるようにするので、安
定かつ正確なAF動作を行うことができる。さらに、測
距枠をカメラのビューファインダ内に表示すれば、合焦
させたい被写体に対してより正確なAF動作が行える。
時刻T4から時刻T5の間に絞り値をAvに設定すると
同時にレンズユニット1を合焦レンズ位置(P)に設定
する。時刻T5から不要電荷を逆転送によりトップドレ
イン506に掃き捨てるクリア動作を行い、その後、本
露光を行う。次に、時刻T6から信号電荷の読み出しを
行うとともに磁気シート16に処理信号を記録する。
【0026】次に、測距枠を広げるのではなく、測距枠
を移動することにより同様の効果を得る際の測距枠の移
動の仕方を図4を参照して説明する。
【0027】初めに、測距枠1について、CU/Yを算
出し、その値が基準値以下の場合には、測距枠を2に移
動し同様のことを行う。以後、CU/Yの値が基準値以
上になるまで行い、基準値を超えたときの測距枠を用い
てAF動作を行う。この場合は、測距枠の大きさが小さ
いのでES値の算出などに要する時間が少なくて済み、
高速なAF動作を実現できる。
【0028】本実施例では、撮影時に合焦レンズ位置
(P)にレンズユニット1を移動させる場合に、AF動
作終了地点から直接移動させているが、AF動作終了
後、一旦、AF動作開始地点に移動させAF動作のとき
と同じ方向からP点に移動させてもよい。
【0029】ぼけ量検出のフィルタはESフィルタに限
らず、例えば、ハイパスフィルタやバンドパスフィルタ
でもよい。
【0030】また、高周波成分検出用のフィルタ101
もバンドパスフィルタでもよい。
【0031】さらに、本実施例では、合焦検出手段をデ
ジタルフィルタで構成する例を説明したが、アナログで
行ってもよいことは言うまでもない。
【0032】
【発明の効果】以上説明したように、本発明によれば、
上記のように構成したので、安定でかつ正確な合焦情報
を得ることができる。
【図面の簡単な説明】
【図1】本発明の一実施例を示すブロック図である。
【図2】一実施例に係る電子スチルカメラの動作シーク
エンスを説明するための図である。
【図3】合焦位置を求める際のレンズ位置とCU値,C
U/Y値,ES値の変化の一例を示す図である。
【図4】測距枠の移動例を示す図である。
【図5】従来の自動焦点機能付電子スチルカメラを示す
ブロック図である。
【図6】図5図示インターライン転送型固体撮像素子5
の構成を示す図である。
【図7】従来の自動焦点機能付電子スチルカメラの動作
シークエンスを説明するための図である。
【図8】ES法を説明するための図である。
【図9】図5図示ESフィルタ9の構成を示すブロック
図である。
【図10】AF動作を行う際のレンズ位置とES値の変
化を示す図である。
【図11】従来の合焦位置を求める際の測距枠を示す図
である。
【符号の説明】
1 レンズユニット 2 レンズ駆動モータ 5 固体撮像素子 8 メモリ 9 ESフィルタ 10 システム制御回路 101 ハイパスフィルタ 102 積分器
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/222 - 5/257 G02B 7/28

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 画像の高周波成分に基づいて焦点調節動
    作を行う焦点調節装置において、 画像の高周波成分の取り込み領域を設定する取り込み領
    域設定手段と、 前記取り込み領域設定手段により設定される取り込み領
    域から第1の周波数帯域の高周波成分を抽出する第1の
    フィルタ手段と、 前記取り込み領域設定手段により設定される取り込み領
    域から前記第1の周波数帯城より下限周波数の高い第2
    の周波数帯域の高周波成分を抽出する第2のフィルタ手
    段と、 前記領域設定手段により設定される取り込み領域の大き
    さを前記第1のフィルタ手段により抽出される高周波成
    分が所定の基準値を満たす大きさにする領域制御手段
    と、 前記領域制御手段に決められた大きさの取り込み領域か
    ら前記第2のフィルタ手段により高周波成分を抽出し、
    該第2のフィルタ手段により抽出された高周波成分に基
    づいて合焦位置を検出する合焦位置検出手段とを有する
    ことを特徴とする焦点調節装置。
  2. 【請求項2】 画像の高周波成分に基づいて焦点調節動
    作を行う焦点調節装置において、 画像の高周波成分の取り込み領域を設定する取り込み領
    域設定手段と、 前記取り込み領域設定手段により設定される取り込み領
    域から第1の周波数帯域の高周波成分を抽出する第1の
    フィルタ手段と、 前記取り込み領域設定手段により設定される取り込み領
    域から前記第1の周波数帯域より下限周波数の高い第2
    の周波数帯域の高周波成分を抽出する第2のフィルタ手
    段と、 前記領域設定手段により設定される取り込み領域の位置
    を前記第1のフィルタ手段により抽出される高周波成分
    が所定の基準値を満たす位置にする領域制御手段と、 前記領域制御手段に決められた位置の取り込み領域から
    前記第2のフィルタ手段により高周波成分を抽出し、該
    第2のフィルタ手段により抽出された高周波成分に基づ
    いて合焦位置を検出する合焦位置検出手段とを有するこ
    とを特徴とする焦点調節装置。
JP24349891A 1991-09-24 1991-09-24 焦点調節装置 Expired - Fee Related JP3209761B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP24349891A JP3209761B2 (ja) 1991-09-24 1991-09-24 焦点調節装置
US08/490,312 US5565917A (en) 1991-09-24 1995-06-14 Electronic camera apparatus with automatically adjusted focus distance measurement frame
US08/706,746 US6037980A (en) 1991-09-24 1996-09-06 Electronic camera apparatus with facility for varying size or position of a focus detecting frame in focus control

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP24349891A JP3209761B2 (ja) 1991-09-24 1991-09-24 焦点調節装置

Publications (2)

Publication Number Publication Date
JPH0583614A JPH0583614A (ja) 1993-04-02
JP3209761B2 true JP3209761B2 (ja) 2001-09-17

Family

ID=17104788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP24349891A Expired - Fee Related JP3209761B2 (ja) 1991-09-24 1991-09-24 焦点調節装置

Country Status (2)

Country Link
US (2) US5565917A (ja)
JP (1) JP3209761B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3209761B2 (ja) * 1991-09-24 2001-09-17 キヤノン株式会社 焦点調節装置
JP3106006B2 (ja) * 1992-06-24 2000-11-06 キヤノン株式会社 電子スチルカメラ
US5751354A (en) * 1994-04-28 1998-05-12 Canon Kabushiki Kaisha Image sensing apparatus and method with exposure performed based on focus evaluation values
KR100518864B1 (ko) * 1995-11-30 2005-11-28 엘지전자 주식회사 초점 조절영역 가변에 의한 초점 자동 조절방법
US6362852B2 (en) * 1996-01-11 2002-03-26 Sony Corporation Focus control apparatus and method for use with a video camera or the like
JPH1010414A (ja) * 1996-06-20 1998-01-16 Canon Inc 撮像装置
US6657668B1 (en) * 1997-11-19 2003-12-02 Ricoh Company, Ltd. Method, system, and computer readable medium for controlling automatic focusing of a digital camera
EP0961148B1 (en) * 1998-05-26 2010-07-21 Canon Kabushiki Kaisha Camera with focus detecting device
JP3902492B2 (ja) * 2002-03-13 2007-04-04 株式会社リコー 撮像装置
JP4158750B2 (ja) * 2003-08-26 2008-10-01 ソニー株式会社 オートフォーカス制御方法、オートフォーカス制御装置および画像処理装置
CN100378487C (zh) * 2003-08-26 2008-04-02 索尼株式会社 自动聚焦控制方法、自动聚焦控制器和图像处理器
US20050200724A1 (en) * 2004-03-10 2005-09-15 Rajaiah Seela R.D. Using a separate color sensor for white balance calculation
JP2006195060A (ja) * 2005-01-12 2006-07-27 Matsushita Electric Ind Co Ltd オートフォーカス装置
US7853138B2 (en) * 2007-02-19 2010-12-14 Canon Kabushiki Kaisha Camera and photographic lens and diaphragm for starting a defocus detection without waiting for completion of an aperture opening operation
US8389914B2 (en) 2008-02-07 2013-03-05 Sharp Kabushiki Kaisha Heating cooker having drawer type automatic door

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4804831A (en) * 1985-10-30 1989-02-14 Canon Kabushiki Kaisha Focus detecting apparatus independent of object image contrast
GB2209901B (en) * 1987-09-11 1992-06-03 Canon Kk Image sensing device
US4969045A (en) * 1988-05-20 1990-11-06 Sanyo Electric Co., Ltd. Image sensing apparatus having automatic iris function of automatically adjusting exposure in response to video signal
US5629735A (en) * 1989-08-20 1997-05-13 Canon Kabushiki Kaisha Image sensing device having a selectable detecting area
US5235428A (en) * 1990-02-21 1993-08-10 Sony Corporation Auto-focus system for video camera
JP3209761B2 (ja) * 1991-09-24 2001-09-17 キヤノン株式会社 焦点調節装置

Also Published As

Publication number Publication date
JPH0583614A (ja) 1993-04-02
US6037980A (en) 2000-03-14
US5565917A (en) 1996-10-15

Similar Documents

Publication Publication Date Title
JP3106006B2 (ja) 電子スチルカメラ
US5363137A (en) Focus adjusting apparatus which reads a selected portion of an image pickup plane
US5565917A (en) Electronic camera apparatus with automatically adjusted focus distance measurement frame
US8023035B2 (en) Auto-focusing apparatus and image pickup apparatus including the same
JP3902492B2 (ja) 撮像装置
JP3071891B2 (ja) 固体電子撮像装置
JPH06133206A (ja) 撮像装置のオートフォーカス方式
JP4434345B2 (ja) 自動焦点調節装置および方法
EP0895416A2 (en) Magnetic recording type of photographic apparatus
JP3384818B2 (ja) カメラおよびその予備測光方法ならびに予備測光装置および方法
JP2001057645A (ja) 電子カメラ
JP3252001B2 (ja) 自動焦点調節装置
JP2832029B2 (ja) 自動焦点整合装置
JP3294319B2 (ja) 静止画撮像装置
JP3155830B2 (ja) 撮像装置
JP3141159B2 (ja) 撮像装置
JPH0614240A (ja) 撮像装置
JP2843981B2 (ja) オートフォーカス装置
JPH06141225A (ja) 固体撮像装置
JPH066661A (ja) 合焦検出装置
JP3154061B2 (ja) 撮像装置
JPH05137046A (ja) スチルビデオカメラ
JPH066663A (ja) 電子スチルカメラ
JPH0614235A (ja) 撮像装置
JPH057335A (ja) 電子スチルカメラ

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080713

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080713

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090713

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090713

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100713

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110713

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees