JPH11275448A - 撮像装置及びコンピュータ読み取り可能な記憶媒体 - Google Patents
撮像装置及びコンピュータ読み取り可能な記憶媒体Info
- Publication number
- JPH11275448A JPH11275448A JP10074439A JP7443998A JPH11275448A JP H11275448 A JPH11275448 A JP H11275448A JP 10074439 A JP10074439 A JP 10074439A JP 7443998 A JP7443998 A JP 7443998A JP H11275448 A JPH11275448 A JP H11275448A
- Authority
- JP
- Japan
- Prior art keywords
- shake
- correction
- image
- image pickup
- mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
ノイズにより画面が揺れるのを防ぐために、振れ補正帯
域を制限したモード(静止モード)にしたとき、少しの
衝撃でも静止モードを抜け出してしまうことを防ぐ。 【解決手段】 カメラを三脚に固定した状態において、
振れセンサの検出した振れ信号がHPF202を介して
HPF210に入力されると共に、その周波数fが検出
器211で検出される。判別器212はfをしきい値f
g、fb(fb>fg)と比較する。そしてf≦fgの
ときはHPF210の遮断周波数を高くして静止モード
とする。またf≦fbのときは静止モードを解除し、上
記遮断周波数を下げて通常の振れ補正モードとする。 【効果】 fb>fgとすることで静止モードに入りや
すく、抜けにくくすることができる。
Description
用いて良好な手振れ等の振れ補正機能を有する撮像装置
及びコンピュータ読み取り可能な記憶媒体に関するもの
である。
ンズが採用されており、民生用の分野においてもズーム
比10倍以上が一般化している。このようなズーム比の
拡大に伴い、長焦点側の焦点距離が大きな数値になって
くると、長焦点側では手振れ等によるカメラの振れが撮
影される画像に与える影響が大きくなり、主被写体が画
面内で見苦しく動いてしまう。そこでビデオカメラ等の
分野では、手振れ等の影響を取り除く振れ補正機能の実
用化が行われてきた。
振れ検出手段と、この検出手段の検出結果に応じて、振
れを補正する振れ補正手段を少なくとも含んでいる。こ
のうち振れ検出手段としては、連続するフィールド間、
またはフレーム間の画像を比較して画像の動きを検出す
る電子的な検出方法や、角速度センサ、角加速度センサ
などを用いてカメラの動きを直接測定する方法が挙げら
れる。
影光軸の角度を手振れが除去される方向に調整する光学
的振れ補正手段の他に、得られた画像の中から実際に記
録又は出力する範囲(切り出し範囲)を電子的に選択す
る、所謂電子式補正手段等が挙げられる。
いるカメラを三脚に固定して撮影を行う場合、振れ検出
手段からのノイズ成分により、本来止まっていなければ
ならない映像がゆらゆらと揺れてしまうことがある。そ
のため、三脚等安定した場所に設置され固定されたかど
うかの振れ判定手段を有し、その判定手段によりカメラ
が固定されたと判定された場合は、振れ補正の帯域を制
限するなどして、ノイズによる映像の揺れを除去する方
法が提案されている。
り検出される振れ信号の大きさと周波数成分から判定す
る。まず通常の振れ補正時に振れの周波数が所定のしき
い値Aより低く、かつ振れ信号のレベルが所定のしきい
値Bより小さい状態が所定時間続いた場合に振れ補正に
帯域制限をかけ、不要な動きをカットする。この状態を
静止モードと呼ぶことにする。逆に静止モード時に、振
れの周波数が所定のしきい値Aより高く、かつ振れ信号
のレベルが所定のしきい値Bより大きい時は通常補正に
戻る。
例では、三脚等に固定された静止モード中に例えばカメ
ラを指で軽くはじくような振れを与えると、簡単に静止
モードから抜けてしまい、再び静止モードに入るまでの
間、やはり映像がゆらゆらと揺れてしまい、違和感を与
えてしまうことがあるという問題があった。
に静止モードから抜けてしまうのを防止することを目的
とするものである。
おいては、被写体像を撮像し画像信号を出力する撮像手
段と、上記撮像手段の振れを検出する振れ検出手段と、
上記振れ検出手段の検出した振れ信号に基づいて上記画
像信号の振れを補正する補正手段と、上記振れ信号の周
波数を検出する振れ周波数検出手段と、上記検出した振
れ周波数が第1のしきい値より小さいとき上記振れ補正
手段による補正を制限し、上記振れ周波数が第2のしき
い値より大きいとき上記制限を解除する制御手段とを設
けている。
像を撮像し画像信号を出力する撮像処理と、上記撮像手
段の振れを検出する振れ検出処理と、上記振れ検出処理
で検出した振れ信号に基づいて上記画像信号の振れを補
正する補正処理と、上記振れ信号の周波数を検出する振
れ周波数検出処理と、上記検出した振れ周波数が第1の
しきい値より小さいとき上記振れ補正処理による補正を
制限し、上記振れ周波数が第2のしきい値より大きいと
き上記制限を解除する制御処理とを実行するためのプロ
グラムを記憶している。
施の形態を示す構成図である。図1において、101は
第1のレンズ群であり、集光のための固定レンズ群であ
る。102は第2のレンズ群であり、変倍のために光軸
方向に移動可能な変倍レンズ群である。103は絞り、
104は第3のレンズ群であり、固定レンズ群である。
105は第4のレンズ群であり、変倍レンズ群102の
動きで移動した結像位置を補正する機能と焦点調節を行
う機能とを兼ね備えた補正レンズ群で、やはり光軸方向
に移動可能となっている。これらのレンズ群によるレン
ズユニットによって、最終的に撮像センサとしてのCC
D111の撮像面上に可変倍率の被写体像が結像され
る。
であり、モータドライバ126によりモータ121を駆
動することにより変倍レンズ群102を移動させる。補
正レンズ群105に関しても同様に、125のモータ、
128のモータドライバにより移動させる。123はI
Gメータ、127はIGドライバである。本実施の形態
では、モータ121、125はステッピングモータを想
定しており、基準位置からのパルス数をカウントするこ
とにより絶対位置を検出する。尚、その他のアクチュエ
ータを用いる場合は、必要に応じて位置検出センサが必
要である。
led device)であり、光を電荷に変換する。
ここではCCD111は放送方式(例えばNTSC方
式)で必要とする標準のCCDに比べて画素数(光電変
換素子数)の多いCCDを用いている。116はCCD
駆動回路であり、CCD111を駆動する。CCD駆動
回路116は後述のマイクロコンピュータ117からの
制御命令に従い、どのラインから最終的に出力するエリ
アを切り出すかをV方向に関して選択することができる
ように工夫されている。
ジサイズIs 、302、303、304は放送方式に準
ずる標準イメージサイズIN の例である。例えば最上ラ
インからΔy1ライン下のラインy1+1から有効とす
る場合、Δy1ラインを高速に読み出し、垂直同期信号
に対し標準サイズのCCDを用いた場合と同じタイミン
グでy1+1から読み出すことができる。
部であり、CCD111で得られた信号に所定の処理を
施しアナログ画像信号を生成する。例えばCDS回路
(correlated double sampli
ng相関二重サンプリング回路)、AGC回路等を含ん
で構成される。113はA/Dコンバータであり、アナ
ログ画像信号をデジタル画像信号に変換する。114は
メモリであり、デジタル画像信号を少なくとも1ライン
分記憶することができ、さらに所定の位置(アドレス)
から読み出すことが可能である。115はデジタル信号
処理部であり、最終的な出力画像信号を生成する。
画像信号は、標準イメージサイズに比べて画素数が多い
ままである。デジタル信号処理部115は後述のマイク
ロコンピュータ117からの制御命令に従い、メモリ1
14から読み出す先頭の画素を選択することができ、標
準イメージサイズ分だけ読み出すように工夫されてい
る。
メラシステム全体の制御を行う。例えばモータトライバ
126、128を制御する。また駆動したパルス数を常
に監視し、基準位置からの絶対位置を表す変倍レンズ位
置データ、補正レンズ位置データをそれぞれ生成する。
例えば全ストロークを1280パルスで移動できるとす
ると、10パルス毎に等分し、128段階の位置データ
を生成する。140はズームキーであり、ユーザが焦点
距離を変える時に操作するキーである。マイクロコンピ
ュータ117はズームキー140の信号を読み込み、そ
れに応じて変倍レンズ103を制御する。
れ(CCD111の振れ)の一方向の角速度成分を検出
する。132はHPF(高域通過フィルタ)、133は
アンプ、134はLPF(低域通過フィルタ)であり、
これらにより角速度センサ131で検出された角速度セ
ンサ出力信号に対して所定の周波数制限と増幅が施さ
れ、角速度信号を生成する。
ラの振れの他方向の角速度成分を検出する。136はH
PF(高域通過フィルタ)、137はアンプ、138は
LPF(低域通過フィルタ)であり、上記131〜13
4の各部と同等の機能を有する。但し、両者はCCD1
11の撮像面において互いに直行する成分を検出するよ
うに配置されている。具体的には一方が縦(V)方向、
他方が横(H)方向を検出する。
バータを内蔵しており、2方向の角速度信号はこの内蔵
A/Dコンバータによりデジタル信号に変換され角速度
データとなる。さらに角速度データに所定の信号処理を
施し、縦方向、横方向の振れ補正信号を生成する。マイ
クロコンピュータ117は縦方向の振れ補正信号をCC
D駆動回路116に、横方向の振れ補正信号をデジタル
信号処理部115にそれぞれ伝達する。先に述べたよう
にCCD駆動回路116、デジタル信号処理部115は
それぞれ振れ補正信号に応じて切り出す位置を可変す
る。
に全イメージサイズIs 301から、例えば302、3
04のように標準イメージサイズIN を中央からずらし
て切り出すことができ、この結果手振れ等による振れを
補正することが可能となる。
プログラムを格納する本発明による記憶媒体である。制
御プログラムとしては、後述する図2、4に示す処理を
実行するためのプログラムを含む。この記憶媒体143
としては、半導体メモリ、光ディスク、光磁気ディス
ク、磁気媒体等を用いてよい。また、それらをROM、
RAM、CD−ROM、メモリカード、フロッピディス
ク、磁気テープ、磁気カード等に構成して用いてよい。
度データを振れ補正信号に変換する信号処理について図
2を用いて説明する。なお、縦方向、横方向はそれぞれ
同じ処理を施すので、ここでは一方向に関して説明す
る。まず、処理201により角速度データが取り込まれ
る。処理202はHPF(高域通過フィルタ)であり、
角速度データから主に直流成分を遮断する。従って、遮
断周波数は十分に低い。処理210はHPF(高域通過
フィルタ)であり、213は遮断周波数テーブルであ
る。HPF210は遮断周波数を遮断周波数テーブル2
13より選択することができる。
積分することにより角変位信号を出力する。処理204
はズームゲインを乗算し補正量を出力する。カメラに角
変位θだけ振れが加わると焦点距離1と撮像面上での被
写体移動量Δxには、 Δx=1×tanθ ………(1) となるので、それぞれの焦点距離に合わせた利得をここ
で乗算する。205は焦点距離データであり、先に述べ
たように実際には変倍レンズの位置を有限数(例えば0
から128)で表している。
点距離データとズームゲインが対応付けられ、ROM領
域に記憶されている。ズームゲイン204は焦点距離デ
ータ205の利得をズームゲインテーブル207から読
み出す。処理206はリミッタであり、ズームゲイン2
04の出力値に制限をかけ、補正量を出力する。208
はリミッタテーブルであり、焦点距離データとリミッタ
値(ずらせる画素数)が対応付けられ、ROM領域に記
憶されている。リミッタ206は焦点距離データ205
に対応するリミッタ値をリミッタテーブル207から読
み出し、ズームゲイン204の出力とリミッタ値とを比
較し、リミッタ値よりも大きい場合にリミッタ値を補正
量として出力する。
202の出力信号から振れ周波数成分を検出する。振れ
周波数検出器211は最も大きく検出された周波数デー
タを出力する。212は振れ状態判別器であり、HPF
202の出力信号と、振れ周波数検出器211からの振
れ周波数データとから、振れ状態を判別し、HPF21
0の遮断周波数を制御する。本実施の形態では振れ判別
器により、補正モードと静止モードのどちらかに切り替
わる。補正モードとは通常の振れ補正をするモードであ
り、静止モードとは三脚等安定した場所に設置された場
合に振れ検出系のノイズ等により、本来止まっていなけ
ればならない映像がゆらゆらと揺れてしまうのを防止す
るため、振れ補正の帯域を制限し、ノイズによる映像の
揺れを除去するモードである。
限するために、HPF210の遮断周波数を変える。具
体的には通常モードでは、HPF210の遮断周波数を
十分に低く設定し、静止モードでは、ノイズが除去され
るのに必要な値に設定する。またそれぞれの遮断周波数
は予め所定の値になるように設定されている。
動作について説明する。なお、図4の処理は所定周期で
繰り返し実行される。また処理403〜406は横方向
と縦方向は独立に実行される。処理402により現在静
止モードであるか否かの判定をする。処理402により
補正モードと判断されると処理408に移る。
定のしきい値Se より小であるか否かを判定する。ここ
でP(ピッチ)とは縦方向、Y(ヨー)とは横方向のこ
とである。処理409では、P、Yの振れ周波数fが共
に所定のしきい値fg以下であるか否かを判定する。処
理409で共にfg以下と判断されると処理410に移
る。処理409ではメモリCountの値に1加算し保
存する。処理411ではメモリCountの値が所定値
chに等しいか否かの判断をする。処理411で等しい
と判断されると処理412に移り、等しくないと判断さ
れると処理407で終了する。
具体的にはHPF210の遮断周波数を静止モード時に
設定すべき値に変更する。処理408、409で条件を
満たさなかった時、及び処理412を実行した後に処理
413に移行する。処理413でメモリCount0を
保存し、初期化する。
と処理403に移る。処理403では角速度Sが所定の
しきい値Saより小であるか否かを判定する。処理40
8で大と判断されると処理404に移る。処理404で
は、振れ周波数fが所定のしきい値fbより小であるか
否かを判定する。処理404でfb以上と判断されると
処理406に移る。処理406では補正モードに移行す
る。具体的にはHPF210の遮断周波数を補正モード
時に設定すべき値に変更する。
が異なるのが特徴である。これは静止モード中にカメラ
を指で軽くはじくような振れを与えると、簡単に静止モ
ードから抜けてしまい再び静止モードに入るまでの間、
やはり映像がゆらゆらと揺れてしまい、違和感を与えて
しまうのを防ぐためである。つまり、しきい値fbをし
きい値fgよりも大きな値にすることにより、静止モー
ドに入りやすく、抜けにくくなっている。
周波数を可変としたが、積分器203の特性を可変とし
ても良く、HPFと積分器の両方の特性を可変としても
良い。また、本実施の形態では、CCD111からの切
り出しによる電子的振れ補正システムを例に説明した
が、レンズ群の内、一部のレンズをシフトさせることに
より振れ補正をするシステムや、高屈折率の液体を封入
したプリズム(可変頂角プリズム(VAP))の頂角を
可変することにより振れ補正をするシステム等の光学的
振れ補正手段の場合にも本発明は有効であることは明ら
かである。
三脚等に固定された静止モード等の補正を制限するモー
ドに入りやすく、抜けにくくすることができるので、こ
のモード中にカメラを指で軽くはじくような振れを与え
ると、従来のように簡単に静止モードから抜けてしま
い、再び静止モードに入るまでの間、映像がゆらゆらと
揺れてしまい違和感を与えてしまうのを有効に防ぐこと
ができ、良好な振れ補正を実現することができる。
図である。
理を示すブロック図である。
ある。
Claims (11)
- 【請求項1】 被写体像を撮像し画像信号を出力する撮
像手段と、 上記撮像手段の振れを検出する振れ検出手段と、 上記振れ検出手段の検出した振れ信号に基づいて上記画
像信号の振れを補正する補正手段と、 上記振れ信号の周波数を検出する振れ周波数検出手段
と、 上記検出した振れ周波数が第1のしきい値より小さいと
き上記振れ補正手段による補正を制限し、上記振れ周波
数が第2のしきい値より大きいとき上記制限を解除する
制御手段とを備えた撮像装置。 - 【請求項2】 上記第2のしきい値は上記第1のしきい
値より大きいことを特徴とする請求項1記載の撮像装
置。 - 【請求項3】 上記撮像手段は、その撮像面の水平方向
及び垂直方向に配される光電変換素子の数を、準拠する
放送方式で必要とするイメージサイズ(画素数)よりも
多く設けて成り、上記振れ補正手段は、有効像円径内の
画素から上記準拠する放送方式で必要とするイメージサ
イズを選択することにより上記補正を行うことを特徴と
する請求項1記載の撮像装置。 - 【請求項4】 上記振れ補正手段は、光学的に光軸を曲
げることにより上記補正を行うことを特徴とする請求項
1記載の撮像装置。 - 【請求項5】 上記撮像手段の撮像面に結像される被写
体像を変倍する変倍手段を設け、上記振れ補正手段は、
上記撮像手段と変倍手段との間に配されることを特徴と
する請求項4記載の撮像装置。 - 【請求項6】 上記振れ補正手段は、可変頂角プリズム
であることを特徴とする請求項4記載の撮像装置。 - 【請求項7】 上記振れ補正手段は、シフトレンズであ
ることを特徴とする請求項4記載の撮像装置。 - 【請求項8】 上記制御手段による上記補正の制限と
は、上記振れ補正の帯域を制限することであることを特
徴とする請求項1記載の撮像装置。 - 【請求項9】 被写体像を撮像し画像信号を出力する撮
像処理と、 撮像手段の振れを検出する振れ検出処理と、 上記振れ検出処理で検出した振れ信号に基づいて上記画
像信号の振れを補正する補正処理と、 上記振れ信号の周波数を検出する振れ周波数検出処理
と、 上記検出した振れ周波数が第1のしきい値より小さいと
き上記振れ補正処理による補正を制限し、上記振れ周波
数が第2のしきい値より大きいとき上記制限を解除する
制御処理とを実行するためのプログラムを記憶したコン
ピュータ読み取り可能な記憶媒体。 - 【請求項10】 上記第2のしきい値は上記第1のしき
い値より大きいことを特徴とする請求項9記載のコンピ
ュータ読み取り可能な記憶媒体。 - 【請求項11】 上記制御処理による上記補正の制限と
は、上記振れ補正の帯域を制限するものであることを特
徴とする請求項9記載のコンピュータ読み取り可能な記
憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07443998A JP4046836B2 (ja) | 1998-03-23 | 1998-03-23 | 撮像装置及びコンピュータ読み取り可能な記憶媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07443998A JP4046836B2 (ja) | 1998-03-23 | 1998-03-23 | 撮像装置及びコンピュータ読み取り可能な記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11275448A true JPH11275448A (ja) | 1999-10-08 |
| JP4046836B2 JP4046836B2 (ja) | 2008-02-13 |
Family
ID=13547276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07443998A Expired - Fee Related JP4046836B2 (ja) | 1998-03-23 | 1998-03-23 | 撮像装置及びコンピュータ読み取り可能な記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4046836B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004294995A (ja) * | 2003-03-28 | 2004-10-21 | Nikon Corp | ブレ補正装置 |
| JP2015114535A (ja) * | 2013-12-12 | 2015-06-22 | キヤノン株式会社 | 像振れ補正装置及びその制御方法、光学機器、撮像装置 |
| JP2016090729A (ja) * | 2014-10-31 | 2016-05-23 | 旭化成株式会社 | 手振れ補正量算出回路 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6062656B2 (ja) | 2012-05-02 | 2017-01-18 | キヤノン株式会社 | 撮像装置、制御方法、及びプログラム |
-
1998
- 1998-03-23 JP JP07443998A patent/JP4046836B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004294995A (ja) * | 2003-03-28 | 2004-10-21 | Nikon Corp | ブレ補正装置 |
| JP2015114535A (ja) * | 2013-12-12 | 2015-06-22 | キヤノン株式会社 | 像振れ補正装置及びその制御方法、光学機器、撮像装置 |
| JP2016090729A (ja) * | 2014-10-31 | 2016-05-23 | 旭化成株式会社 | 手振れ補正量算出回路 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4046836B2 (ja) | 2008-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100925319B1 (ko) | 화상흔들림의 검출기능을 구비한 촬상장치, 촬상장치의제어방법 및 촬상장치의 제어프로그램을 기록한 기록매체 | |
| US7962024B2 (en) | Blur correcting device, blur correcting method, and image pickup apparatus | |
| US7734162B2 (en) | Camera shaking correcting device, and image pickup device | |
| US8736690B2 (en) | Image pickup apparatus | |
| JP4717748B2 (ja) | カメラ本体及びそれを有するカメラシステム | |
| JP6101074B2 (ja) | 光学機器、像ブレ補正装置、撮像装置、およびその制御方法、プログラム、記憶媒体 | |
| US9635258B2 (en) | Image pickup apparatus, method of controlling image pickup apparatus, image processing apparatus, and image processing method | |
| JPH09322057A (ja) | 撮像装置 | |
| CN100463500C (zh) | 具有像抖动补偿功能的光学仪器 | |
| JP6932531B2 (ja) | 像ブレ補正装置、撮像装置および撮像装置の制御方法 | |
| JP6824710B2 (ja) | ズーム制御装置およびズーム制御方法、撮像装置 | |
| JPH11266389A (ja) | 撮像装置 | |
| JP4046836B2 (ja) | 撮像装置及びコンピュータ読み取り可能な記憶媒体 | |
| JP2004085964A (ja) | 自動合焦装置及びデジタルカメラ及び携帯情報入力装置 | |
| JP2000069353A (ja) | 手ぶれ検出装置および手ぶれ補正装置 | |
| JPH11266390A (ja) | 撮像装置 | |
| JP4227213B2 (ja) | 撮像装置 | |
| JP4011723B2 (ja) | 撮像方法及び装置並びに記憶媒体 | |
| JP2006215105A (ja) | 撮像装置 | |
| JP2007121534A (ja) | 光学機器および焦点調節方法 | |
| JP4598901B2 (ja) | 撮像装置 | |
| JPH0641281U (ja) | ビデオカメラ装置 | |
| JP4195950B2 (ja) | 画像動き補正装置 | |
| JP2603535Y2 (ja) | オートフォーカス装置 | |
| JP3489280B2 (ja) | 撮像装置及びそのピント表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050315 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071101 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071121 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101130 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121130 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131130 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |