JP3473296B2 - 車載用走行環境認識装置 - Google Patents
車載用走行環境認識装置Info
- Publication number
- JP3473296B2 JP3473296B2 JP29891596A JP29891596A JP3473296B2 JP 3473296 B2 JP3473296 B2 JP 3473296B2 JP 29891596 A JP29891596 A JP 29891596A JP 29891596 A JP29891596 A JP 29891596A JP 3473296 B2 JP3473296 B2 JP 3473296B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- input image
- vehicle
- white line
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
識装置に関し、特に、正確な車両の位置検出に寄与する
ことができる車載用走行環境認識装置に関する。
は、特開平6−36033号公報記載の「自動目標検知
方法」および特開平7−244717号公報記載の「車
両用走行環境認識装置」が報告されている。まず、従来
の「自動目標検知方法」にあっては、多画素を有する画
像センサからの画像信号を二値化する場合に用いる閾値
レベルを低く設定することで、遠距離に位置する目標像
からの弱い信号を速やかに検知することができ、また、
この画像センサの画素と画素の間に目標像が結像した場
合でも、局所空間相関処理とフレーム相関処理を施すこ
とで、目標信号を増強させることができるという利点を
有するものである。
にあっては、撮影して得られた輝度データを積分し、次
に、このデータの変化分を求め、変化分の大きい個所を
白線位置として検出することで、一過性のノイズ成分な
どが積分されて平滑化され大きな値を示さなくでき、こ
の結果、ノイズ成分を白線として誤検出するおそれが少
なくでき、白線位置を確実に検出できるという利点を有
するものである。
や影などの影響を取り除くための従来の車載用走行環境
認識装置にあっては、積分処理された画像を用いるか、
入力画像を用いるかの判断がないため、ノイズや影の影
響が少ない画像が入力された場合であっても、積分処理
を施すので、エッジがボケた画像を使用して先行車位置
検出を行うことになり、この結果として、常に車両の位
置検出に誤差が含まれるといった問題があった。
は、撮像対象が移動しているときや、自車両が移動して
いるときには、常に撮像対象の画像のエッジがボケてし
まうといった問題があった。本発明は上記に鑑みてなさ
れたもので、その目的は、正確な車両の位置検出に寄与
することができる車載用走行環境認識装置を提供するこ
とにある。
上記課題を解決するため、自車両の前方走路を撮像する
撮像手段と、自車両の移動距離を算出する移動距離算出
手段と、前記撮像手段で撮像された前方画像を予め設定
された移動距離ごとに出力して前回の積分画像と加算す
ることで積分画像を生成する積分手段と、前回までの前
方道路の特徴領域の検出結果と、前回までの入力画像お
よび今回の入力画像に基づいて、今回の入力画像が特徴
領域抽出処理に適するか否かを評価する入力画像評価手
段と、該入力画像評価手段からの評価結果に基づいて、
特徴領域抽出処理のために積分画像を出力するか、入力
画像を出力するかを切り換える入力画像切換手段と、該
入力画像切換手段からの出力に応じて前方道路の特徴領
域を抽出する特徴領域抽出手段とを有することを要旨と
する。請求項2記載の発明は、上記課題を解決するた
め、前記入力画像評価手段は、前記特徴領域抽出手段か
らの特徴領域抽出結果に基づき、検出目標が検出された
領域の入力画像を基準画像として抽出する基準画像抽出
手段と、今回撮像された入力画像について、前回の処理
で抽出された基準画像よりも広い範囲となる比較画像を
設定し、当該比較画像と、前記基準画像との相関値を比
較画像の全領域で演算する相関値算出手段と、を有し、
前記入力画像切換手段は、算出された相関値のなかの最
大値が所定のしきい値を超えた場合には、前記入力画像
を選択し、しきい値以下の場合には、前記積分画像を選
択することを要旨とする。請求項3記載の発明は、上記
課題を解決するため、前記積分手段からの積分画像に基
づいて道路白線を検出する白線検出手段を更に有し、前
記特徴領域抽出手段は、前記白線検出手段にて検出され
た道路白線の位置と、前記入力画像切換手段より出力さ
れる画像に基づいて、前方走路上の先行車両を抽出する
ことを要旨とする。
前方走路を撮像手段で撮像し、自車両の移動距離を移動
距離算出手段で算出する。次に、撮像手段で撮像された
前方画像を予め設定された移動距離ごとに出力し、積分
手段は、この前方画像を積分画像と加算することで、新
たな積分画像を生成する。ここで、前回までの前方道路
の特徴領域の検出結果と、前回までの入力画像および今
回の入力画像に基づいて、今回の入力画像が特徴領域抽
出処理に適するか否かを入力画像評価手段で評価し、こ
の評価結果に基づいて、特徴領域抽出処理のために積分
画像を出力するか、入力画像を出力するかを入力画像切
換手段で切り換え、入力画像切換手段からの出力に応じ
て前方道路の特徴領域を特徴領域抽出手段で抽出するよ
うにしているので、今回の入力画像の状態に応じて特徴
領域抽出処理に用いる最適な資源の切り換えができ、そ
の結果、今回の入力画像が適切な資源の場合には、前方
道路の特徴領域の抽出を正確に行うことができる。
準画像抽出手段では、特徴領域抽出手段からの特徴領域
検出結果に基づいて検出目標が検出された領域の入力画
像を基準画像として抽出し、抽出された基準画像と次回
以降の処理周期での入力画像に対する比較画像との相関
値を相関値算出手段で算出することで、入力画像切換手
段において、算出された相関値が高い場合には入力画像
を選択し、相関値が低い場合には積分画像を選択して出
力するようにしているので、今回の入力画像の状態に応
じて特徴領域抽出処理に用いる最適な資源の切り換えが
でき、その結果、今回の入力画像が適切な資源の場合に
は、特に、撮像対象が移動しているときや、自車両が移
動しているときには、撮像対象の画像のエッジがボケる
ことなく、前方道路の特徴領域の抽出を正確に行うこと
ができる。
線検出手段では、積分手段からの積分画像に基づいて道
路白線を検出して道路領域を推定し、特徴領域抽出手段
は、検出された道路白線の位置、及び入力画像切換手段
より出力される画像に基づいて、前方走路上の先行車両
を検出するようにしているので、前方道路の特徴領域の
抽出を正確に行うことができる。
を参照して説明する。 (第1の実施の形態)図1は、本発明の第1の実施の形
態に係る車載用走行環境認識装置1のシステム構成を示
す図である。図1において、走行速度検出部3は、車輪
の回転数から走行速度値を検出して積分処理部7に出力
する。
によって自車両の前方走路に対する画像を撮影し、積分
処理部7と基準画像抽出部15と相関算出部17および
入力画像切換部19に撮像された画像を出力する。積分
処理部7は、走行速度検出部3からの速度値と処理周期
とに基づいて移動距離値を算出し、カメラ5から入力さ
れる前方画像を所定の移動距離ごとに積分し、その結果
として得られる積分画像を白線検出部9と入力画像切換
部19に出力する。
画像に基づいて走路上の白線を検出し、その白線位置を
先行車検出部11に出力する。先行車検出部11は、白
線検出部9からの白線位置と、入力画像切換部19から
入力される画像または積分画像に基づいて、前方走路上
の先行車位置を検出し、その結果を基準画像抽出部15
に出力する。
5および相関算出部17を有し、カメラ5に入力した今
回の入力画像が特徴領域抽出処理に適するか否かを評価
する。詳しくは、基準画像抽出部15は、カメラ5から
の画像と、先行車検出部11からの先行車位置に基づい
て、入力される画像上から基準画像を抽出して相関算出
部17に出力する。相関算出部17は、カメラ5からの
画像と、基準画像抽出部15からの基準画像に基づい
て、相関値を算出して、その結果を入力画像切換部19
に出力する。入力画像切換部19は、相関算出部17か
らの相関値に基づいて、カメラ5から入力される画像
か、積分処理部7から入力される積分画像かを選択して
切り換えて先行車検出部11に出力する。
4に示すフローチャートを用いて車載用走行環境認識装
置1の動作を説明する。まず、ステップS10では、積
分処理部7は、走行速度検出部3からの速度値と処理周
期とに基づいて移動距離値を算出し、この移動距離値が
予め設定された認定しきい値以上になった場合には、カ
メラ5に入力指令を出力してカメラ5に前方走路を撮像
させ、カメラ5からの前方走路画像を入力する。同時
に、算出された移動距離値を0にクリアする。
に記憶されている前回の積分画像に入力された画像を加
算する。ここで、積分画像をG,入力された画像をFと
すると、 G=G×(1−α)+F×α と算出される。なお、αは過去からの累積を表すために
予め設定されている係数値であって、例えば0.5とし
ておく。次に、ステップS30では、白線検出部9は、
この積分画像を用いて道路白線を検出する。なお、本実
施の形態においては、左白線の検出方法について説明し
ているが、右白線についても同様の方法を用いて検出す
ることができる。また、白線の位置は始点と終点とで表
されるものとする。
処理について図3に示すサブルーチンのフローチャート
を用いて説明する。まず、ステップS210では、入力
された前方走路の積分画像全体に縦エッジ成分を抽出す
るためのSOBEL演算子をかけて、図5に示すよう
に、正エッジと負エッジからなる縦エッジ画像を作成す
る。なお、図5は縦エッジ画像の例を示す図である。
に、道路白線の画面上に現れる場所に検出ウインドウ領
域を設定し、当該ウインドウ中において道路白線の探索
を行う。なお、ウインドウの位置は初期位置として、例
えば高速道路の直線走行時に画面上に現れる道路白線付
近の位置W1(x1,y1)を予め記憶しておき、この
値を読み出してウィンドウ位置WP(xwp,ywp)
とする。なお、図6は白線を検出するためのウインドウ
位置の例を示す図である。
行う。ここで、ステップS220で設定されたウィンド
ウ位置を基準として、図4に示すサブルーチンのフロー
チャートを用いて直線検出処理について説明する。ま
ず、ステップS310では、直線先端初期位置を設定す
る。即ち、図7に示すように、直線の先端位置はウィン
ドウ位置WPと予め設定してある探索領域の幅WLから
算出される。従って、図6に示すように、直線の先端初
期位置S(xs,ys)は、 xs=xwp+WL/2 ys=ywp となる。
期位置を設定する。即ち、図7に示すように、検出され
る白線の傾きをカメラ5の取り付け状態から予め設定し
ておく。なお、図7は白線を検出するためのウインドウ
の変数の例を示す図である。ここで、検出される白線の
傾きがθ±αとすると、ウィンドウ高さhから図6に示
す直線の後端初期位置E(xe,ye)は、 xe=xs−h×tan(θ−α) ye=ys−h となる。
(xs,ys)と後端初期位置E(xe,ye)を通る
直線fを算出する。直線fは、 y−ye=m×(x−xe) m=(ys−ye)/(xs−xe) となる。従って、図8に示すように、正エッジ側直線お
よび負エッジ側直線が検出される。ステップS340で
は、この直線fが通るエッジ画像上のエッジ点の個数を
計測する。この時、正エッジ、負エッジの両エッジの個
数を別個に計測する。なお、計測結果は先端位置xsと
後端位置xeとに対応させて各エッジの個数を記憶して
おく。
x座標を移動する。即ち、x座標の移動は、 xe=xe−1 を代入する。ステップS360では、後端の下限までx
座標を移動する。即ち、後端位置xeが、 xe≧xs−h×tan(θ+α) の場合にはステップS330に戻って処理を繰り返す。
x座標を移動する。即ち、使用していた直線先端のx座
標xsに、 xs=xs−1 を代入する。ステップS380では、先端の下限まで移
動したか否かを判断する。即ち、直線先端のxsが、 xs<xwp−WL/2 の場合にはステップS390に移る。一方、 xs≧xwp−WL/2 の場合にはステップS330に戻って処理を繰り返す。
ジ位置を検索する。即ち、記憶している先端位置と正エ
ッジの個数の中から最大の正エッジ数の先端位置を検索
する。ここで、ステップS400では、この最大の正エ
ッジ数がしきい値以上か否かを判断する。検索された正
エッジの個数が予め設定してあるしきい値以上の場合に
は、白線ありと判断してステップS410に移る。一
方、このしきい値以下の場合には直線検出の処理を終了
する。
置を決定する。即ち、正白線位置として検索された直線
の先端位置(xps,ys)及び後端位置(xpe,y
e)のx座標を代入して決定する。次に、ステップS4
20では、最大負エッジ位置を検索する。即ち、記憶し
たある先端位置と負エッジの個数の中から最大の負エッ
ジ数の先端位置を検索する。ステップS430では、負
エッジの個数がしきい値以上か否かを判断する。検索さ
れた負エッジの個数が予め設定してあるしきい値以上の
場合には、白線ありと判断してステップS440に移
る。一方、しきい値以下の場合には直線検出処理を終了
する。
直線位置を決定する。即ち、負白線位置として検索され
た直線の先端位置(xns,ys)及び後端位置(xn
e,ye)のx座標を代入して決定する。以上の処理に
おいて、検出領域内の白線の有無を判断し、白線がある
場合にはその画像上での白線位置が算出される。
白線検出処理を説明する。ステップS240では、白線
があるか否かの判断として、正白線位置と負白線位置が
算出され、先端位置と後端位置との差が予め設定された
しきい値以下か否かを判断する。先端位置と後端位置と
の差がしきい値以下の場合には、白線があるのでステッ
プS250に進む。一方、しきい値以下ではない場合に
は、白線がないので処理を終了する。
る。即ち、検出した正白線位置(xs,ys)と負白線
位置(xe,ye)から白線直線を算出する。次に、ス
テップS260では、ウィンドウ位置を移動する。即
ち、白線検出を行うウィンドウ位置WP(xwp,yw
p)のx座標xwpに、xwp=(xs+xe)/2を
代入する。これによって、白線の位置が移動しても、検
出することができる。以上で白線検出処理を終了する。
て、車載用走行環境認識装置1の動作を説明する。ステ
ップS40では、白線検出部9で白線が検出されたか否
かを判断する。道路白線が検出されている場合には、ス
テップS50に進み、検出されていない場合にはステッ
プS10に戻って上述のような白線検出処理を繰り返
す。
に入力画像を評価するための基準画像が抽出されている
か否かを判断する。基準画像が抽出されている場合には
ステップS90に進み、抽出されていない場合にはステ
ップS60に進む。ステップS60では、処理画像とし
て積分画像を選択し、画像中の先行車検出を行う。ここ
で、車両の検出は、検出された左右道路白線内の領域の
水平エッジを用いて行う。左右白線は左右先端、後端で
表わされているため、先端と後端とを結ぶ直線を左右そ
れぞれ算出する。算出された左右直線間の領域を道路領
域として、車両特徴を探索する。
って水平エッジを探索する。水平方向に設定しきい値以
上のエッジが予め設定された長さ以上に連続している場
合には、車両領域のエッジと判断する。左右道路白線内
の全画素の探索が終了した場合に、車両領域のエッジと
判断された水平エッジの最もx座標の値の大きなものと
小さなものを車両の左右端と判断し、その中心を車両位
置、その差を幅として算出する。
いて車両が検出されたか否かを判断する。車両が検出さ
れた場合にはステップS120に進む。一方、車両が検
出されなかった場合にはステップS80に進む。ステッ
プS80では、基準画像抽出部15で抽出された基準画
像を消却し、基準画像がない状態にする。一方、ステッ
プS90では、相関算出部17は、入力画像が正常に入
力されているか否かを判断するために相関値を算出す
る。即ち、記憶されている前回の車両位置を用いて今回
の入力画像から基準画像領域よりも大きい比較画像を抽
出する。なお、比較画像を基準画像よりどれだけ大きく
抽出するかは、カメラ5の状態から予め設定しておく。
次に、基準画像と比較画像の正規化相関値を比較画像の
全領域で算出する。ここで、算出された相関値のなかの
最大値を比較画像の代表相関値とする。
9は、相関算出部17で求められた代表相関値が予め設
定してあるしきい値以上か否かを判断して相関の有無を
調べる。代表相関値が予め設定してあるしきい値以上の
場合には、車両を検出するためにカメラ5から入力され
る画像を使用することと判断してステップS110に進
む。一方、代表相関値がしきい値以下の場合には、積分
処理部7から入力される積分画像を使用することと判断
してステップS60に進む。
9は、処理画像としてカメラ5から入力される画像を選
択する。次に、先行車検出部11は、画像中の先行車両
の検出を行う。なお、先行車両の検出方法はステップS
60に示す方法と同様である。次に、ステップS120
では、基準画像抽出部15は、基準画像の位置を決定す
るために、検出された車両位置と幅から基準画像領域を
算出する。予め記憶してある車両の縦横比と検出された
幅に基づいて基準画像領域の大きさを算出する。ステッ
プS130では、基準画像抽出部15は、算出された基
準画像領域の位置と大きさに基づいて、カメラ5から入
力される画像に基づいて基準画像を抽出する。
撮像し、自車両の移動距離を積分処理部7で算出する。
次に、カメラ5で撮像された前方画像を予め設定された
移動距離ごとに積分処理部7で積分して積分画像を生成
する。ここで、前回までの前方道路の特徴領域の検出結
果と、前回までの入力画像および今回の入力画像に基づ
いて、今回の入力画像が特徴領域抽出処理に適するか否
かを入力画像評価部13で評価し、この評価結果に基づ
いて、特徴領域抽出処理のために積分画像を出力する
か、入力画像を出力するかを入力画像切換部19で切り
換え、入力画像切換部19からの出力に応じて前方道路
の特徴領域を先行車検出部11で抽出するようにしてい
るので、今回の入力画像の状態に応じて特徴領域抽出処
理に用いる最適な資源の切り換えができ、その結果、今
回の入力画像が適切な資源の場合には、前方道路の特徴
領域の抽出を正確に行うことができる。
出部11からの特徴領域検出結果に基づいて検出目標が
検出された領域の入力画像を基準画像として抽出し、抽
出された基準画像と次回以降の処理周期での入力画像と
の相関値を相関算出部17で算出することで、入力画像
切換部19において、算出された相関値が高い場合には
影等のノイズが少ない状態の入力画像を選択して用いる
ようにする一方、算出された相関値が低い場合には、入
力画像には影等のノイズを含むものと判断して、車両位
置検出は積分画像を用いて行うこととするので、入力画
像がノイズや影の影響の少ない場合には、入力画像を用
いて正確な車両の位置検出を行うことができる。特に、
撮像対象が移動しているときや、自車両が移動している
ときには、撮像対象の画像のエッジがボケることなく、
前方道路の特徴領域の抽出を正確に行うことができる。
からの積分画像に基づいて道路白線を検出して道路領域
を推定し、先行車検出部11では、前方走路上の先行車
両を検出することで、前方道路の特徴領域を抽出するよ
うにしているので、前方道路の特徴領域の抽出を正確に
行うことができる。
境認識装置1のシステム構成を示す図である。
めのフローチャートである。
チンである。
チンである。
す図である。
示す図である。
線の例を示す図である。
Claims (3)
- 【請求項1】 自車両の前方走路を撮像する撮像手段
と、 自車両の移動距離を算出する移動距離算出手段と、 前記撮像手段で撮像された前方画像を予め設定された移
動距離ごとに出力して前回の積分画像と加算することで
積分画像を生成する積分手段と、 前回までの前方道路の特徴領域の検出結果と、前回まで
の入力画像および今回の入力画像に基づいて、今回の入
力画像が特徴領域抽出処理に適するか否かを評価する入
力画像評価手段と、 該入力画像評価手段からの評価結果に基づいて、特徴領
域抽出処理のために積分画像を出力するか、入力画像を
出力するかを切り換える入力画像切換手段と、 該入力画像切換手段からの出力に応じて前方道路の特徴
領域を抽出する特徴領域抽出手段とを有することを特徴
とする車載用走行環境認識装置。 - 【請求項2】 前記入力画像評価手段は、前記特徴領域
抽出手段からの特徴領域抽出結果に基づき、検出目標が
検出された領域の入力画像を基準画像として抽出する基
準画像抽出手段と、 今回撮像された入力画像について、前回の処理で抽出さ
れた基準画像よりも広い範囲となる比較画像を設定し、
当該比較画像と、前記基準画像との相関値を比較画像の
全領域で演算する相関値算出手段と、を有し、 前記入力画像切換手段は、算出された相関値のなかの最
大値が所定のしきい値を超えた場合には、前記入力画像
を選択し、しきい値以下の場合には、前記積分画像を選
択することを特徴とする請求項1記載の車載用走行環境
認識装置。 - 【請求項3】 前記積分手段からの積分画像に基づいて
道路白線を検出する白線検出手段を更に有し、前記特徴
領域抽出手段は、前記白線検出手段にて検出された道路
白線の位置と、前記入力画像切換手段より出力される画
像に基づいて、前方走路上の先行車両を抽出することを
特徴とする請求項1記載の車載用走行環境認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29891596A JP3473296B2 (ja) | 1996-11-11 | 1996-11-11 | 車載用走行環境認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP29891596A JP3473296B2 (ja) | 1996-11-11 | 1996-11-11 | 車載用走行環境認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10141949A JPH10141949A (ja) | 1998-05-29 |
| JP3473296B2 true JP3473296B2 (ja) | 2003-12-02 |
Family
ID=17865828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP29891596A Expired - Lifetime JP3473296B2 (ja) | 1996-11-11 | 1996-11-11 | 車載用走行環境認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3473296B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112364884B (zh) * | 2020-10-09 | 2024-02-20 | 江苏星闪世图科技(集团)有限公司 | 一种移动物体侦测的方法 |
-
1996
- 1996-11-11 JP JP29891596A patent/JP3473296B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10141949A (ja) | 1998-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3630100B2 (ja) | 車線検出装置 | |
| JP2008168811A (ja) | 車線認識装置、車両、車線認識方法、及び車線認識プログラム | |
| US20090052742A1 (en) | Image processing apparatus and method thereof | |
| JPH08329393A (ja) | 先行車検出装置 | |
| JP2009245042A (ja) | 交通流計測装置及びプログラム | |
| JP3656056B2 (ja) | 割り込み車両検出装置及びその方法 | |
| JPH11139225A (ja) | トンネル検出装置及びそれを用いた車両制御装置 | |
| JP3823782B2 (ja) | 先行車両認識装置 | |
| KR100818317B1 (ko) | 차영상을 이용한 이동 차량 인식 방법 | |
| JP6069938B2 (ja) | 飛び出し検出装置 | |
| JP3807651B2 (ja) | 白線認識装置 | |
| JP2005156199A (ja) | 車両検知方法及び車両検知装置 | |
| JP4033106B2 (ja) | 車両用測距性能低下検出装置 | |
| JP3319401B2 (ja) | 走行路認識装置 | |
| JP4321410B2 (ja) | 物体検出装置、および方法 | |
| JP3473296B2 (ja) | 車載用走行環境認識装置 | |
| JP3915621B2 (ja) | レーンマーク検出装置 | |
| JP2962799B2 (ja) | 移動車の走行路端検出装置 | |
| WO2022009537A1 (ja) | 画像処理装置 | |
| JP3104645B2 (ja) | 道路白線検出方法及び道路白線検出装置 | |
| JP4151631B2 (ja) | 物体検出装置 | |
| JP4106163B2 (ja) | 障害物検出装置及びその方法 | |
| JP5464073B2 (ja) | 車外環境認識装置、車外環境認識方法 | |
| JPH11205663A (ja) | 車両用撮像装置の露光量制御装置 | |
| JP5493705B2 (ja) | 車両位置検出装置、車両位置検出方法、及び車両位置検出プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080919 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090919 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100919 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100919 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110919 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120919 Year of fee payment: 9 |