JPH0652309A - 傾き検出方法および画像処理装置 - Google Patents
傾き検出方法および画像処理装置Info
- Publication number
- JPH0652309A JPH0652309A JP4204767A JP20476792A JPH0652309A JP H0652309 A JPH0652309 A JP H0652309A JP 4204767 A JP4204767 A JP 4204767A JP 20476792 A JP20476792 A JP 20476792A JP H0652309 A JPH0652309 A JP H0652309A
- Authority
- JP
- Japan
- Prior art keywords
- image
- document
- inclination
- binary image
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Character Input (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
を抽出して認識処理を行う画像処理装置において、高
速、高精度に所定の図形(黒線)の傾きを検出する。 【構成】 入力された2値画像101を符号化し、符号
化された2値画像データより上記2値画像中の所定の図
形(黒線)104、105を抽出し、抽出された所定の
図形の傾きを最小二乗法による直線近似により求める。
また、傾き検出のための直線近似をラン、輪郭などの画
像の符号化方式を利用し、高速、高精度に実行する。
Description
ングシステム等の画像処理装置に係り、入力された画像
の傾きを検出するのに好適な傾き検出方法に関する。
ステムが製品化され、大量の文書をイメージデータで保
存・検索できるようになった。また、多量のテキストデ
ータを高速に検索する技術が開発されている。このよう
に、紙に替わって電子的な手法で高度な文書情報の利用
ができる環境が整いつつある。一方、文書システムの大
容量化に伴い、文書の登録により多くの人手が費やされ
るようになってきた。このため、文書中の文字を認識
し、自動的にシステムに登録する技術が不可欠になって
きている。
ーラインなど様々な黒線が用いられる。こうした黒線を
含む文書中の文字を認識するためには、文書中の黒線を
検出し、黒線の位置、傾きなどの情報用いて文字行を切
り出さなくてはならない。しかし、文書画像中の黒線は
しばしば傾いている場合がある。自動紙送り装置を用い
てスキャナ入力を行う場合、原稿のずれに伴う文書画像
の傾きは±10度以内といわれている。このような場合
に対応するため、傾いた画像から黒線を抽出し、抽出し
た黒線の傾きを算出することが必要とされている。
して、(a) 端点あてはめ法、(b)反復端点あてはめ法
(R.Nevatia ”MACHINE PERCEPTION”(日本語訳 南
敏監訳”画像認識と画像理解” 啓学出版) pp. 120
- 164 (昭和61年))、(c)ハフ変換による方式
(松山、興水 ”Hough変換とパターンマッチン
グ” 情報処理Vol. 30 No. 9 (平成1年))、等
がある。
黒線を近似し、傾きを求める方式である。この方式は処
理量が少なく、また多くの記憶容量を必要としない。し
かし、画像にノイズやジャギー(画像の縁のぎざぎざ)
がある場合には高い精度が得られない。
より結び、この直線から最も遠くにある点まで距離があ
る値以上の場合には線分を二つに分割する。さらに分割
された線分に対して同様の処理を繰り返す、処理は線分
からある値以上に遠くにあるものがなくなった時点で終
了する。これにより黒線の輪郭を区分的な線分により近
似し、傾きを求めることができる。しかしこの方式は、
直線から点への距離の計算を画素毎に反復する必要があ
り、高速化が困難である。また、折れ線を表現するため
に、多くの記憶容量を必要とする。
変換する写像を求め、黒画素の写像の直線の集積点を求
めることにより、画像中から直線の傾きを検出するもの
である。この方式は(a、b)平面を表現するのに多くの記
憶容量を必要とし、また、集積点を求めるのに多くの処
理時間が必要である。
線などの傾き検出方式のうち、(a)の端点あてはめ法は
は精度が高くない。また、(b)の反復端点あてはめ法、
(c)ハフ変換による方式は、処理速度が遅いという問題
点がある。
形を高速、高精度に直線近似し、傾きを検出することが
できる画像の傾き検出方法及び画像処理装置を提供する
ことにある。
値画像を符号化し、符号化された2値画像データより2
値画像中の所定の図形を抽出し、抽出された所定の図形
の傾きを最小二乗法による直線近似により求めることを
特徴とするものである。
化等の画像の符号化方式を利用し、高速に2値画像中の
図形の最小二次モーメントを計算し、直線近似を行うこ
とにより実現する。
ることにより、2値画像中の所定の図形を高速、高精度
に直線近似し、傾きを検出することができる。
次モーメントはランの中点の座標とラン長の多項式によ
って表現できる。この多項式の値を最小にする係数を求
めることにより、その図形を近似する直線の傾きを得
る。また同様に輪郭データの輪郭長と輪郭方向を用いて
最小二次モーメントを計算することができる。ランデー
タ、輪郭データなどに符号化したデータにより最小二次
モーメントを計算する方式は、画素データを用いる方式
に比べてメモリへのアクセス回数や計算回数が少なくな
り、高速に2値画像中の図形の直線近似を求めることが
できるため、画素数が多い対象物に対して有効ある。
計数学等の分野では知られた手法であるが、画像処理の
分野における傾き検出に適用した例はなく、(a)端点あ
てはめ法よりも精度が高く、(b)反復端点あてはめ法、
(c)ハフ変換による方式などに比べて、多くの記憶容量
を必要としない。また、多くの画素を処理する場合で
も、ランデータ、輪郭データを活用すれば処理速度の点
でも問題がない。
らの文字行抽出の原理を説明する図である。図1(a)に
示すように文書画像101がスキャナより傾いて入力さ
れたり、文書中の罫線102および文字列103が傾い
て印刷される場合がある。これらの場合のように、文書
中の傾いた文字を認識するためにはまず文書中の文字行
の位置を検出する必要がある。一般に文字行の検出には
文書縦方向および横方向の大きな空白の探索により行な
う。
は、文書縦方向および横方向の大きな空白が良好に見つ
けられず、その文書画像から文字行を取り出すのが困難
である。また図1(a)に示すように、表や罫線が文字行
と混在していると空白を検出する妨げとなってしまうと
いう問題点がある。そこで、まず図1(b)に示すように
文書中から黒線を抽出し(図1(b)の例は横方向の黒線
104および105のみを検出している。)、次に図1
(c)に示すように抽出した文書中の端点座標106と1
07と黒線の傾き108を求め、傾きを補正すると共に
黒線を除去すると、図1(d)に示すように文字行座標1
09を検出することができる。
理手順を示す。まず、ステップ201においてスキャナ
などから文書画像を入力する。次にステップ202にお
いて黒線を抽出し、ステップ203において黒線の位置
と傾きを検出する。検出した黒線の位置と傾きを用いて
ステップ204において文書中の文字行を抽出し、ステ
ップ205において文字行中の文字を認識してステップ
206において文字コードを出力する。
画像中の図形の傾きを検出する方式として最小二乗法に
よる直線近似を例に取り説明する。
中のXY座標系は301のように定義する。文書中の横
罫線などX軸にほぼ平行な図形302に対し、点の集合
Aを
を求める。これは直線303
相当する。このように求められた直線303により図形
302の傾きを近似することができる。
よる二次モーメントの計算法を説明するものである。離
散化された画像においてXY座標系を401のように定
義する。この画像中の図形402に含まれる画素の集合
S'を
次式で、かつ常に p > 0 かつr >0 なので最小値
が存在する。S を最小とする a および b の値は
以下の式数9に数7を代入して求めることができる。
メントのランデータを用いた計算方式の原理を説明する
図である。ランとは二値画像中である方向に連続した黒
または白の画素の集まりである。本明細書中では断りの
ないかぎり単にランという場合には横方向(X字句方
向)の黒画素のランのことである。図5中の黒く塗潰し
た部分502は画像中の一つのランを示している。
用いると、画素数が多い場合に計算量が膨大なものとな
るが、図5のランデータを用いて計算を行った場合、画
像処理に二次モーメントの計算を行っても十分実用的な
計算量で済むという利点がある。
用いた傾き検出の原理を示す図である。第2の実施例同
様、画素数が多い場合に画像データを用いずに、十分実
用的な計算量で画像の二次モーメントの計算を行うもの
である。
対し、その図形に含まれなおかつ白画素に4近傍で接触
している画素を求め、これらの画素の隣り合うもの同士
の中心を結び、輪郭602とする。また図6に示す様に
輪郭602を折れ曲がる点riでN'個の線分Ci(1≦i≦N
c)に分割する。図6の603は折れ曲がる点riの例で
あり、604は、輪郭602を逆時計周りにたどった際
の603のとなりの折れ曲がる点である。線分Ciの方向
Diを図7に示すように定義する。図7のe0、e1等は、
各方向に対応するベクトルである。また、線分Ciの長さ
を画素の座標riとri+1を8近傍距離で表現したものを
(Li)とする。図6の例では605は603と604を
結ぶ線分であり、その長さがLi = 3であり、方向 D
i = 2 である。輪郭データとは、図形の輪郭Cをあら
わすLiとDiのいくつかの対である。なお、輪郭には内輪
郭と外輪郭があり、一つの連結成分は1つの外輪郭と0
個以上の内輪郭で表現されるが、図6に示す様に図形が
唯一の閉曲線で表される場合は内輪郭は0個となる。以
後、断りのないかぎり、図形は唯一の閉曲線で表される
ものとする。
は数2の積分を図形中の全ての画素に対しておこなえば
よいが、輪郭データを用いてこの積分を行なうとその結
果はa および b の3次式となり、扱いが困難にな
り、処理量も増加する。そこで、簡略な方式として、図
形の外輪郭C上(図中の602)で数2の積分を行な
い、直線近似を行なう。
I"i の計算式および I" iをa およびを b に関
する多項式
ti、ui を示す。
02)の画素の直線l周りの二次モーメントとなる。数
32のI"を最小とする a、b の値は数13と同様に
的な処理手順を示す。図8は画素データを用いる黒線傾
き検出である。図8に示されているのは、図1(b)の1
04、105のように入力画像から取り出した黒線に対
し、図1(c)に示すような直線近似をして端点の座標
及び傾きを求める過程の処理手順である。直線近似はス
テップ801のループの中で画像中の各連結成分毎に行
なわれる。まず、ステップ802においてp、q、r、s、
t等のパラメータを初期化する。次にステップ803の
ループにおいて連結成分に含まれる全ての黒画素の座標
xi、yiをもとめ、ステップ804において各画素毎に数
7に従って各パラメータを加算していく。ただし、数7
の各式のうち後の計算で用いないuは計算しない。連結
成分に含まれる全ての画素について加算し終わった後、
ステップ805において数9に従って傾きanとY接辺bn
(an、bnはそれぞれn番目の連結成分の傾きaとY切辺
b)をもとめる。
的な処理手順を示す。図9はランを用いる黒線傾き検出
である。図9に示されているのは、図8と同様に、図1
(b)のように入力画像から取り出した黒線に対し、図
1(c)に示すような直線近似をして傾きを求める過程
の処理手順である。直線近似はステップ901のループ
の中で画像中の各連結成分毎に行なわれる。まず、ステ
ップ902においてp、q、r、s、t等のパラメータを初
期化する。次にステップ903のループにおいて連結成
分に含まれる全ての黒ランの中点座標xi、yiと黒ラン長
liを求め、ステップ904において連結成分に含まれる
全てのラン毎に数12に従って各パラメータを加算して
いく。ただし、後の計算で用いないuは計算しない。連
結成分に含まれる全てのランについて加算し終わった
後、ステップ905において数13に従って傾きanとY
接辺bnをもとめる。
施例の具体的な処理手順を示す。図10は輪郭を用いる
黒線傾き検出である。図10、図11に示されているの
は、図8、9と同様に、図1(b)のように入力画像か
ら取り出した黒線に対し、図1(c)に示すような直線
近似をして傾きを求める過程の処理手順である。直線近
似はステップ1001のループ中で画像中の各連結成分
毎に行なわれる。まず、ステップ1002において各連
結成分の輪郭データを生成する。次にステップ1003
においてp、q、r、s、t等のパラメータを初期化する。
次にステップ1004のループにおいて輪郭データを形
成する輪郭の方向(Di)と長さLiを求め、ステップ1
005においてDiに応じてサブルーチン1006、1
007、1008、1009、1010、1011、1
012、1013に分岐する。図11の1101、11
02、1103、1104、1105、1106、11
07に示すように、サブルーチン1006、1007、
1008、1009、1010、1011、1012、
1013ではそれぞれ数16、数18、数20、数2
2、数24、数26、数28、数30に従って各パラメ
ータを加算していく。ただし、後の計算で用いないuは
計算しない。連結成分に含まれる全ての輪郭データにつ
いて加算し終わった後、ステップ1014において数3
3に従って傾きanとY接辺bnをもとめる。上記の例は輪
郭データを8方向で表現したものであるが、より少ない
数の方向で簡略化して傾きanとY接辺bnをもとめること
もできる。例えば輪郭を反時計周りに定義している場合
には輪郭線の下側が黒画素ならば方向Diは1、2、3のい
ずれかの場合である場合が多く、その他の場合を無視す
ることができる。そこでこのような場合には、Diの値
が1、2、3のいずれかならばステップ1005の分岐を
行い、そうでないならば無視して輪郭データを形成する
次の線分についてステップ1004以下の処理を行うこ
ともできる。この方式においても得られるa、bの値の誤
差は無視しうるものである一方、処理時間を大幅に短縮
することができる。
黒線を例に説明したが、文書画像中の長方形や文字行中
の文字間を補間して得られる細長い黒い図形などの傾き
を求めることもできる。
の構成を示す。1201は本発明の傾き算出方式を組み
込んだ画像処理装置である。画像処理装置1201には
光ディスク装置などの画像蓄積装置1202、イメージ
スキャナなどの画像入力装置1203、ファクシミリ等
のような画像伝送装置1204が接続される。これらの
画像入力装置より画像データが画像処理装置1201に
設けられた画像入力部1205を介して図形検出部12
06、セレクタ1207、画像補正部1209、セレク
タ1210に出力される。図形検出部1206は入力画
像より黒線、文字行等傾き検出処理の対象となる図形を
検出する。傾き検出部1208は入力画像または図形検
出部1206の出力である図形に対し、上記の方式で直
線近似を行い傾きを検出する。セレクタ1207は外部
からの指示などにより傾き算出部1208への入力を画
像入力部1205の出力または図形検出部1206の出
力に切り換える。画像補正部1209は入力画像を傾き
算出部1208の結果に応じて入力画像を回転補正した
画像を出力する。画像出力部1211は入力画像または
画像補正部1209で回転補正された画像を光ディスク
などの画像蓄積装置1212、OCR等の画像認識装置
1213、CRTなどの画像表示装置1214、ファク
シミリなどの画像伝送装置1215等の外部の装置へ出
力する。セレクタ1210は画像出力部1211への入
力を外部からの指示などにより画像入力部1205の出
力または画像補正部1209の出力に切り換える。
る。Mを黒線中の黒画素数とすると、最小二乗法により
黒線の傾きを求めるのに、画素データを用いる第1の実
施例では、3M回の乗算と5M回の加算が必要である。
では、Nを黒線中のラン数とすると、6N回の乗算、1N回
の除算、6N回の加算が必要である。一般の計算機にお
いては乗算と除算に費やされる処理時間が同等で、なお
かつ加算に費やされる時間が乗算に費やされる時間に対
して無視できる程度に小さいと仮定できる。このような
仮定が成り立つならば M > 7/3・N なる場合に、ラ
ンを用いる第2の実施例が画像データを用いる第1の実
施例より費やす処理時間が小さくなる。文書画像中の黒
線においては、通常 M = 10N から 2000N の間で
あり、ランを用いる方式が処理時間の面できわめて有利
となる。
を黒線中の輪郭データの数とすると、9N'回の乗算、2N'
回の除算が必要である。従って M > 11/3・N' なる
場合に輪郭を用いる第3の実施例が画素を用いる第1の
実施例より処理時間が短くなる。一般にM = 5N' か
ら 4000N' であり、必要とされる計算量は極めて少な
くなる。
高精度かつ高速に実行できるようになり、文字認識装置
などの画像処理装置における、前処理の(文書)画像の
傾き検出としての利用が容易になる。
原理を示す図である。
形の直線近似の画素データによる計算方式の原理を示す
図である。
形の直線近似のランデータによる計算方式の原理を示す
図である。
形の直線近似の輪郭データによる計算方式の原理を示す
図である。
形の輪郭データの方向の定義を示す図である。
形の直線近似の画素データによる計算方式の手順を示す
図である。
形の直線近似のランデータによる計算方式の手順を示す
図である。
図形の直線近似の輪郭データによる計算方式の手順を示
す図である。
図形の直線近似の輪郭データによる計算方式のサブルー
チンの手順を示す図である。
す図である。
…文書画像中の文字列、104、105…文書画像中か
ら検出された横黒線、302,402…2値画像中の図
形、301、401…画像中の座標系、303,40
3,501,601…2値画像中の図形を近似する直
線、502…黒ラン、602…輪郭。
Claims (12)
- 【請求項1】入力された2値画像を符号化し、符号化さ
れた2値画像データより上記2値画像中の所定の図形を
抽出し、抽出された所定の図形の傾きを最小二乗法によ
る直線近似により求めることを特徴とする傾き検出方
法。 - 【請求項2】請求項1において、画像データよる二次モ
ーメントを計算することにより、上記2値画像中の所定
の図形の最小二乗法による直線近似を行う傾き検出方
法。 - 【請求項3】請求項1において、画像の符号化方式がラ
ン符号化であることを特徴とする傾き検出方法。 - 【請求項4】請求項3において、各ランの近似直線周り
の二次モーメントをランの中点の座標値及びラン長の多
項式として計算することにより、上記2値画像中の所定
の図形の最小二乗法による直線近似を行うことを特徴と
する傾き検出方法。 - 【請求項5】請求項1において、画像の符号化方式が輪
郭符号化であることを特徴とする傾き検出方法。 - 【請求項6】請求項5において、輪郭線上の各線分の近
似直線周りの二次モーメントを線分の方向に応じた線分
の長さ及び端点座標の多項式として計算することによ
り、上記2値画像中の所定の図形の最小二乗法による直
線近似を行うことを特徴とする傾き検出方法。 - 【請求項7】請求項6において、輪郭線上の各線分の方
向がある特定の条件を満たす場合にのみ上記線分の近似
直線周りの二次モーメントを加算することを特徴とする
傾き検出方法。 - 【請求項8】2値画像を入力する手段と、符号化された
2値画像データより上記2値画像中の所定の図形を抽出
する手段と、抽出された所定の図形の傾きを最小二乗法
による直線近似により求める傾き検出手段と、求めた傾
きに応じて上記2値画像を回転補正する手段とを有する
画像処理装置。 - 【請求項9】請求項8において、文書を光電変換して2
値画像として入力し文書中の文字を認識する文書認識シ
ステとして構成したことを特徴とする画像処理装置。 - 【請求項10】請求項8において、文書を光電変換して
画像として蓄積する文書ファイルシステムとして構成し
たことを特徴とする画像処理装置。 - 【請求項11】請求項8において、文書を光電変換して
得られる画像を伝送する画像伝送システムとして構成し
たことを特徴とする画像処理装置。 - 【請求項12】請求項8において、画像表示システムと
して構成したことを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20476792A JP3304404B2 (ja) | 1992-07-31 | 1992-07-31 | 傾き検出方法および画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20476792A JP3304404B2 (ja) | 1992-07-31 | 1992-07-31 | 傾き検出方法および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0652309A true JPH0652309A (ja) | 1994-02-25 |
| JP3304404B2 JP3304404B2 (ja) | 2002-07-22 |
Family
ID=16496013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20476792A Expired - Lifetime JP3304404B2 (ja) | 1992-07-31 | 1992-07-31 | 傾き検出方法および画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3304404B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07105310A (ja) * | 1993-10-05 | 1995-04-21 | Ricoh Co Ltd | 画像傾き検出方法及び表処理方法 |
| JPH07192086A (ja) * | 1993-12-27 | 1995-07-28 | Ricoh Co Ltd | 画像傾き検出方法 |
| JP2008100680A (ja) * | 2007-12-06 | 2008-05-01 | Denso Corp | 車載操作装置 |
| US7729536B2 (en) | 2004-03-30 | 2010-06-01 | Fujitsu Limited | Boundary extracting method, program, and device using the same |
-
1992
- 1992-07-31 JP JP20476792A patent/JP3304404B2/ja not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07105310A (ja) * | 1993-10-05 | 1995-04-21 | Ricoh Co Ltd | 画像傾き検出方法及び表処理方法 |
| JPH07192086A (ja) * | 1993-12-27 | 1995-07-28 | Ricoh Co Ltd | 画像傾き検出方法 |
| US7729536B2 (en) | 2004-03-30 | 2010-06-01 | Fujitsu Limited | Boundary extracting method, program, and device using the same |
| JP2008100680A (ja) * | 2007-12-06 | 2008-05-01 | Denso Corp | 車載操作装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3304404B2 (ja) | 2002-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5048099A (en) | Polygon-based method for automatic extraction of selected text in a digitized document | |
| JP3345350B2 (ja) | 文書画像認識装置、その方法、及び記録媒体 | |
| JP2930612B2 (ja) | 画像形成装置 | |
| EP1999688B1 (en) | Converting digital images containing text to token-based files for rendering | |
| US6917706B2 (en) | Ruled line extracting apparatus for extracting ruled line from normal document image and method thereof | |
| CN109635714B (zh) | 文档扫描图像的矫正方法及装置 | |
| Den Hartog et al. | Knowledge-based interpretation of utility maps | |
| CN111767889A (zh) | 公式识别方法、电子设备及计算机可读介质 | |
| CN115471659A (zh) | 语义分割模型的训练方法、分割方法和电子设备 | |
| CN111383193A (zh) | 图像修复方法和装置 | |
| JP3099771B2 (ja) | 文字認識方法、装置及び文字認識プログラムを記録した記録媒体 | |
| CN116740500A (zh) | 图像相似度检测模型训练、检测方法、装置、设备、介质 | |
| JP3304404B2 (ja) | 傾き検出方法および画像処理装置 | |
| CN120823608A (zh) | 一种纸质表单数据智能识别与存储方法及系统 | |
| CN119049026A (zh) | 一种基于深度学习的指针式仪表示数识别方法 | |
| Kurhekar et al. | Automated text and tabular data extraction from scanned document images | |
| CN115565165B (zh) | 一种基于语义分割和Transformer的集装箱号检测识别方法 | |
| CN111368572A (zh) | 一种二维码的识别方法及系统 | |
| US10572751B2 (en) | Conversion of mechanical markings on a hardcopy document into machine-encoded annotations | |
| US20020164087A1 (en) | System and method for fast rotation of binary images using block matching method | |
| CN113705430B (zh) | 基于检测模型的表格检测方法、装置、设备及存储介质 | |
| CN114022876B (zh) | 一种基于人工智能ocr的电子秤图像文字识别方法 | |
| CN120877335A (zh) | 一种基于rgb图像的手掌纹主线提取及手掌纹线匹配方法 | |
| JP2974167B2 (ja) | 文字の大分類認識方法 | |
| CN119851004A (zh) | 一种标签图像的处理方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080510 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090510 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100510 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110510 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110510 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120510 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130510 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130510 Year of fee payment: 11 |