JPH02196565A - 画像二値化方式 - Google Patents

画像二値化方式

Info

Publication number
JPH02196565A
JPH02196565A JP1016014A JP1601489A JPH02196565A JP H02196565 A JPH02196565 A JP H02196565A JP 1016014 A JP1016014 A JP 1016014A JP 1601489 A JP1601489 A JP 1601489A JP H02196565 A JPH02196565 A JP H02196565A
Authority
JP
Japan
Prior art keywords
binarized
threshold value
pixel
value
density level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP1016014A
Other languages
English (en)
Other versions
JPH0576223B2 (ja
Inventor
Nobuhiko Matsui
松井 信彦
Kikuo Mita
三田 喜久夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eastman Kodak Japan Ltd
Original Assignee
Eastman Kodak Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eastman Kodak Japan Ltd filed Critical Eastman Kodak Japan Ltd
Priority to JP1016014A priority Critical patent/JPH02196565A/ja
Priority to US07/346,034 priority patent/US4931881A/en
Publication of JPH02196565A publication Critical patent/JPH02196565A/ja
Publication of JPH0576223B2 publication Critical patent/JPH0576223B2/ja
Granted legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/16Image preprocessing
    • G06V30/162Quantising the image signal
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Input (AREA)
  • Manipulation Of Pulses (AREA)
  • Character Input (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は画像情報の二値化方式、特に多階調の濃度レベ
ルを有する画像情報を二値化して記憶装置に収納あるい
は通信回線により他の場所へ伝送するために用いられる
画像二値化方式に関する。
[従来の技術] ファクシミリ等の装置を用いて文書を伝送する場合には
文書画像を複数の画素として各画素の濃度レベルを光学
的手段等を用いてアナログ信号に変換し、さらにこの電
気信号をしきい値を用いて二値のディジタル信号に変換
する操作を行うことにより、画像情報を処理している。
しかしながら、これらの装置で紙の色や文字の濃さ等の
違いに起因する濃度レベルのばらつきを有する文書を連
続して読み取る場合には前記しきい値が一定であるため
画像情報の二値化が各文書で正確に行われず、情報が欠
落するという問題があった。
従来、この問題を解決する方法として、二値化に用いる
しきい値を一定にせず、二値化の対象となる画素の周囲
画素濃度レベルの平均値から浮動しきい値を求めて画像
情報を二値化する方法が採られていた。
第11図に従来用いられていたしきい値決定法の一例を
示す。第11図において、横軸は二値化の対象となる画
素の周囲画素濃度レベルの平均値を8ビツトの2進数を
用いて量子化した値(O〜255)であり、一方横軸は
同様に8ビツトの2進数を用いて表現されたしきい値で
ある。しきい値は第11図に示されるごとく、周囲画素
濃度レベルに応じである関数として変化するため、濃度
レベルのばらつきを有する複数文書を連続して画像処理
する場合にも各文書毎に濃度レベルに応じた二値化を行
うことができる。
[発明が解決しようとする課8] ところが、前記従来の方法においては二値化の対象とな
っている画素の濃度レベルと周囲画素濃度レベルに大き
な差異がある部位、すなわち文字や図形等の輪郭部のみ
が正しく二値化され、二値化の対象となっている画素の
濃度レベルと周囲画素濃度レベルが同程度の部位では本
来黒と変換されるべき濃度レベルの画素を誤って白と変
換されることがあるために文字や図形等の輪郭部のみが
強調されて中抜けが生じる等の問題があった。
例えば、第12図(a)に示されるごとく、金額が記入
されている小切手の資料画像を二値化する場合を考えて
みる。小切手に記入されている金額部と周囲の小切手用
紙はどちらも同程度に濃度レベルが低い(つまり黒い)
。第11図のしきい値決定法によればこの領域ではしき
い値が低いため本来濃度レベルの低い金額部が黒に変換
されずに白と変換されてしまうことがあった。このため
正確な二値化を行うことができずに第12図(b)に示
すごとく金額部が判別しにくい二値画像が得られていた
あるいは第13図(a)に示されているような天気記号
や風力記号を二値化する際においても雨を表す黒丸記号
イや雷雨を現す半黒丸記号口等で中抜けが生じて誤った
記号に変化してしまう等、正確な二値化を行うことがで
きないことに起因する様々な問題があった。
本発明は上記従来の課題に鑑みなされたものであり、そ
の目的は、二値化の際に用いるしきい値を従来技術に比
べてさらに適応的に補正し、文字や図形等の中抜けがな
く、情報の欠落のない正確な画像処理を行うことが可能
な画像二値化方式を提供することにある。
[課題を解決するための手段] 上記目的を達成するために、本発明は複数の画素により
構成される画像の濃度レベルに関する情報を二値化する
画素の周囲画素濃度レベルの平均値に基づくしきい値を
用いて二値化する画像二値化方式において、第1図の実
線に示すごとく前記二値化する画素の周囲画素濃度レベ
ルの平均値が所定の境界値より大なる時には前記しきい
値より上方に設定された下方補正しきい値を、また前記
二値化する画素の周囲画素濃度レベルの平均値が前記所
定の境界値より小なる場合には前記しきい値より上方に
設定された上方補正しきい値を用いて画像の濃度レベル
に関する情報を二値化することを特徴としている。
さらに、前記境界値を所定の値ではなく、二値化する画
素の周囲のある定められた範囲の画素濃度レベルに基づ
いて変更することにより可変とし、二値化する画素の周
囲画素濃度レベルの平均値が前記可変の境界値より大な
る時は前記しきい値より下方に設定された下方補正しき
い値を、また前記二値化する画素の周囲画素濃度レベル
の平均値が前記可変の境界値より小なる時には前記しき
い値より上方に設定された上方補正しきい値を用いて画
像の濃度レベルに関する情報を二値化することを特徴と
している。
このようにしきい値を境界値において上方あるいは下方
に補正することにより二値化の対象となる画素濃度レベ
ルとしきい値を比較し、その大小関係により二値化を行
う際に正確な処理を行うことが可能となる。
すなわち、第1図に示すごとくしきい値を補正すること
により二値化の対象となる画素の周囲画素濃度レベルの
平均値が所定の境界値より大なる時には従来のしきい値
に比べて下方に補正される。
このため、従来のしきい値を用いたのでは本来臼に変換
されるべき濃度レベルを有する画素がしきい値が大きい
ために黒と変換され誤って二値化が行われていたが、本
発明のごとくしきい値を下方に補正することにより本来
臼に変換されるべき濃度レベルを有する画素を正しく白
と変換し、正確に二値化を行うことができる。
また、二値化の対象となる画素の周囲画素濃度レベルの
平均値が所定の境界値より小なるときには従来のしきい
値に比べて上方に補正される。このため、従来のしきい
値を用いたのでは、黒に変換されるべき濃度レベルを有
する画素がしきい値が小さいため白と誤って変換されて
いたが、本発明のごとくしきい値を上方に補正すること
により、黒に変換されるべき濃度レベルを有する画素を
正しく黒と変換し、正確に二値化を行うことができる。
さらに、第1図における境界値を所定の値ではなく、二
値化の対象となる画素の周囲の定められた範囲の画素濃
度レベルに基づいて変更可能とすると文字、図形等の濃
度レベルが相違する一連の文書画像を二値化する場合に
おいても境界値が各文書画像に応じて変化し、しきい値
を適切に補正することが可能となるので、正確に二値化
を行うことができる。
[実施例] 以下、図面に基づき本発明の好適な実施例を説明する。
第2図は本発明に係る第1実施例の構成ブロック図であ
る。
文字や図形等からなる文書画像を処理する場合、一つの
画像は複数の画素として扱われる。各画素の濃度レベル
は不図示のフォトディテクタ等の光学的手段により電気
信号の強弱に変換される。
電気信号に変換された画像の濃度レベルに関する情報は
、入力信号100として画像メモリ12に入力し、例え
ば8ビツトの量子化数として保存される。次に、画像メ
モリ12に保存された画像の各画素濃度レベルに関する
情報のうち、二値化の対象となっている画素の周囲画素
濃度レベルの情報は平均算出部14に送られ、その平均
値が算出される。平均値算出部14で算出された、二値
化の対象となっている画素の周囲画素濃度レベルの平均
値はさらにしきい値決定部16に送られ、二値化の際に
用いられるしきい値が決定される。
そして二値化の対象となる画素の濃度レベルとこのしき
い値は比較器20に送られて比較され、両値の大小関係
により黒あるいは白に相当する値に二値化される。二値
化された画素濃度レベルは出力信号102として出力さ
れ、文書画像は黒あるいは白の二値画像として処理され
る。ここで、本発明に特徴的なことはしきい値決定部1
6でしきい値を決定する際に新たに所定の値を有する境
界値18をしきい値決定部16に入力し、第1図に示す
ごとく二値化の対象となっている画素の周囲画素濃度レ
ベルの平均値が所定の境界値より大なる時には前記しき
い値より下方に設定された下方補正しきい値を、また前
記二値化する画素の周囲画素濃度レベルの平均値が前記
所定の境界値より小なる場合には前記しきい値より上方
に設定された上方補正しきい値を用いたことにある。こ
のようにしきい値を周囲画素濃度レベルに応じて適応的
に補正することにより、例えば第3図の説明図において
周囲画素濃度レベルの平均値が小なる場合例えば図中a
の場合、従来Taであったしきい値がTa −(Ta<
Ta−)と上方に補正される。
このため、二値化の対象となっている画素の濃度レベル
を第2図の比較器20でしきい値と比較する際、第4図
(a)の二値化説明図に示す如く、従来はしきい値Ta
より大なるために白(図では255の値に相当)と誤っ
て変換されたために中抜は等の問題が生じていた図中P
点濃度レベルを有する画素を補正しきい値Ta−を用い
ることにより正しく黒(図では0の値に相当)と変換し
、中抜けを防止することができる。
同様に、第3図の説明図において周囲画素濃度レベルの
平均値が大なる場合例えば図中すの場合、従来Tbであ
ったしきい値がTb−(Tb>Tb′)と下方に補正さ
れる。このため、二値化の対象となっている画素の濃度
レベルを第2図の比較器20でしきい値と比較する際、
第4図(b)に示すごと〈従来はしきい値Tbより小な
るために黒(図では0の値に相当)と誤って変換された
図中a点の濃度レベルを有する画素を補正しきい値Tb
−を用いることにより正しく白(図では255の値に相
当)と変換することができる。
第5図に本方式による二値画像の一例を前述した従来の
第12.13図と対応して示し、従来の方式による二値
画像(第8図(b))に比べ、正確に二値化されている
ことがわかる。
なお、本実施例ではしきい値を第1図のごとく補正した
が、第6図、あるいは第7図に示すような補正を行うこ
とも勿論可能である。
第8図に本発明に係る第2実施例の構成ブロック図を示
す。第8図において第1実施例の構成ブロック図を示す
第2図と同一部については同一符号を付し、その説明は
省略する。
本実施例においては、第2図のように境界値を所定の値
としてしきい値決定部16に入力するのではなく、新た
に境界値決定部22を設け、ここで二値化する画素の周
囲のある定められた範囲の画素濃度レベルに基づいて境
界値を変更し、しきい値決定部16に人力している。変
更する方策としては、定められた範囲の画素濃度レベル
の中間地、最頻値、あるいは最大値と最小値の平均値を
算出する等が考えられるが、本実施例においては定めら
れた範囲の画素濃度レベルの最大値と最小値の平均値を
境界値決定部22で決定している。
このように本実施例においては、二値化する画素の周囲
のある定められた範囲の画素濃度レベルに基づいて境界
値を変更することができる。
このため、第9図に示すごとく、横軸に画素濃度レベル
、縦軸に画素数をとったヒストグラムを描いた時に、同
図(a) 、(b)のように文字の濃さや紙の色の違い
に起因して異なる画素数分布を有する2つの文書画像を
連続して二値化する場合においても、第10図(a)、
(b)に示すごとく各文書画像の濃度レベルに応じて境
界値がシフトし、従って各文書毎に適応してしきい値補
正を行うことができる。
〔発明の効果〕
以上説明したように、本発明に係る画像二値化方式によ
れば文書画像を二値化する際に用いるしきい値を適応的
に補正したので、文字や図形等の中抜は等の情報の欠落
がない正確な二値化を行うことが可能となる。
【図面の簡単な説明】
第1図は本発明に係る画像二値化方式におけるしきい値
決定の一例を示す関数図、 第2図は本発明に係る第1実施例の構成ブロック図、 第3図は本発明に係る第1実施例の補正しきい値の説明
図、 第4図は本発明に係る第1実施例の二値化説明図、 第5図は本発明に係る第1実施例による資料画像図、 第6.7図は本発明に係る画像二値化方式における他の
しきい値決定関数図、 第8図は本発明に係る第2実施例の構成ブロック図、 第9図は文書間の濃度ばらつきを示すヒストグラム図、 第10図は本発明に係る第2実施例の境界値の変更を示
す説明図、 第11図は従来技術におけるしきい値決定関数図、 第12図は資料画像及び従来技術により二値化した資料
画像図、 第13図は他の資料画像及び従来技術により二値化した
他の資料画像図である。 画像メモリ 平均算出部 しきい値決定部 境界値信号 比較器 境界値決定部 入力信号 出力信号 出願人 イーストマン・コダック(ジャパン)株式会社 代理人 弁理士 吉田研二(外1名) [D−7]オ1
火)芭ケJ−q拍−正、し心・イ直蔓丸明悶第3図 矛1 大)と/CJっmAフτゴック戸1第2図 ニイ頂イ乙4亘。 (G) (b) eil 大)とり゛JpニイJ【イ乙虐A−明凶第4図 (b) t  I  Xkイタ’I  t: J Qi’ Pr
#イ’&lff1第5図 イで:の しき〜・イL y!i関tc[Q第6図 イこのしき(・4aシ民27fiU14第7図 岳早壮 (a) [有][朕 (b) 第 ソ 図 (G) (b) り唄町、フイ直・すfjヒλf、(Sしオーリア1ト弓
第10図 (a) (b) 責!P+這b4c ↓、よび・状未技羽脅c:Jリニイ
直イ乙しF責ギ→画イ象凹 第 図 状宋tえ41丁1;枦賠しさ\・イ1に、〉ノこ地三す
肖妖ツ4第 図 (b) 第 13図

Claims (2)

    【特許請求の範囲】
  1. (1)複数の画素より構成される画像の濃度レベルに関
    する情報を二値化する画素の周囲の濃度レベルの平均値
    に基づくしきい値を用いて二値化する画像二値化方式に
    おいて、 前記二値化する画素の周囲画素濃度レベルの平均値が所
    定の境界値より大なる時には前記しきい値より下方に設
    定された下方補正しきい値を、また前記二値化する画素
    の周囲画素濃度レベルの平均値が前記所定の境界値より
    小なる場合には前記しきい値より上方に設定された上方
    補正しきい値を用いて画像の濃度レベルに関する情報を
    二値化することを特徴とする画像二値化方式。
  2. (2)請求項(1)記載の画像二値化方式において、 前記二値化する画素の周囲画素濃度レベルの平均値が二
    値化する画素の周囲のある定められた範囲の画素濃度レ
    ベルに基づいて変更された境界値より大なる時は前記し
    きい値より下方に設定された下方補正しきい値を、また
    前記二値化する画素の周囲画素濃度レベルの平均値が前
    記境界値より小なる場合には前記しきい値より上方に設
    定された上方補正しきい値を用いて画像の濃度レベルに
    関する情報を二値化することを特徴とする画像二値化方
    式。
JP1016014A 1989-01-25 1989-01-25 画像二値化方式 Granted JPH02196565A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP1016014A JPH02196565A (ja) 1989-01-25 1989-01-25 画像二値化方式
US07/346,034 US4931881A (en) 1989-01-25 1989-05-01 Method of reducing digital images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1016014A JPH02196565A (ja) 1989-01-25 1989-01-25 画像二値化方式

Publications (2)

Publication Number Publication Date
JPH02196565A true JPH02196565A (ja) 1990-08-03
JPH0576223B2 JPH0576223B2 (ja) 1993-10-22

Family

ID=11904716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1016014A Granted JPH02196565A (ja) 1989-01-25 1989-01-25 画像二値化方式

Country Status (2)

Country Link
US (1) US4931881A (ja)
JP (1) JPH02196565A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317417A (en) * 1990-11-21 1994-05-31 Matsushita Graphic Communication Systems, Inc. Image processing apparatus with improved image reduction

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0681258B2 (ja) * 1988-12-05 1994-10-12 三菱電機株式会社 イメージデータの二値化回路
US5760918A (en) * 1989-09-27 1998-06-02 Canon Kabushiki Kaisha Image processing apparatus with conversion and reconversion of the number of bits per pixel
US5081690A (en) * 1990-05-08 1992-01-14 Eastman Kodak Company Row-by-row segmentation and thresholding for optical character recognition
US5101452A (en) * 1990-12-17 1992-03-31 Eastman Kodak Company Apparatus and method for dynamic step quantization
JPH04275772A (ja) * 1991-03-04 1992-10-01 Eastman Kodak Japan Kk 画像読み取り装置
US5337167A (en) * 1991-04-03 1994-08-09 Matsushita Electric Industrial Co., Ltd. Halftone image forming apparatus including density based dot enlargement
US5647026A (en) * 1991-10-29 1997-07-08 Eastman Kodak Company Uniformity correction and threshold or halftoning conversion unit and method
US5282061A (en) * 1991-12-23 1994-01-25 Xerox Corporation Programmable apparatus for determining document background level
CA2211258C (en) * 1995-01-31 2000-12-26 United Parcel Service Of America, Inc. Method and apparatus for separating foreground from background in images containing text
GB9726386D0 (en) * 1997-12-12 1998-02-11 Univ Cambridge Tech Optical correlator
US7912295B1 (en) * 1999-09-28 2011-03-22 Transpacific Optics Llc Method for auto-cropping a scanned image
US6728391B1 (en) 1999-12-03 2004-04-27 United Parcel Service Of America, Inc. Multi-resolution label locator
EP1173003B1 (en) * 2000-07-12 2009-03-25 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP5114114B2 (ja) * 2007-07-03 2013-01-09 京セラドキュメントソリューションズ株式会社 画像形成装置
TWI413937B (zh) * 2008-08-11 2013-11-01 Asia Optical Co Inc 影像辨識方法與裝置
JP6599672B2 (ja) * 2015-07-17 2019-10-30 日本電産サンキョー株式会社 文字切り出し装置、文字認識装置、および文字切り出し方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6066577A (ja) * 1983-09-21 1985-04-16 Nec Corp フアクシミリ装置の画信号2値化回路
JPS6264166A (ja) * 1986-04-21 1987-03-23 Canon Inc 画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4554593A (en) * 1981-01-02 1985-11-19 International Business Machines Corporation Universal thresholder/discriminator
JPS5896458A (ja) * 1981-12-04 1983-06-08 Fuji Xerox Co Ltd 2値化方式
JPS5954376A (ja) * 1982-09-21 1984-03-29 Konishiroku Photo Ind Co Ltd 画像処理方法
US4656665A (en) * 1985-01-15 1987-04-07 International Business Machines Corporation Thresholding technique for graphics images using histogram analysis
US4742399A (en) * 1985-11-01 1988-05-03 Dainippon Screen Mfg. Co., Ltd. Method of and apparatus for generating high-resolution bilevel image data
JPS62200976A (ja) * 1986-02-28 1987-09-04 Dainippon Screen Mfg Co Ltd 高分解能2値化画像出力装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6066577A (ja) * 1983-09-21 1985-04-16 Nec Corp フアクシミリ装置の画信号2値化回路
JPS6264166A (ja) * 1986-04-21 1987-03-23 Canon Inc 画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317417A (en) * 1990-11-21 1994-05-31 Matsushita Graphic Communication Systems, Inc. Image processing apparatus with improved image reduction

Also Published As

Publication number Publication date
US4931881A (en) 1990-06-05
JPH0576223B2 (ja) 1993-10-22

Similar Documents

Publication Publication Date Title
US7298896B2 (en) Image processing device for optically decoding an image recorded on a medium for digital transmission of the image information
JPH02196565A (ja) 画像二値化方式
JP3313399B2 (ja) 画像処理装置
US7751648B2 (en) Image processing apparatus, image processing method, and computer program
JP3335830B2 (ja) 画像処理装置
JP3040896B2 (ja) 画像処理装置
JP3083673B2 (ja) 像域識別装置
US6842267B1 (en) Image processing method
JP2874592B2 (ja) 文字・写真・網点領域を判別する画像処理装置
JPH04281671A (ja) 画像処理装置
JP2000276553A (ja) 情報コードの2値化方法、当該2値化方法を用いた光学情報読取装置、及び当該2値化方法を用いたコード品質判断補助装置
JPS6037952B2 (ja) 最適二値化方式
JPH0119193B2 (ja)
JP3326309B2 (ja) 画像処理装置
JP3475606B2 (ja) 画像処理装置
JP3032238B2 (ja) 画像処理装置
JPH08221515A (ja) 画像処理装置
JPS60102060A (ja) 画像二値化装置
JP2002262074A (ja) 画像処理装置、画像処理方法、該方法を実行するプログラムおよび該プログラムを記録した記録媒体
JPH06350851A (ja) バックグラウンド濃度検出装置
JPH03153167A (ja) 文字領域分離方式
JP2000261666A (ja) 画像処理装置
JPH0554190A (ja) 画像処理装置
JPH0385061A (ja) 文字領域分離方式
JPH1051631A (ja) デジタル画像処理装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071022

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081022

Year of fee payment: 15

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091022

Year of fee payment: 16

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091022

Year of fee payment: 16