JPH10274652A - 物体識別装置 - Google Patents
物体識別装置Info
- Publication number
- JPH10274652A JPH10274652A JP8005097A JP8005097A JPH10274652A JP H10274652 A JPH10274652 A JP H10274652A JP 8005097 A JP8005097 A JP 8005097A JP 8005097 A JP8005097 A JP 8005097A JP H10274652 A JPH10274652 A JP H10274652A
- Authority
- JP
- Japan
- Prior art keywords
- image
- hue
- fourier transform
- power spectrum
- dimensional fourier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Spectrometry And Color Measurement (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
て、撮像する不定形物体の明るさが変動してもそれに影
響されずに解析対象の画像領域を安定して抽出すること
ができるようにすること。 【解決手段】 顕微鏡1の試料台に試料が載置される
と、この顕微鏡画像は撮像手段8によりカラー画像とし
て、撮像される。色相検出手段10は、この撮像された
画像の各画素の色相を検出し、第1の画像前処理手段1
1は、この検出された色相に基づいて解析対象部分を抽
出する。抽出された解析対象部分は、2次元フーリエ変
換手段14によってフーリエ変換される。この変換結果
によりパワースペクトル検出手段15は、解析対象部分
の画像のパワースペクトルを検出する。識別判定手段1
6は、このパワースペクトルに基づいて試料中の不定形
物体を識別する。
Description
尿、病理検体など、粒子成分を含む試料の生物顕微鏡画
像や蛍光顕微鏡画像などから不定形物体を識別する物体
識別装置の改良に関する。
8417号、特開平8−29140号、特開平8−30
4390号などに記載されている装置がある。これらの
装置は、いずれも撮像手段により得られた画像を2次元
フーリエ変換してパワースペクトルを検出し、これに基
づいて不定形物体を識別している。
られた画像の一部分を抽出し、これを解析対象画像とす
るものがある。たとえば、1つの白血球をまず検出し更
にその白血球の核の部分を抽出する。これによれば、白
血球を種類別に識別することができる。従来はこのよう
な抽出は、撮像手段により得られたカラー画像のRGB
(Red,Green,Blue)の濃度情報を直接使用していた。
定形物体の特定部分の抽出を行なう場合に、カラー画像
のRGBの濃度情報を直接使用していた。このため、光
源や染色条件などによって不定形物体の明るさが変動し
た場合には、抽出したい画像領域以外の画像領域が抽出
されたり、抽出したい画像領域の一部が抽出できなくな
るという事態が生じていた。
めの画像抽出において、撮像する不定形物体の明るさが
変動してもそれに影響されずに解析対象の画像領域を安
定して抽出することができるようにすることである。
不定形物体を含む物質をカラー画像として撮像する撮像
手段と、この撮像手段が撮像したカラー画像のRGBの
濃度情報から色相情報を検出する色相検出手段と、この
色相検出手段が検出した色相情報に基づき、あるいは前
記RGBの濃度情報および前記色相情報に基づいて、前
記撮像手段が撮像した画像のうち解析対象部分を抽出す
る抽出手段と、この抽出手段により抽出された解析対象
部分の画像を2次元フーリエ変換する2次元フーリエ変
換手段と、この2次元フーリエ変換手段の変換結果に基
づいて前記解析対象部分の画像のパワースペクトルを検
出するパワースペクトル検出手段と、このパワースペク
トル検出手段が検出したパワースペクトルに基づいて前
記不定形物体を識別する識別手段とを具備する構成であ
る。
対象画像は色相情報に基づいて抽出される。このため、
解析対象画像を、RGBの濃度情報から直接抽出する装
置に比べ、光源や染色条件により対象物体の明るさが変
動しても、安定して解析対象画像を抽出することができ
る。
手段を、アナログ演算回路とするならば、極めて簡単な
構成で迅速に色相検出を行なうことができる。
行なう装置とすれば、正確に血液細胞の識別を行なうこ
とができる。
ーリエ変換手段を、抽出された画像のデジタルデータを
用いて計算により2次元フーリエ変換を行なう手段とす
るならば、装置のハードウェアは簡単となる。
光フーリエ変換を行なう光学的装置とするならば、迅速
に2次元フーリエ変換を行なうことができる。
構成図である。顕微鏡1は試料を載置する試料台を備え
ている。この試料台は、試料台移動手段2によって、顕
微鏡1の対物レンズの光軸に対し直交する平面を移動自
在とされている。識別対象物体位置検出手段3は、識別
対象物体が特定位置に至ったことを検出する手段であ
る。試料台制御手段4は、識別対象物体位置検出手段3
の検出信号に基づいて試料台移動手段2を制御する手段
である。焦点検出手段5は、試料に対し顕微鏡1の焦点
が合っているかを検出する手段であり、焦点調整手段6
は、顕微鏡1に対する試料の位置を変化させる手段であ
る。自動焦点制御手段7は、焦点検出手段5の検出信号
に基づいて焦点調整手段6を制御し、試料台上の試料に
顕微鏡1の焦点を合わせる手段である。
像のうちある時点の静止カラー画像を撮像する手段であ
り、例えばCCDカメラが用いられている。メモリ9
は、撮像手段8が撮像した画像を記憶するものである。
た画像の各画素の色相を検出する手段である。この手段
の具体的構成については後述する。
記憶している画像と、色相検出手段10が検出した色相
に基づいて設定された色相値の画素を選択し、その設定
された色相値の画素から構成される画像を抽出する手段
である。
像前処理手段11が抽出した画像の色と面積を検出する
手段である。第2の画像前処理手段13は、第1の画像
前処理手段11が抽出した画像が小さい場合あるいは明
瞭でない場合には拡大あるいは強調する手段である。
像前処理手段13から与えられる画像の2次元フーリエ
変換を行う手段である。この手段は、特開平8−291
40号に記載されているように光学的手段であっても良
いし、特開平8−304390号に記載されているよう
にコンピュータによるものでも良い。パワースペクトル
検出手段15は、2次元フーリエ変換手段14の変換結
果に基づいてパワースペクトルを求める手段である。
出手段15が求めたパワースペクトルと補助パラメータ
検出手段12が検出した色、面積のデータに基づいて第
1の画像前処理手段11が抽出した画像の識別を行う手
段である。この識別判定手段16は、学習機能を備えて
おり、学習結果を記憶するための学習テーブル17が接
続されている。
ためものであり、自動焦点制御手段7、試料台制御手段
4、第1の画像前処理手段11、第2の画像前処理手段
13および2次元フーリエ変換手段14を制御するもの
である。
すような構成である。この手段は、Haydn の定義による
RGB−HIS変換(RGBの濃度から色相H、明度
I、彩度Sへの変換)を用いたものである。Haydn の定
義は、次のようである。Hは、1≦H≦4に規格化され
ているとして、 R,G≧Bであるとき、H=(G−B)/(R+G−2B)+3 (1) G,B≧Rであるとき、H=(B−R)/(G+B−2R)+1 (2) R,B≧Gであるとき、H=(R−G)/(B+R−2G)+2 (3) のように定義される。上記の式(1) 〜(3) において、定
数項を0にして式を展開し、割り算項をなくして次のよ
うに定義する。H1 =H−3、H2 =H−1 、H3 =H
−2とすると、 R,G≧Bであるとき、H1 (R+G−2B)=(G−B) (4) G,B≧Rであるとき、H2 (G+B−2R)=(B−R) (5) R,B≧Gであるとき、H3 (B+R−2G)=(R−G) (6)
画素は、R,B≧Gであることが予めわかっている場合
である。したがって、式(6) が用いられる。また、抽出
すべき画像は、色相がある値H0 以上であることもわか
っているとする。
像手段8から与えられる各画素のR,G,Bの濃度から
B+R−2Gを求める回路であり、アナログ演算器22
は、撮像手段8から与えられる各画素のR,G,Bの濃
度からR−Gを求める回路である。分圧器23は、制御
部18から与えられる分圧度設定信号により分圧度を変
えられる分圧器であり、アナログ演算器21の出力であ
る(B+R−2G)をH3 倍する回路である。比較器2
4は、分圧器23の出力H3 ( B+R−2G)と、アナ
ログ演算器22の出力(R−G)を比較し、その結果を
出力する回路である。このため比較器24は、式(6) の
左辺と右辺の比較を行うことになる。ここで、H3 =H
0 −2に設定されている。したがって、比較器24が、
H3(B+R−2G)>(R−G)と判断すればその画素
の色相はH0 以上であることがわかる。
すようなアナログ演算回路によって構成しても良い。こ
の場合、式(4) 〜(6) において、右辺の引き算項を左辺
に移した次の式が根拠となっている。 R,G≧Bであるとき、H1 (R+G−2B)−(G−B)=0 (7) G,B≧Rであるとき、H2 (G+B−2R)−(B−R)=0 (8) R,B≧Gであるとき、H3 (B+R−2G)−(R−G)=0 (9)
識別対象物体の画素は、R,B≧Gであることが予めわ
かっている場合である。したがって、式(9) が用いられ
る。また、抽出すべき画像は、色相がある値H0 以上で
あることもわかっているとする。
ログ演算器22および分圧器23は図2に示した回路と
同じである。差算器25は、分圧器23の出力と、アナ
ログ演算器22の出力の差をとる回路である。比較器2
7は、基準電圧電源26の電圧0Vと、差算器25の出
力とを比較する回路である。
B+R−2G)と、アナログ演算器22の出力(R−
G)との差をとり、比較器27は、この差と基準電圧0
Vとを比較する。このため比較器27は、式(9) の左辺
と右辺の比較を行うことになる。ここで、H3 =H0 −
2に設定されている。したがって、比較器27が、H3
(B+R−2G)−(R−G)>0と判断すればその画
素の色相はH0 以上であることがわかる。
4のフローチャートを参照して説明する。まず操作者
は、試料を顕微鏡1の試料台に載置する(S1)。ここ
で試料は染色した血液であり、識別すべき不定形物体は
白血球である。次に制御部18は自動焦点制御手段7に
焦点位置の制御を行わせる。これにより、自動焦点制御
手段7は、焦点検出手段5が検出した焦点位置に基づい
て、焦点調整手段6を動作させて顕微鏡1のレンズの焦
点が試料台上の試料に合うようにする(S2)。次に制
御部18は試料台制御手段4に試料台の移動開始を指示
する(S3)。これにより、試料台は移動し、識別対象
物体位置検出手段3は、1つの識別対象物体が特定位置
に至るとこれを検出する。試料台制御手段4は、識別対
象物体位置検出手段3の検出結果により識別対象物体が
検出されたか否かを判断し(S4)、この検出が有れば
試料台の移動を停止し(S5)、この検出が無ければス
テップS3の処理に戻る。
(S6)。すなわち撮像手段8は検出された1つの識別
対象物体の顕微鏡静止画像を撮像し、これをメモリ9お
よび色相検出手段10に出力する。メモリ9はこれを記
憶する。色相検出手段10は与えられた画像の各画素に
ついて色相を検出する(S7)。例えば、色相検出手段
10が図2または図3に示す構成であれば、各画素につ
いてその色相が色相値H0 より大か小かが検出される。
次に第1の前処理手段11は、色相検出手段10から与
えられる色相検出結果に基づき、あるいはRGBの濃度
情報および色相情報に基づいて画像の抽出を行う(S
8)。この画像が解析対象の画像であり、例えば白血球
の核の画像である。
の画像前処理手段11が抽出した画像の色と面積を検出
する(S9)。次に第2の画像前処理手段13は、第1
の画像前処理手段11が抽出した画像が小さいかあるい
は明瞭でないか、すなわち拡大あるいは強調が必要かを
判断し(S10)、必要ならば拡大、強調する処理を行
う(S11)。
の画像前処理手段13から与えられる画像の2次元フー
リエ変換を行う(S12)。ステップS10において、
拡大あるいは強調の処理が不要であると判断したとき
は、ステップS11の処理は省略される。次にパワース
ペクトル検出手段15は、2次元フーリエ変換手段14
の変換結果に基づいてパワースペクトルを求める(S1
3)。
7の内容を参照し、パワースペクトル検出手段15が求
めたパワースペクトルと補助パラメータ検出手段12が
検出した色、面積のデータに基づいて第1の画像前処理
手段11が抽出した画像の識別を行う(S14)。ここ
で白血球は、例えばリンパ球、好中球、好酸球、好塩基
球などのように識別される。識別判定手段16の学習結
果は、学習テーブル17に蓄積される。
記憶しており、これにより、すべての識別対象物体すな
わち白血球が識別されたかを判断し(S15)、すべて
の識別対象物体が識別されたと判断したならば、本装置
の処理を終了させ、そうでないならば、ステップS3の
処理に戻る。
ワースペクトルのみならず色、面積のデータに基づいて
識別を行なうのでより正確な識別を行なうことができ
る。また本装置によれば、抽出した画像が小さい場合に
は拡大した画像とし、不明瞭な場合には強調した画像に
するので、より正確な識別を行なうことができる。
例を示したが、染色の方法によっては抽出したい部位で
R,B≧Gでない条件となることもあり得る。そのよう
な場合には、そのR,G,Bの大きさ関係に基づいて
(4)(5)式または(7)(8)式を選択して用いれば良い。
にはHaydn の定義によるRGB−HIS変換のHを用い
るものであったが、これに代えて、下記のようなRGB
−HIS変換のHを用いるものであっても良い。 (A)Raines定義によるRGB−HIS変換 R、G、B、Hが、0<R<1、0<G<1、0<B<
1、0<H<2πに規格化されているとして、 H=arctan{(G−B)(2R−G−B)} (B)HSI6角錐カラーモデルによるRGB−HIS
変換 RGB直交座標系において、3軸に接する立方体を考
え、RGB立方体の主対角軸を明度軸Iとし、Imax =
max{R,G,B} 、Imin =min{R,G,B} とする。
このとき、r,g,bを、 r=(Imax −R)/(Imax −Imin ) g=(Imax −G)/(Imax −Imin ) b=(Imax −B)/(Imax −Imin ) と定義して、 Imax =0のとき、 H=不定 Imax ≠0で、R=Imax のとき、H=(π/3)×
(b−g) Imax ≠0で、G=Imax のとき、H=(π/3)×
(2+r−b) Imax ≠0で、B=Imax のとき、H=(π/3)×
(4+g−r) ただし、H<0のときは、Hの値に2πを加えるものと
する。 (C)RGB−HIS変換双SI6角錐カラーモデルに
よるRGB−HIS変換 Imax =max{R,G,B} 、Imin =min{R,G,B}
として、明度IをI=(Imax +Imin )/2とする。
このとき、r,g,bを、 r=(Imax −R)/(Imax −Imin ) g=(Imax −G)/(Imax −Imin ) b=(Imax −B)/(Imax −Imin ) と定義して、 Imax =Imin のとき、 H=不定 Imax ≠Imin で、R=Imax のとき、H=(π/3)
×(b−g) Imax ≠Imin で、G=Imax のとき、H=(π/3)
×(2+r−b) Imax ≠Imin で、B=Imax のとき、H=(π/3)
×(4+g−r) ただし、H<0のときは、Hの値に2πを加えるものと
する。
段10は、いずれも1つの色相の設定値に対して大か小
かを判断するものであるが、アナログ演算器21、22
の出力を同様に処理する回路をもう1組設け、それぞれ
の回路の分圧器23の分圧度を異ならせて設定するなら
ば、色相の上限、下限が設定できるので、色相の値があ
る範囲に入っているかどうかを検出することができる。
アナログの演算回路を用いたが、これはデジタルコンピ
ュータによるものであっても良い。
画像のRGBの濃度情報を色相情報に変換して解析対象
部分の画像抽出を行なっている。色相は明度とは独立し
ているため、識別すべき不定形物体の明るさが光源や染
色条件によって変動しても、安定して解析対象部分の画
像抽出を行なうことができる。このため本発明によれば
識別精度の向上を図ることができる。また、従来のよう
にカラー画像のRGBの濃度情報から直接解析対象部分
を抽出する場合には、3つのパラメータのそれぞれにつ
いて最適な抽出条件を決める必要があるが、パラメータ
は1つで良いので、最適な抽出条件を単純に決定するこ
とができる。
相検出手段は、アナログ演算回路であるので、極めて簡
単な構成で迅速に色相検出を行なうことができる。
確に血液細胞の識別を行なうことができる。
ーリエ変換手段は、抽出された画像のデジタルデータを
用いて計算によりフーリエ変換を行なう手段であるの
で、装置のハードウェアは簡単となる。
ーリエ変換手段は、光フーリエ変換を行なう光学的装置
であるので、迅速にフーリエ変換を行なうことができ
る。
図。
図。
示す図。
ーチャート。
Claims (5)
- 【請求項1】 識別すべき不定形物体を含む物質をカラ
ー画像として撮像する撮像手段と、 この撮像手段が撮像したカラー画像のRGBの濃度情報
から色相情報を検出する色相検出手段と、 この色相検出手段が検出した色相情報に基づき、あるい
は前記RGBの濃度情報および前記色相情報に基づい
て、前記撮像手段が撮像した画像のうち解析対象部分を
抽出する抽出手段と、 この抽出手段により抽出された解析対象部分の画像を2
次元フーリエ変換する2次元フーリエ変換手段と、 この2次元フーリエ変換手段の変換結果に基づいて前記
解析対象部分の画像のパワースペクトルを検出するパワ
ースペクトル検出手段と、 このパワースペクトル検出手段が検出したパワースペク
トルに基づいて前記不定形物体を識別する識別手段とを
具備することを特徴とする物体識別装置。 - 【請求項2】 色相検出手段は、アナログ演算回路であ
ることを特徴とする請求項1に記載の物体識別装置。 - 【請求項3】 識別対象の不定形物体は、血液細胞であ
ることを特徴とする請求項1に記載の物体識別装置。 - 【請求項4】 2次元フーリエ変換手段は、抽出された
画像のデジタルデータを用いて計算によりフーリエ変換
を行なう手段であることを特徴とする請求項1に記載の
物体識別装置。 - 【請求項5】 2次元フーリエ変換手段は、光フーリエ
変換を行なう光学的装置であることを特徴とする請求項
1に記載の物体識別装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08005097A JP3338625B2 (ja) | 1997-03-31 | 1997-03-31 | 物体識別装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08005097A JP3338625B2 (ja) | 1997-03-31 | 1997-03-31 | 物体識別装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10274652A true JPH10274652A (ja) | 1998-10-13 |
| JP3338625B2 JP3338625B2 (ja) | 2002-10-28 |
Family
ID=13707422
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08005097A Expired - Fee Related JP3338625B2 (ja) | 1997-03-31 | 1997-03-31 | 物体識別装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3338625B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008292195A (ja) * | 2007-05-22 | 2008-12-04 | Toyota Central R&D Labs Inc | 物体識別装置及びプログラム |
| JP2011107029A (ja) * | 2009-11-19 | 2011-06-02 | Toyota Central R&D Labs Inc | 脱脂度判定装置及び方法 |
| JP2012002532A (ja) * | 2010-06-14 | 2012-01-05 | Nippon Telegr & Teleph Corp <Ntt> | 劣化診断方法、劣化診断装置及び劣化診断プログラム |
| JP2014002166A (ja) * | 2007-09-21 | 2014-01-09 | Aperio Technologies Inc | デジタルスライド画像を表示する方法 |
| JP2022016172A (ja) * | 2020-07-10 | 2022-01-21 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101489936B1 (ko) * | 2013-12-26 | 2015-02-04 | 주식회사 포스코 | 영상을 이용하여 소결광의 환원도를 분석하기 위한 장치 및 그 방법 |
-
1997
- 1997-03-31 JP JP08005097A patent/JP3338625B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008292195A (ja) * | 2007-05-22 | 2008-12-04 | Toyota Central R&D Labs Inc | 物体識別装置及びプログラム |
| JP2014002166A (ja) * | 2007-09-21 | 2014-01-09 | Aperio Technologies Inc | デジタルスライド画像を表示する方法 |
| JP2011107029A (ja) * | 2009-11-19 | 2011-06-02 | Toyota Central R&D Labs Inc | 脱脂度判定装置及び方法 |
| JP2012002532A (ja) * | 2010-06-14 | 2012-01-05 | Nippon Telegr & Teleph Corp <Ntt> | 劣化診断方法、劣化診断装置及び劣化診断プログラム |
| JP2022016172A (ja) * | 2020-07-10 | 2022-01-21 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、及び情報処理プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3338625B2 (ja) | 2002-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5642433A (en) | Method and apparatus for image contrast quality evaluation | |
| JP4462959B2 (ja) | 顕微鏡画像撮影システム及び方法 | |
| US6226399B1 (en) | Method and system for identifying an image feature and method and system for determining an optimal color space for use therein | |
| US20120206619A1 (en) | Image processing apparatus, image capturing apparatus and recording medium | |
| US10444486B2 (en) | Systems and methods for detection of blank fields in digital microscopes | |
| WO2012169088A1 (ja) | 画像処理装置、画像処理方法及び画像処理システム | |
| WO2014030378A1 (ja) | 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム | |
| US20220012884A1 (en) | Image analysis system and analysis method | |
| CN102393959A (zh) | 图像处理设备、图像处理方法和图像处理程序 | |
| US20120249770A1 (en) | Method for automatically focusing a microscope on a predetermined object and microscope for automatic focusing | |
| US10395091B2 (en) | Image processing apparatus, image processing method, and storage medium identifying cell candidate area | |
| CN113302472B (zh) | 生物体试样检测装置 | |
| CN111399208A (zh) | 生物荧光样本的聚焦拍摄实现方法、显微镜和存储介质 | |
| JP3338625B2 (ja) | 物体識別装置 | |
| WO2014196097A1 (ja) | 画像処理システム、画像処理装置、プログラム、記憶媒体及び画像処理方法 | |
| CN117576121A (zh) | 一种显微镜扫描区域自动分割方法、系统、设备及介质 | |
| EP1947441B1 (en) | Apparatus for determining positions of objects contained in a sample | |
| JP5530126B2 (ja) | 三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置 | |
| CN103973967A (zh) | 图像获取装置和图像获取方法 | |
| CN118914187A (zh) | 一种物证勘验方法、装置、设备及存储介质 | |
| JPH10302069A (ja) | 物体識別装置 | |
| JP2004178272A (ja) | 画像処理装置および画像処理方法 | |
| JPH06138119A (ja) | 細胞自動分類・分析装置 | |
| KR102240649B1 (ko) | 표본 세포 관찰을 위한 정밀 광학기기의 촬상 방법 | |
| EP4598040A1 (en) | Automated method of assisting manual matrix focusing mode |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20020730 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080809 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090809 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090809 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100809 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100809 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110809 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120809 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120809 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130809 Year of fee payment: 11 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |