JPH0882880A - 放射線画像の位置合せ用対応点決定方法 - Google Patents
放射線画像の位置合せ用対応点決定方法Info
- Publication number
- JPH0882880A JPH0882880A JP7017099A JP1709995A JPH0882880A JP H0882880 A JPH0882880 A JP H0882880A JP 7017099 A JP7017099 A JP 7017099A JP 1709995 A JP1709995 A JP 1709995A JP H0882880 A JPH0882880 A JP H0882880A
- Authority
- JP
- Japan
- Prior art keywords
- corresponding points
- image
- radiation
- radiation image
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000011156 evaluation Methods 0.000 claims abstract description 50
- 238000009826 distribution Methods 0.000 claims abstract description 17
- 230000005855 radiation Effects 0.000 claims description 166
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 44
- 238000012545 processing Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 16
- 239000003550 marker Substances 0.000 description 11
- 238000012937 correction Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 9
- 238000003672 processing method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000010521 absorption reaction Methods 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000002601 radiography Methods 0.000 description 2
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Radiography Using Non-Light Waves (AREA)
Abstract
方法において、位置合せに適した対応点を求めることが
できるようにする。 【構成】 放射線画像4a上に基準対応点40A〜40Dを設
定し、この基準対応点を中心としたテンプレート領域41
A〜41Dを設定する。このテンプレート領域41A〜41D
を用いて放射線画像4b上に置いてテンプレートマッチン
グを行い。放射線画像4b上に複数の対応点を設定する。
この複数の対応点について、(1)テンプレートマッチ
ングにより得られた、テンプレート領域と他の放射線画
像の一部との相関値が所定値以上であること、(2)複
数の対応点近傍の相関値の分布が尾根状とならないこ
と、(3)任意の2基準対応点間の距離と、この2基準
対応点に対応する他の放射線画像上の2対応点の距離と
の比が一定値の範囲内にあること、の評価を行う。
Description
ずれを補正して画像の位置合せをする際に用いる対応点
を求める方法に関し、とくに詳細には放射線画像の重ね
合わせ処理またはサブトラクション処理のために放射線
画像の位置合せを行う際の対応点を求める方法に関する
ものである。
体の放射線画像情報を一旦蓄積性蛍光体のシート(以
下、蓄積性蛍光体シートと称する)に記録し、これを励
起光で走査して輝尽発光させ、この輝尽発光光を光電的
に読み取って画像信号を得、この画像信号を処理して診
断適性の良い被写体の放射線画像を得る方法が知られて
いる。この最終的な画像はハードコピーとして再生した
り、あるいはCRT上に再生したりすることができる。
が公知となっている(例えば特開昭56-11399号参照)。
一般に、放射線画像は診断用その他の目的に使われる
が、その使用に当たっては被写体の微小な放射線吸収差
を良好に検出することが要求される。放射線画像におけ
るこの検出の程度をコントラスト検出能または単に検出
能と呼ぶが、この検出能の高いもの程診断性能も高く、
実用的価値が高い放射線画像であると言うことができ
る。したがって診断性能を高めるため、この検出能を高
くすることが望まれるが、その最も大きな障害要因は各
種ノイズである。重ね合せ処理は、その各種ノイズを大
幅に減少させ、被写体の僅かな放射線吸収差も最終画像
において明確に観察可能にして、検出能を大幅に向上さ
せる方法である。すなわち、複数枚重ねた蓄積性蛍光体
シートに放射線画像を撮影(蓄積記録)し、この複数枚
のシートを読取処理にかけて得た複数の画像信号を加算
処理し、このことにより、前述の各種ノイズを減少させ
るものである。
には、例えば、カセッテに蓄積性蛍光体シートを2枚重
ねて入れて被写体の撮影を行い、2枚の蓄積性蛍光体シ
ートに対して通常の読取処理を逐次行って2組の画像信
号を得、この2組の画像信号を加算処理する方法が用い
られている。
クション処理が公知となっている。この放射線画像のサ
ブトラクションとは、異なった条件で撮影した2つの放
射線画像を光電的に読み出してデジタル画像信号を得た
後、これらのデジタル画像信号を両画像の各画素を対応
させて減算処理し、放射線画像中の特定の構造物を抽出
させる差信号を得る方法であり、このようにして得た差
信号を用いれば、特定構造物のみが抽出された放射線画
像を再生することができる。
次の2つの方法がある。すなわち、(1) 造影剤注入によ
り特定の構造物が強調された放射線画像の画像信号か
ら、造影剤が注入されていない放射線画像の画像信号を
引き算(サブトラクト)することによって特定の構造物
を抽出するいわゆる時間サブトラクション処理と、(2)
同一の被写体に対して相異なるエネルギー分布を有する
放射線を照射し、あるいは被写体透過後の放射線をエネ
ルギー分布状態を変えて2つの放射線検出手段に照射し
て、それにより特定の構造物が異なる画像を2つの放射
線画像間に存在せしめ、その後この2つの放射線画像の
画像信号間で適当な重み付けをした上で引き算(サブト
ラクト)を行って、特定の構造物の画像を抽出するいわ
ゆるエネルギーサブトラクション処理である。
上きわめて有効な方法であるため、近年大いに注目さ
れ、電子工学技術を駆使してその研究、開発が盛んに進
められている。
体シートを用いた放射線画像の重ね合せ処理方法および
サブトラクション処理方法においては以下のような問題
が生じる。
記各処理方法においては、2枚(3枚以上の場合もあ
る)の蓄積性蛍光体シートを順次もしくは同時に撮影台
に挿入して重ね合わせまたはサブトラクションすべき放
射線画像を撮影し、その後に蓄積性蛍光体シートを個別
に読取装置に挿入し、その都度蓄積性蛍光体シートに励
起光を照射することにより発せられた輝尽発光光を検出
することにより放射線画像を読み出すが、この過程にお
いては、撮影および読取りに関わるすべての装置の機械
的精度を上昇させたとしても、重ね合わせまたはサブト
ラクションされるべき画像間で位置ズレおよび回転ズレ
が生じることとなる。この結果、重ね合せ処理において
は各種ノイズがこの処理により平均化されて減少するも
のの、画像中の構造物の縁の部分をはじめ画像全体にボ
ケが生じ、観察すべき画像が観察に適さなくなり、また
サブトラクション処理においては消去されるべき画像が
消去されなかったり、逆に抽出すべき画像が消去されて
偽画像が生じて正確なサブトラクション像を得ることが
できなくなる。このように前述した位置ズレおよび回転
ズレにより、診断上重大な支障が生じるということが見
出された。
積記録された放射線画像情報間に生じると放射線画像は
潜像として蓄積性蛍光体中に蓄積記録されているので、
X線画像を可視像としてとらえることのできるX線写真
フイルムの場合と異なって、目視によって2枚のX線写
真を合わせるといったことができず、ズレ補正は極めて
困難なものとなる。
画像間に生じる位置ズレおよび回転ズレを検出しえたと
しても読み取られた放射線画像のデータを補正すべく従
来公知の演算処理を行うと、特に回転ズレの補正の際に
多大な時間が費やされ、実用上非常に大きな問題とな
る。
に、基準点または基準線を提供するような形状をもつマ
ーカーを用いた放射線画像のサブトラクション処理方法
を提案している。この方法は、マーカーを放射線画像に
対し固定した位置で2枚の蓄積性蛍光体シートに記録
し、この放射線画像の読取りの際にマーカーを検出し、
位置ズレおよび回転ズレを計算してサブトラクションす
べき放射線画像のいズレか一方をデジタルデータ上で回
転および/または移動し、この放射線画像の対応する各
画素間で画像データの引き算を行うものである。このマ
ーカーを用いた放射線画像のサブトラクション処理方法
における位置合せの工程は、上述した重ね合せ処理方法
にも適応することもできる。その場合、位置合せを行っ
た後に放射線画像の対応する各画素間で画像データの加
算処理を行えばよい。
画像の撮影の都度、上述したようなマーカーを被写体と
ともに蓄積性蛍光体シートに蓄積記録しなければならな
い。そして、この蓄積記録した放射線画像のマーカーの
位置と重なる部分からは被写体の画像情報を得ることが
できないという問題がある。
にマーカー等を用いることなく放射線画像の位置合せを
行う方法が提案されている(特願平4-318533号)。この
方法は、位置合せを行う複数の放射線画像のうちの1つ
の放射線画像にテンプレート領域を設定し、このテンプ
レート領域を用いて他の放射線画像についてテンプレー
トマッチングを行って各放射線画像に少なくとも2つの
マーカーの代りとなる対応点を求め、各放射線画像の対
応点が一致するように各対応点をアフィン変換して、各
放射線画像について回転移動補正、拡大または縮小率補
正および平行移動補正を行う方法である。
の代りとなる対応点を見つけ出して利用するものである
から、位置合せのためにマーカー等を被写体とともに記
録することなく、迅速で精度の高い位置合せをすること
ができる。
た位置合せ方法においてはテンプレートマッチングによ
り各放射線画像の対応点を求めるようにしているが、例
えば、放射線画像中のノイズを対応点として求めてしま
う場合があり、このような対応点は各放射線画像の位置
的に共通した対応点とならず位置合せを精度良く行うこ
とができなかった。また、対応点が放射線画像のエッジ
上等の相関値の分布が尾根状となる位置に求められた場
合、位置合せのときにこの尾根に沿って画像がずれ、そ
の結果として位置合せを精度良く行うことができない場
合があった。
せを行うために、位置合せに適した対応点を求めること
ができる放射線画像の位置合せ用の対応点を決定する方
法を提供することを目的とするものである。
の位置合わせ用対応点決定方法は、複数の放射線画像の
位置合せを行うための対応点を決定する方法において、
前記放射線画像のうちの1つの放射線画像上にテンプレ
ート領域を設定し、該1つの放射線画像以外の他の放射
線画像上において前記テンプレート領域を移動させて該
テンプレート領域と前記他の放射線画像の一部との相関
値を求めるテンプレートマッチングを行うことにより、
前記各放射線画像の互いに対応する複数の対応点を求
め、前記各放射線画像のなかの1つの放射線画像の前記
各対応点を基準対応点とし、前記複数の対応点につい
て、(1)前記テンプレートマッチングにより得られ
た、前記テンプレート領域と前記他の放射線画像の一部
との前記相関値が所定値以上であること、(2)前記複
数の対応点近傍の前記相関値の分布が尾根状とならない
こと、(3)任意の2基準対応点間の距離と、該2基準
対応点に対応する他の放射線画像上の2対応点の距離と
の比が一定値の範囲内にあること、の条件のうち少なく
とも1つの条件を満たすか否かの評価を行い、該評価に
適合する対応点を前記位置合せのための対応点とするこ
とを特徴とするものである。
未満である場合には、前記評価に適合しなかった対応点
から所定距離以上離れた放射線画像上において、前記テ
ンプレート領域の設定、前記テンプレートマッチング、
および前記評価を、該評価に適合する対応点が前記所定
数となるまで繰り返し行うことが好ましい。
は、例えば放射線画像のエッジの部分を含むテンプレー
ト領域を設定した場合、このテンプレート領域と他の放
射線画像のエッジ付近におけるテンプレートマッチング
により得られる相関値は、この相関値の分布を3次元状
に見た場合、図8に示すように尾根状となる。このよう
な状態を相関値の分布が尾根状である状態と言うことと
する。
は、上述したように1の放射線画像上にテンプレート領
域を設定した場合、このテンプレート領域を他の放射線
画像上で動かすことにより最もマッチングのとれる場所
を探し出す処理で、その場所を表す点が対応点の座標を
与えるものである。
て、そのマッチング度を表す評価尺度には、相関法およ
びSSDA(Sequential Similarity Detection Algoli
thms)が挙げられる。
を算出し、その積の和を標準化した値(以下標準化値と
称する)を重ね合せの尺度とするものである。この標準
化は、それぞれの領域に於いて画素自身の積(2乗)の
和を算出してさらにそれぞれの和の積を算出し、この積
の平方根を対応する各画素ごとの積の和の分母とするこ
とにより行われる。重ね合せが完全な場合、雑音(ノイ
ズ)などによって分子の積が全て2乗の和とはならず、
このため標準化値は1にはならなくても1に最も近い最
大値になると考えられる。よって、テンプレート領域を
放射線画像上でいろいろ移動させて、上述した標準化値
が最大になる移動をもって重ね合せが達成されたと考え
られる。しかしながら、この標準化値が最大となる移動
は、全ての移動が終了しなければ判定することができな
い。この方法の詳細は、例えばSmith らの「Automated
cloud tracking using precisely aligned digital ATS
pictures 」ibid.、1972年 7月c-21巻、715-729 頁に
記載されている。
対値の和(残差)を重ね合せの尺度とするものである。
重ね合せが完全な場合、雑音(ノイズ)などによって残
差は0にはならなくても最小にはなると考えられる。よ
って、テンプレート領域を画像上でいろいろ移動させ
て、残差が最小になる移動をもって重ね合せが達成され
たと考える。この際、重ね合せがズレていると、各画素
について順次に加算していくとき残差が急激に増大す
る。そこで加算の途中で残差があるしきい値を超えたら
早々に加算を打ち切り次の移動に移る方法がこのSSD
Aである。用いる計算は加算だけであり、しかも多くの
場合途中で打ち切られるため、大幅に計算時間が短縮さ
れる。この方法の詳細は、例えばBarneaらの「A class
of algorithms for fast digital image registration
」IEEE.Trans .、1972年 2月c-21巻、179-186 頁に
記載されている。
を決定する方法は、前述した(1)の条件を満たすか否
かの評価により、放射線画像中のノイズのように位置合
せに適していない対応点は排除され、(2)の条件を満
たすか否かの評価により例えば放射線画像のエッジ部分
に求められた対応点のようにエッジに沿ってずれ易い対
応点は排除される。さらに、放射線画像が完全に一致す
るような場合は、各放射線画像における互いに対応する
2対応点間の距離は一定値となるため、(3)の条件を
満たすか否かの評価により各放射線画像に共通しない対
応点は排除されることとなる。このように、3つの条件
のうちのいずれか1の条件を満たすか否かの評価を行う
ことにより、位置合せに不適な対応点は排除され、より
位置合せに適した対応点のみが選択されることとなる。
行った場合に、放射線源に近い側にある放射線画像上に
ある任意の2対応点間の距離と、この2対応点に対応す
る放射線源に遠い側にある2対応点との距離とでは、後
者には放射線が広がって照射されるため後者の方が大き
いものとなる。したがって、(3)の評価の際に前者と
後者との比を一定値の範囲内とすることにより、複数の
記録媒体を重ね合せて撮影を行うことにより複数の放射
線画像を得た場合であっても、位置合せに適した対応点
を精度良く求めることができる。
のうちいずれの条件も満たさないため、対応点の数が少
な過ぎて、位置合せを正確に行うことができない場合が
生じることがある。このような場合、すなわち、上記評
価に適合する対応点が所定数未満である場合は、評価に
適合しなかった対応点から所定距離以上離れた放射線画
像上において、テンプレート領域の設定、テンプレート
マッチングおよび評価を、評価に適合する対応点が所定
数以上になるまで繰り返し行うことにより、位置合せの
ための対応点をより多く求めることができるため、この
対応点を用いることにより位置合せをより正確に行うこ
とができる。
所定距離以上離れた放射線画像上において上記評価等を
繰り返し行うのは、例えば評価に適合しなかった対応点
において、相関値の分布が尾根状となるものであった場
合、この対応点の近傍で上記評価等を再度行うと、求め
られた対応点において相関値の分布が尾根状となってし
まい、上記(2)の条件に適合しないことがある。この
ため、評価に適合しなかった対応点から所定距離以上離
れた放射線画像上において、再度上記評価等を繰り返し
行うようにしたものである。
て詳細に説明する。
記録する装置の一実施例である放射線撮影装置の概略図
である。この撮影により得られる放射線画像は、エネル
ギーサブトラクション処理に用いられるものである。
5および7がシート7を下にして重ねられている。この
上には、被写体4を介して放射線3を発する放射線源2
が配置されている。以上のように、放射線撮影装置1が
構成されている。
被写体4に照射される。被写体4を透過した放射線3aは
第1の蓄積性蛍光体シート5に照射され、放射線3aのエ
ネルギーの一部が第1の蓄積性蛍光体シート5に記録さ
れ、これによりシート5に被写体4の放射線画像が蓄積
記録される。シート5を透過した放射線3bはさらにフィ
ルタ6を透過し、フィルタ6を透過した放射線3cが第2
の蓄積性蛍光体シート7に照射される。これによりシー
ト7にも被写体4の放射線画像が蓄積記録される。
に蓄積記録された放射線画像を模式的に表した図であ
る。各蓄積性蛍光体シート5および7の略全面に被写体
4の各放射線画像4a、4bが蓄積記録されている。すなわ
ち、放射線画像4aは上側の蓄積性蛍光体シート5から、
放射線画像4bは下側の蓄積性蛍光体シート7から得られ
た放射線画像となる。
る読取ユニットの一実施例である放射線画像読取装置お
よび本発明の位置合せ方法を実施し、サブトラクション
処理を行う演算ユニットの一実施例である画像処理表示
装置の斜視図である。
れた後、第1および第2の蓄積性蛍光体シート5、7が
1枚ずつ放射線画像読取装置10の所定位置にセットされ
る。ここでは、第1の蓄積性蛍光体シート5に蓄積記録
された第1の放射線画像の読取りの場合について説明す
る。
像が蓄積記録された蓄積性蛍光体シート5は、図示しな
い駆動手段により駆動されるエンドレスベルト等のシー
ト搬送手段15により、矢印Y方向に搬送(副走査)され
る。一方、レーザ光源16から発せられた光ビーム17はモ
ータ18により駆動され矢印Z方向に高速回転する回転多
面鏡19によって反射偏向され、fθレンズ等の集束レン
ズ20を透過した後、ミラー21により光路を変えて蓄積性
蛍光体シート5に入射し、副走査の方向(矢印Y方向)
と略垂直な矢印X方向に主走査する。蓄積性蛍光体シー
ト5の光ビーム17が照射されたか所からは、蓄積記録さ
れている放射線画像情報に応じた光量の輝尽発光光22が
発せられ、この輝尽発光光22は光ガイド23によって導か
れ、フォトマルチプライヤ(光電子増倍管)24によって
光電的に検出される。光ガイド23はアクリル板等の導光
性材料を成形して作られたものであり、直線状をなす入
射端面23a が蓄積性蛍光体シート5上の主走査線にそっ
て延びるように配され、円環状に形成された射出端面23
b にフォトマルチプライヤ24の受光面が結合されてい
る。入射端面23a から光ガイド23内に入射した輝尽発光
光22は、該光ガイド23の内部を全反射を繰り返して進
み、射出端面23b から射出してフォトマルチプライヤ24
に受光され、放射線画像を表す輝尽発光光22がフォトマ
ルチプライヤ24によって電気信号に変換される。フォト
マルチプライヤ24から出力されたアナログ信号Sは、ロ
グアンプ25で対数的に増幅された後、A/D変換器26に
入力され、サンプリングされてデジタルの画像信号SO
が得られる。この画像信号SOは第1の蓄積性蛍光体シ
ート5に蓄積記録された第1の放射線画像を表すもので
あり、第1の画像信号SO1 と呼ぶ。この第1の画像信
号SO1 は画像処理表示装置30内の内部メモリーに一旦
記録される。
入力するキーボード31、指示のための補助情報や画像信
号に基づく可視画像を表示するCRTディスプレイ32、
補助記憶媒体としてのフロッピーディスクが装填され駆
動されるフロッピィディスク駆動装置33、およびCPU
や内部メモリが内蔵された本体部34が備えられている。
体シート7に蓄積記録された第2の放射線画像を表す第
2の画像信号SO2 が得られ、この第2の画像信号SO
2 も画像処理表示装置30内の内部メモリに一旦記憶され
る。
うべき2つの画像信号SO1 ,SO2 が内部メモリに記
憶されると、これら2つの画像信号SO1 ,SO2 が読
み出されて、これら2つの画像信号SO1 ,SO2 が担
持する各放射線画像の各画素間で対応したサブトラクシ
ョン演算が行われるように、画像の位置合せが行われ
る。
1 ,SO2 が表す2つの放射線画像の位置合せ方法につ
いて説明する。
おいては、図1における放射線源2に近い位置にある蓄
積性蛍光体シート5より得られた放射線画像4aを図4に
示すように4等分して4つの領域14A,14B,14C,14
Dを定める。そして各領域について、クロス型のフィル
タを用いて画像をフィルタリング処理してフィルタの出
力最大値を与える点を検出する。
1,2,……n 、j=1,2,……n )としたとき、フィルタを表
す式は
=Ai,j(i=j or i=n-j-1),b=Ai,j(i ≠j and i ≠n-
j-1)としたときにa≠b(a>b)であるようなマトリ
クスをいうものであり、本実施例においては、例えば
とによって、図4に示すように、ろっ骨とろっ骨とが交
わるクロスエッジのような構造の複雑な部分、すなわ
ち、その周囲の領域からみて極端に濃度が変化する点を
検出することができ、本実施例においては4つの点40
A,40B,40C,40Dを検出することができる。なお、
このようなクロスエッジは4つの領域14A〜14D中に複
数存在するが、本実施例においては各領域においてフィ
ルタの出力が最大値となった点40A,40B,40C,40D
を検出するものとする。
されると、この4つの点を基準対応点とし、各基準対応
点を中心としたテンプレート領域を放射線画像4a上に設
定する。すなわち、図5に示すように4等分した各領域
14A〜14Dに基準対応点40A〜40Dを中心としたテンプ
レート領域41A〜41Dを設定する。
射線画像4b上において所定範囲内で移動させてテンプレ
ートマッチングを行う。ここで、テンプレートマッチン
グは上述した相関法またはSSDAを用いて行う。相関
法においては前述したように標準化値が最大となる点が
以下に記載する対応点の座標を与える。また、SSDA
においても上述したように残差の和が最小となる点が対
応点の座標を与える。
行うことにより、図6に示すように放射線画像4bに複数
の対応点が求められる。
対応点について、以下の条件を満たすか否かの評価を行
う。すなわち、(1)テンプレートマッチングにより得
られた、テンプレート領域41A〜41Dと放射線画像4bの
一部との相関値が所定値以上であること、(2)対応点
近傍の相関値の分布が尾根状とならないこと、(3)任
意の2基準対応点間の距離と、2基準対応点に対応する
放射線画像4b上の2対応点の距離との比が一定値の範囲
内にあること、の評価を行う。以下この評価について詳
細に説明する。
れた複数の対応点について、各対応点におけるテンプレ
ートマッチングを行った際の相関値を求め、各対応点に
おける相関値の値が0.84未満となる対応点を排除する。
すなわち、各対応点における相関値をCORR(i,
j)(i,jは対応点の座標)としたときに、 CORR(i,j)<0.84 …(3) となった対応点を図6に示す複数の対応点から排除す
る。これにより放射線画像4b中に求められた複数の対応
点のうち、ノイズのように位置合せに不適な対応点が排
除される。
する。
求められた複数の対応点について、各対応点を中心とし
て上下左右および45度斜め方向の8点における相関値の
傾きを求める。例えば、図7に示す対応点である画素50
を中心として8つの画素51A〜51Hにおけるテンプレー
トマッチングの際の相関値の傾きを求める。
値 Ak:k方向における傾き により傾きを求め、角傾きAkについて Ak<Th(Th=0.00075 ) …(5) ならば、その画素を図6に示す複数の対応点から排除す
る。
きが小さい場合、その画素は図8に示すような相関値の
分布が尾根状となっている部分に存在するものと判断さ
れる。このように、相関値の分布が尾根状となっている
部分に対応点が存在すると、位置合せを行ったときこの
尾根に沿って画像がずれてしまうこととなる。したがっ
て、図8に示すようにある画素52の近傍の相関値の分布
が尾根状となり、対応点の位置が矢印A方向にずれ易い
ような場合は、(2)の条件を満たすか否かの評価によ
りその対応点は位置合せのためには不適なものとして、
複数の対応点から排除される。
する。
40A〜40Dのうちの任意の2点間の距離と、この2点に
対応する放射線画像4b上の2対応点間の距離とを求め
る。例えば、図9に示すように、放射線画像4a上におけ
る基準対応点40A,40B間の距離ABと、放射線画像4b
上における対応点40A′,40B′間の距離A′B′を求
める。すなわち、基準対応点40A,40Bの座標を(U
i,Vi),(Uj,Vj)とし、対応点40A′,40
B′の座標を(Xi,Yi),(Xj,Yj)としたと
きに
の比が所定のしきい値の範囲内にあるか否かをみる。す
なわち Th1<A′B′/AB<Th2 …(7) なる評価を行い、式(7) の条件を満たす対応点のみが位
置合せに適した対応点として用いられる。
は各点の位置が真に対応する場合、本来ならば1となる
はずであるが、図1に示す放射線画像の撮影の際には、
蓄積性蛍光体シート7に蓄積記録される放射線画像は、
蓄積性蛍光体シート5に蓄積記録される放射線画像と比
較して若干大きい画像となる。これは、蓄積性蛍光体シ
ート7は放射線源2からみてシート5よりも離れた位置
にあるため、放射線が広がって照射されることにより生
ずる現象である。したがって、式(7) におけるA′B′
/ABの条件を1と定めずに、1より若干大きいしきい
値Th1からTh2の範囲にあるようにして、条件
(3)の評価を行うことが望ましい。
価を行い、最終的に位置合せに適した対応点として図10
に示すように最大4つの対応点44A〜44Dが4つの領域
43A〜43D内において選択される。
応点40A〜40Dの座標を(ui ,vi )(i=1〜4)とし
て、アフィン変換
A,Bは回転移動補正および拡大または縮小率補正を示
す係数、C,Dは平行移動補正を示す係数にしたがっ
て、各対応点(xi ,yi )の座標を変換することによ
り第1の放射線画像4aと第2の放射線画像4bとを重ね合
せる。ここで式(3) に基づく座標変換では、第2の放射
線画像全体をX方向とY方向とで互いに独立に拡大もし
くは縮小すること、第2の放射線画像全体を回転移動す
ること、および第2の放射線画像をX方向,Y方向に平
行移動すること、のすべてが同時に行われる。
C,Dの求め方について説明する。
A,B,C,Dを決定するものであり、まず、基準対応
点(ui ,vi )と対応点(xi ,yi )との位置的な
誤差Eを、 E=Σ(u−ui )2 +Σ(v−vi )2 =Σ(A・xi −B・yi +C−ui )2 +Σ(B・xi +A・yi +D−vi )2 …(9) とし、誤差Eの二乗誤差を最小にするために式(9) を解
くと、
解くと、係数A,B,C,Dは以下のように求められ
る。
て式(8) により座標変換を行うことにより、各対応点44
A〜44Dと基準対応点40A〜40Dとの誤差が最小となる
ように第2の放射線画像4bを第1の放射線画像4aに略等
しく合せることができる。すなわち、図11に示すよう
に、本発明の位置合せ方法により55組の放射線画像の位
置合せを行ったデータでみてみると、基準レベルを|R
|=4.5 、max|Ri |=1.00とした場合、すべてのデ
ータが基準レベル以内、しかも|R|=3.15、 max|R
i |=0.7 内に入っており、図12に示す従来の方法によ
る位置合せ結果と比較して、非常に高精度に位置合せが
行われていることがわかる。
後、サブトラクション処理、すなわち画像信号SO2 の
位置合せ後の画像信号をSO2 ′としたとき、 S1=Wa・SO1 −Wb・SO2 ′+C …(12) 但し、Wa,Wbは重み付け係数、Cはバイアス分を表
す。
り2つの放射線画像の差の画像に対応する画像信号S1
が生成される。この画像信号S1は画像処理表示装置30
のCRTディスプレイ32に送られ、この画像信号S1に
基づく可視画像(エネルギーサブトラクション画像)が
CRTディスプレイ32に再生表示される。なお、本体部
34で実行される上記サブトラクション処理を行う機能
(ハードウェアとソフトウェアとの組合せ)が本発明の
演算ユニットの一例と観念される。
る放射線源2からみて遠い位置にある蓄積性蛍光体シー
ト7より得られる放射線画像からテンプレートマッチン
グにより検出された対応点をアフィン変換するようにし
ているが、これは以下の理由によるものである。すなわ
ち、図1に示すようないわゆるワンショットで2枚の蓄
積性蛍光体シートに放射線画像を蓄積記録するような場
合は、2枚のシート5,7はフィルタ6を挟んで空間的
に互いに異なる位置に配置されることとなり、これによ
り2枚のシートの放射線源2および被写体4からの距離
が異なり、このため各シート5,7に記録される放射線
画像の寸法が異なり放射線源2からみて遠い位置にある
シート7に蓄積記録される放射線画像4bはシート5に蓄
積記録される放射線画像4aと比較してボケたり、散乱線
が多い画像となる。また、上述したアフィン変換を行っ
た場合、変換された画像については、各画素間は何らか
の補間をする必要があるため多少なりとも画質が劣化す
るものである。したがって、画質のよい放射線画像4aを
アフィン変換し画質を劣化させるよりも、放射線画像4a
と比較して画質が劣る放射線画像4bを変換した方が、結
果として得られるサブトラクション画像の画質が担保さ
れることとなる。したがって、放射線源2からみて遠い
位置にある蓄積性蛍光体シート7から得られた放射線画
像4bをアフィン変換することとしたものである。
た3つの条件(1),(2)および(3)のすべての条
件を満たした対応点の位置合せのために用いるようにし
ているが、3つの条件のうち少なくとも1つの条件を満
たす対応点を位置合せのために用いるようにしてもよ
い。但し、条件が多いほどより位置合せに適した対応点
が選択されるため、条件の数は求められる位置合せの精
度により決定すればよい。
(1)における相関値のしきい値として0.84を用いてい
るが、このしきい値はいかなる値でもよく、さらに、図
13に示すように放射線画像の線量が大きい部分ほどしき
い値を大きくするようにしてもよい。このように線量に
応じてしきい値を変化させるのは、放射線量が低いとノ
イズが多くなりフィルタの出力値が小さくなって特徴点
を求め難くなるからである。
(2)についての評価を行う際に、対応点である画素50
の上下左右および斜め45度方向の8つの画素51A〜51H
における相関値の傾きを求めるようにしているが、画素
50の上下左右方向の4つの画素51A,51C,51E,51G
における相関値の傾きを求めるようにしてもよいもので
ある。但し、この方向の数は多いほどより位置合せに適
した対応点が選択されるため、相関値の傾きを求める画
素の数は、求められる位置合せの精度により決定すれば
よい。
行うことにより、例えば照射野絞りを用いて放射線画像
の撮影を行った場合のように、照射野エッジ上に対応点
が求められても、この対応点は排除されるため、照射野
エッジに沿って画像がずれて位置合せがなされることは
なくなる。
が選択された後に、アフィン変換により位置合せを行う
ようにしているが、位置合せの方法はアフィン変換に限
定されるものではなく、前述した特開昭58-163338 号に
開示されたマーカーを用いて位置合せを行う方法におい
て、マーカーの代わりに対応点を用いて位置ズレを補正
するようにしてもよい。
行った結果、対応点が2個以下となってしまった場合、
すなわち、精度良く位置合せを行うには対応点が少なす
ぎる場合は、前述した評価における条件をゆるくして再
度評価を行って対応点を求めるようにすればよい。
および(3)の条件のうちいずれの条件をも満たさない
対応点から所定距離以上離れた位置、すなわち図14に示
すように評価に適合しない対応点を含む領域の、条件を
満たさない対応点から半径r以上離れた位置において、
対応点が位置合せを正確に行うことができる所定数以上
となるまで、上述したテンプレート領域の設定、テンプ
レートマッチングおよび評価を繰り返し行うようにすれ
ばよい。
められた基準対応点40A が評価に適合しない対応点であ
った場合、この対応点40A から半径r離れた斜線の領域
において、放射線画像4aに対して上述したフィルタリン
グ処理を行ってテンプレート領域を設定し、この新たに
設定されたテンプレート領域を放射線画像4b上において
所定範囲内で移動させてテンプレートマッチングを行
う。そしてこのテンプレートマッチングにより新たな対
応点が求められた後、この対応点について上述した
(1)、(2)および(3)の条件のうち少なくとも1
つの条件を満たすか否かの評価を行う。そしてこれによ
り、位置合せを行う対応点の数が所定数以上(例えば3
個以上)となった場合は、この対応点を用いて位置合せ
を行う。一方、位置合せを行う対応点の数が所定数以上
とならない場合は、位置合せを行う対応点の数が所定数
以上となるまで、上記テンプレート領域の設定、テンプ
レートマッチングおよび評価を繰り返し行う。このよう
に、対応点の数が所定数以上となるまでテンプレート領
域の設定等を繰り返し行うことにより、位置合せを行う
対応点を確実に複数個求めることができ、このように複
数個の対応点を用いて位置合せを行うことにより、より
精度良く位置合せを行うことが可能となる。
半径r以上離れた放射線画像上において上記評価等を繰
り返し行うのは、例えば評価に適合しなかった対応点に
おいて、相関値の分布が尾根状となるものであった場
合、この対応点の近傍で上記評価等を再度行うと、求め
られた新たな対応点の近傍の領域において相関値の分布
がまた尾根状となってしまうことがあり、上記(2)の
条件に適合しないことがある。このため、評価に適合し
なかった対応点から半径r以上離れた放射線画像上にお
いて、再度上記評価等を繰り返し行うようにしたもので
ある。なお、この半径rはこの尾根状となる部分を避け
ることができるように設定することが必要である。
には、演算時間短縮のため繰り返し回数を制限すること
が好ましい。本出願人の胸部の放射線画像を対象とした
実験によれば、約500 例のデータベースにおいて位置合
せを行うための対応点の数を4個とした場合、平均的な
対応点の数は繰り返しを行わない場合は2.8個、繰り
返し回数を3回に制限した場合は3.8個であった。し
たがって、繰り返し回数を制限する場合は3回程度に制
限することが好ましい。
ギーサブトラクション処理を行うために2つの放射線画
像の位置合せを行うようにしているが、重ね合せ処理を
行うために2つの放射線画像の位置合せを行うようにし
てもよい。すなわち、図15に示すように図2と同様の放
射線画像撮影装置1においてフィルタ6を用いることな
く2枚の蓄積性蛍光体シート5′,7′に被写体4の放
射線画像を蓄積記録し、蓄積性蛍光体シート5′,7′
から図3に示す放射線画像読取装置により2つの放射線
画像を表す画像信号SO1 ,SO2 を得、2枚の蓄積性
蛍光体シート5′,7′から得られた放射線画像のう
ち、シート7′から得られた放射線画像を上述した実施
例と同様にアフィン変換を施して位置合せを行った後、
重ね合せ処理、すなわち画像信号SO2 の位置合せ後の
画像信号SO2 ′としたとき、 S2=Wc・SO1 +Wd・SO2 ′ …(13) 但し、Wc,Wdは重み付け係数 により、重み付け加算が行われ、これにより2つの放射
線画像の和の画像に対応する画像信号S2を生成するも
のである。
型フィルタにより放射線画像をフィルタリング処理し
て、フィルタ出力の最大値を与える点を検出するように
しているが、この点としては例えば、分割された各領域
の中の最大値を表す点、ある所定値以上の点等、いかな
る点を用いてもよいものである。
の放射線画像の位置合せについて説明しているが、位置
合せを行う放射線画像の数は3枚以上であってもよいも
のである。この場合、3以上の放射線画像のうち、1つ
の放射線画像に上述した基準対応点を設定し、他の放射
線画像についてテンプレートマッチングにより対応点を
設定し、各放射線画像の対応点をアフィン変換により基
準対応点に合わせるようにすればよい。
示すアフィン変換により位置合せを行うようにしている
が、一般式である
yは変換される対応点の座標、a,b,c,dは回転移
動補正および拡大または縮小率補正を示す係数、e,f
は平行移動補正を示す係数)により表されるアフィン変
換を行うものであれば、いかなる係数により位置合せを
行うようにしてもよいものである。
る放射線画像の位置合せ用対応点決定方法は、テンプレ
ートマッチングにより求められた複数の対応点について
前述した(1)、(2)および(3)のうち少なくとも
1つの評価をするようにしたため、位置合せに適した対
応点をより精度良く求めることができ、このように求め
られた対応点を用いて位置合せを行えば、より精度良く
迅速に位置合せを行うことができる。
未満であるときに、テンプレート領域の設定、テンプレ
ートマッチングおよび評価を、評価に適合する対応点が
所定数となるまで繰り返し行うことにより、位置合せの
ための対応点をより多く求めることができるため、この
対応点を用いることにより位置合せをより正確に行うこ
とができる。
放射線画像を得る放射線画像記録装置の概略図
画像を模式的に表す図
るための装置を内包した画像読取装置の概略を表す図
態を表す図
を表す図
図
位置合せがなされた結果を表す図
せがなされた状態を表す図
離れた領域を斜線で表した図
画像を得る放射線画像記録装置の概略図
Claims (2)
- 【請求項1】 複数の放射線画像の位置合せを行うため
の対応点を決定する方法において、 前記放射線画像のうちの1つの放射線画像上にテンプレ
ート領域を設定し、 該1つの放射線画像以外の他の放射線画像上において前
記テンプレート領域を移動させて該テンプレート領域と
前記他の放射線画像の一部との相関値を求めるテンプレ
ートマッチングを行うことにより、前記各放射線画像の
互いに対応する複数の対応点を求め、 前記各放射線画像のなかの1つの放射線画像の前記各対
応点を基準対応点とし、 前記複数の対応点について、(1)前記テンプレートマ
ッチングにより得られた、前記テンプレート領域と前記
他の放射線画像の一部との前記相関値が所定値以上であ
ること、(2)前記複数の対応点近傍の前記相関値の分
布が尾根状とならないこと、(3)任意の2基準対応点
間の距離と、該2基準対応点に対応する他の放射線画像
上の2対応点の距離との比が一定値の範囲内にあるこ
と、の条件のうち少なくとも1つの条件を満たすか否か
の評価を行い、 該評価に適合する対応点を前記位置合せのための対応点
とすることを特徴とする放射線画像の位置合せ用対応点
決定方法。 - 【請求項2】 前記評価に適合する対応点が所定数未満
である場合は、前記評価に適合しなかった対応点から所
定距離以上離れた放射線画像上において、前記テンプレ
ート領域の設定、前記テンプレートマッチング、および
前記評価を、該評価に適合する対応点が前記所定数とな
るまで繰り返し行うことを特徴とする請求項1記載の放
射線画像の位置合せ用対応点決定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01709995A JP3661797B2 (ja) | 1994-03-18 | 1995-02-03 | 放射線画像の位置合せ用対応点決定方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6-48397 | 1994-03-18 | ||
| JP4839794 | 1994-03-18 | ||
| JP01709995A JP3661797B2 (ja) | 1994-03-18 | 1995-02-03 | 放射線画像の位置合せ用対応点決定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0882880A true JPH0882880A (ja) | 1996-03-26 |
| JP3661797B2 JP3661797B2 (ja) | 2005-06-22 |
Family
ID=26353577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01709995A Expired - Fee Related JP3661797B2 (ja) | 1994-03-18 | 1995-02-03 | 放射線画像の位置合せ用対応点決定方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3661797B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7006708B1 (en) | 1998-06-23 | 2006-02-28 | Sharp Kabushiki Kaisha | Image processor, image processing method, and medium on which image processing program is recorded |
| JP2010131371A (ja) * | 2008-10-27 | 2010-06-17 | Toshiba Corp | X線診断装置および画像処理装置 |
| JP2011056069A (ja) * | 2009-09-10 | 2011-03-24 | Canon Inc | テンプレート画像の評価方法及び生体運動検出装置 |
| WO2014192571A1 (ja) * | 2013-05-28 | 2014-12-04 | 三菱重工業株式会社 | 放射線画像解析装置、放射線治療システム、マーカ部分検出方法およびプログラム |
-
1995
- 1995-02-03 JP JP01709995A patent/JP3661797B2/ja not_active Expired - Fee Related
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7006708B1 (en) | 1998-06-23 | 2006-02-28 | Sharp Kabushiki Kaisha | Image processor, image processing method, and medium on which image processing program is recorded |
| US7158688B2 (en) | 1998-06-23 | 2007-01-02 | Sharp Kabushiki Kaisha | Image processing apparatus, image processing method, and medium on which image processing program is recorded |
| US7298927B2 (en) | 1998-06-23 | 2007-11-20 | Sharp Kabushiki Kaisha | Image processing apparatus, image processing method, and medium on which image processing program is recorded |
| US7327879B2 (en) | 1998-06-23 | 2008-02-05 | Sharp Kabushiki Kaisha | Image processing apparatus, image processing method, and medium on which image processing program is recorded |
| US10827991B2 (en) | 2008-10-27 | 2020-11-10 | Canon Medical Systems Corporation | X-ray diagnosis apparatus and image processing apparatus |
| US8594271B2 (en) | 2008-10-27 | 2013-11-26 | Kabushiki Kaisha Toshiba | X-ray diagnosis apparatus and image processing apparatus |
| US9532754B2 (en) | 2008-10-27 | 2017-01-03 | Toshiba Medical Systems Corporation | X-ray diagnosis apparatus and image processing apparatus |
| US10028711B2 (en) | 2008-10-27 | 2018-07-24 | Toshiba Medical Systems Corporation | X-ray diagnosis apparatus and image processing apparatus |
| US10456095B2 (en) | 2008-10-27 | 2019-10-29 | Canon Medical Systems Corporation | X-ray diagnosis apparatus and image processing apparatus |
| JP2010131371A (ja) * | 2008-10-27 | 2010-06-17 | Toshiba Corp | X線診断装置および画像処理装置 |
| US11540790B2 (en) | 2008-10-27 | 2023-01-03 | Canon Medical Systems Corporation | X-ray diagnosis apparatus and image processing apparatus |
| US11937959B2 (en) | 2008-10-27 | 2024-03-26 | Canon Medical Systems Corporation | X-ray diagnosis apparatus and image processing apparatus |
| US12310771B2 (en) | 2008-10-27 | 2025-05-27 | Canon Medical Systems Corporation | X-ray diagnosis apparatus and image processing apparatus |
| JP2011056069A (ja) * | 2009-09-10 | 2011-03-24 | Canon Inc | テンプレート画像の評価方法及び生体運動検出装置 |
| WO2014192571A1 (ja) * | 2013-05-28 | 2014-12-04 | 三菱重工業株式会社 | 放射線画像解析装置、放射線治療システム、マーカ部分検出方法およびプログラム |
| JP2014230606A (ja) * | 2013-05-28 | 2014-12-11 | 三菱重工業株式会社 | 放射線画像解析装置、放射線治療システム、マーカ部分検出方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3661797B2 (ja) | 2005-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3494692B2 (ja) | 放射線画像の位置合せ方法 | |
| US5623560A (en) | Method for adjusting positions of radiation images | |
| US5623528A (en) | Method for generating 3-dimensional images | |
| JP3347865B2 (ja) | 放射線画像の位置合せ方法 | |
| JP2932022B2 (ja) | 放射線画像の位置合せ方法 | |
| JP3661797B2 (ja) | 放射線画像の位置合せ用対応点決定方法 | |
| JPH06215108A (ja) | 放射線画像の位置合せ方法 | |
| JP3165538B2 (ja) | 放射線画像の位置合せ方法および装置 | |
| JP2961437B2 (ja) | 画像出力方法 | |
| JP2582669B2 (ja) | 乳房腫瘤影の良性/悪性判定装置 | |
| JPH07262346A (ja) | 放射線画像の位置合せ方法 | |
| JPH0883336A (ja) | 放射線画像の位置合せ方法 | |
| JPH07262370A (ja) | 画像のテンプレートマッチング方法 | |
| JPH08215183A (ja) | 石灰化検出方法および装置 | |
| JP2571132B2 (ja) | 異常陰影検出装置 | |
| JPS58163339A (ja) | X線画像のサブトラクシヨン処理方法 | |
| JP2598636B2 (ja) | 画像処理条件決定方法 | |
| JP2582664B2 (ja) | パターン認識装置 | |
| JP2582667B2 (ja) | 線状パターン幅演算装置 | |
| JP2952428B2 (ja) | 放射線画像のエネルギーサブトラクション方法および装置 | |
| JP2582665B2 (ja) | 異常陰影検出装置 | |
| JPH0670236A (ja) | 放射線画像の位置合せ方法 | |
| JPH08248541A (ja) | 放射線画像処理方法および装置 | |
| JP2582660B2 (ja) | 異常陰影検出装置 | |
| JPH04156828A (ja) | パターン認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050207 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050316 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080401 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |