JPH10248830A - 放射線画像の照射野認識方法および装置 - Google Patents
放射線画像の照射野認識方法および装置Info
- Publication number
- JPH10248830A JPH10248830A JP9057382A JP5738297A JPH10248830A JP H10248830 A JPH10248830 A JP H10248830A JP 9057382 A JP9057382 A JP 9057382A JP 5738297 A JP5738297 A JP 5738297A JP H10248830 A JPH10248830 A JP H10248830A
- Authority
- JP
- Japan
- Prior art keywords
- irradiation field
- image
- radiation image
- candidate line
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
の照射野認識と同等の認識精度を維持しつつ、その認識
処理時間を大幅に短縮する。 【解決手段】 照射野の認識対象である画像を縮小処理
手段10により一旦縮小処理して画素数を減らしたうえ
で、照射野認識処理手段20により照射野の認識処理を実
行することにより照射野認識処理時間を大幅に短縮し、
さらにこの得られた照射野輪郭を拡大処理手段30により
原画像まで拡大処理し、評価手段40により拡大された照
射野輪郭の評価を行なう。
Description
認識方法および装置に関するものである。
データを得、この画像データに適切な画像処理を施した
後、処理済みの画像データに基づいて読影に適した可視
像を再生することは種々の分野で行なわれている。例え
ば、本出願人による蓄積性蛍光体シートを利用した放射
線画像記録再生システムもその一つである。
トに放射線画像を撮影記録するに際しては、放射線の照
射による生体への影響を極力小さくする観点、および例
えば観察に不要な部分からの散乱光による画質性能の低
下等を防止する観点から、放射線が被写体の必要な部分
にのみ照射されるように照射域を制限する鉛などで作ら
れた照射野絞りを使用することが多い。
蓄積性蛍光体シート等の記録媒体には、照射野絞りの開
口輪郭の内部領域(照射野領域)に被写体等の画像が記
録され、開口輪郭の外側領域(照射野外領域)には放射
線が到達せず未露光状態となる。したがってこの開口輪
郭に対応する画像の照射野輪郭はエッジ線となる。
像が記録された記録媒体から画像データを読み取って画
像処理を行なう場合、照射野領域内の画像データについ
てのみ上記階調処理等の処理を施せばよく、処理の回数
が大幅に低減され処理負荷の低減、処理スピードの向上
を図ることができる。
め、医用X線フイルムのようなネガ画像においては最低
濃度領域となるが、例えば医用X線フイルムをシャーカ
スに掛けて蛍光灯の光による透過画像を観察するとき等
には、このような最低濃度領域は非常に明るい領域とな
るため、照射野領域のうち特に照射野外領域に近い部分
については当該明るい照射野外領域に眩惑されて観察に
支障がある。
ては、このような照射野外領域についての各画像データ
を一律に最高濃度に相当する値に強制的に置換する処理
が行なわれる。そしてこの処理は一般に黒化処理と称さ
れており、この黒化処理を行なう場合にも、該処理を行
なう領域と行なわない領域との境界線は上記放射線画像
のうち照射野輪郭であるから、画像データに基づいて照
射野輪郭を精度よく認識することが必要である。
例えば、上記照射野輪郭が画像のエッジ線になることを
利用して、画像データの変化が急峻な部分を探索するこ
とによって求めることができる。
データを放射線画像の水平方向に走査してエッジ線を構
成するエッジ候補点を検出し、垂直方向にこのエッジ候
補点を集計して垂直方向に延びるエッジ線の水平方向で
の位置を求めるとともに、垂直方向に走査してエッジ線
を構成するエッジ候補点を検出し、水平方向にこのエッ
ジ候補点を集計して水平方向に延びるエッジ線の垂直方
向での位置を求めることにより、照射野絞りの矩形の開
口輪郭に対応するエッジ線を求める方法(特開昭61-390
39号)や、照射野領域内に含まれる所定の点から放射線
画像の端部に向かう放射状の複数の方向に沿った画像デ
ータに基づいてエッジ候補点を検出し、隣接するエッジ
候補点を連結することによってエッジ線を得る方法(特
開昭63-259538 号)等の技術が既に開示されている。
用いられる放射線画像は、1枚の放射線画像の画素数す
なわち画像データ数は 4×106 個(2000画素×2000画
素)にも達するため、照射野の認識のための処理には非
常に多大な時間が掛かっているのが実情である。
って、従来の照射野認識と同等の認識精度を維持しつ
つ、その認識処理時間の大幅な短縮を実現し得る放射線
画像の照射野認識方法および装置を提供することを目的
とするものである。
射野認識方法および照射野認識装置は、照射野の認識対
象である放射線画像を一旦縮小処理して画素数を減らし
たうえで照射野の認識処理を実行することにより照射野
認識処理時間を大幅に短縮し、さらにこの得られた照射
野輪郭を元の画像の大きさまで拡大処理し、この拡大さ
れた照射野輪郭を基準として、近傍の画素を用いた照射
野認識の評価を行なうことによって、前述の縮小処理お
よび拡大処理により生じた誤差分を補正することがで
き、従来と同等の認識精度を確保するものである。
野絞りを使用して撮影された照射野を有する放射線画像
の該照射野を、該放射線画像を表す画像データに基づい
て認識処理する照射野認識方法において、前記画像デー
タに基づく前記放射線画像を縮小処理し、該縮小処理さ
れた画像についての画像データに基づいて前記照射野の
認識処理を行なって仮の照射野輪郭を求め、該仮の照射
野輪郭を、前記縮小処理前の元の放射線画像に対応する
大きさに拡大処理し、前記元の放射線画像に対する前記
拡大処理された仮の照射野輪郭の適合度合を、所定の評
価関数を用いて評価し、該評価の結果に基づいて、前記
適合度合が最も高い照射野輪郭を定めることを特徴とす
るものである。
を間引く、加算平均したうえで間引く等、データ数を減
少させる作用をなす処理をいう。なお、この縮小処理に
よる縮小率としては、従来の照射野認識方法による処理
時間との対比から、面積比で1/16倍以下(縦横方向それ
ぞれ 1/4倍以下)、縮小処理後における画像中の照射野
輪郭維持の観点から、面積比で1/1600倍以上(縦横方向
それぞれ1/40倍以上)、とするのが望ましい。
像データ」とは、その数が減少せしめられた画像データ
をいう。
処理された画像についての画像データに基づく照射野認
識はいかなる方法によるものであってもよい。例えば、
前述した特開昭61-39039号により開示されている、放射
線画像を表す放射線画像データを放射線画像の水平方向
に走査してエッジ線を構成するエッジ候補点を検出し、
垂直方向にこのエッジ候補点を集計して垂直方向に延び
るエッジ線の水平方向での位置を求めるとともに、垂直
方向に走査してエッジ線を構成するエッジ候補点を検出
し、水平方向にこのエッジ候補点を集計して水平方向に
延びるエッジ線の垂直方向での位置を求めることによ
り、照射野絞りの矩形の開口輪郭に対応するエッジ線を
求める方法や、特開昭63-259538 号により開示されてい
る、照射野領域内に含まれる所定の点から放射線画像の
端部に向かう放射状の複数の方向に沿った画像データに
基づいてエッジ候補点を検出し、隣接するエッジ候補点
を連結することによってエッジ線を得る方法等既に公知
の種々の方法を適用することができる。
放射線画像に対応させることを意味する。すなわち、求
められた照射野輪郭は縮小画像上のものであるから、そ
のまま元の放射線画像画像(縮小処理前のもの)上のも
のとして取り扱うことはできない。そこでこの縮小画像
上において求められた照射野輪郭を元の放射線画像に対
応させる必要がある。この対応方法としては種々の方法
を適用し得るが、縮小画像に対応する座標系に、縮小率
の逆数を乗じる変換処理により、元の放射線画像の座標
系に対応させる方法が、計算処理の簡便さ等の観点から
好ましい。なおこの変換処理の際には、縮小画像全体を
変換処理するのではなく、照射野輪郭を構成する各線を
特定するのに十分な座標点のみを変換処理すればよい。
る場合には、各線分の始点の座標と終点の座標とにそれ
ぞれ縮小率の逆数を乗じる処理を行なうだけで足りる。
例えば照射野輪郭を構成する1つの線分が、縮小画像に
対応する座標系において、始点(5,10)および終点
(40,21)で特定され、縮小率が1/9倍である場合、
拡大処理はこれらの始点と終点に対してのみ縮小率の逆
数である『9』を乗じて、始点(45,90)および終点
( 360,189 )を得るものである。
たものであり、縮小率に乗じたときの積が1となるよう
に設定する必要がある。具体的には、面積比で16倍以上
(縦横方向それぞれ4倍以上)1600倍以下(縦横方向そ
れぞれ40倍以下)である。
は、必ずしも上述した、照射野輪郭のみを元の画像に対
応させる処理のみに限るものではない。すなわち、上記
縮小処理とは反対に、画像データを補間してデータ数を
増大させて照射野輪郭を含む縮小画像全体を元の放射線
画像に対応させてもよい。この画像データの補間処理と
しては種々の補間演算を適用できるが、矩形の照射野輪
郭を検出しようとするときはこの輪郭を構成する基準候
補線は全て直線であるため、線形補間で十分であり、3
次スプライン補間演算等の演算量の多大な処理を敢えて
適用する必要はない。一方、円弧や曲線の照射野輪郭を
検出しようとするときは、適当と認められる円弧やスプ
ライン補間演算等種々の補間演算を適用することができ
る。
理する場合は、補間データを求める計算処理の負担が大
きく、かつ処理時間も長く要するため、一般的には前述
したように、照射野輪郭を構成する各線の始点および終
点等に縮小率の逆数を単純に乗じて元の放射線画像に対
応させるのが好ましい。
処理によって求められた仮の照射野輪郭が、元の放射線
画像に現実に存在している照射野輪郭に一致している度
合を示す指標値を意味する。このような適合度合を求め
るにあたっては、認識処理によって求められた照射野輪
郭が、現実に存在している照射野輪郭にどの程度一致し
ているかを評価するための所定の評価関数を用いる。そ
してこの評価関数としては、例えば、拡大処理された仮
の照射野輪郭を構成する各基準候補線を、該基準候補線
を中心とする±m画素、±θ度の範囲内でシフトおよび
/または回転させて、{(2m+1)(2θ+1)−
1}個の変換候補線を設定し、前記基準候補線および前
記各変換候補線ごとに、各候補線に関する微分値の、各
候補線の延在方向についての平均値を求める関数、また
は拡大処理された仮の照射野輪郭を構成する各基準候補
線を、該基準候補線を中心とする±m画素、±θ度の範
囲内でシフトおよび/または回転させて、{(2m+
1)(2θ+1)−1}個の変換候補線を設定し、前記
基準候補線および前記各変換候補線ごとに、各候補線に
関する濃度勾配ベクトルの向きの、各候補線の延在方向
についてのエントロピーを求める関数などを適用するこ
とができる。
もの)を適用した場合は、この微分値の平均値が大きく
なるにしたがって適合度合が高くなるように両者を対応
付けることが必要であり、一方、後者の関数(濃度勾配
ベクトルの向きのエントロピー)を適用した場合は、こ
の濃度勾配ベクトルの向きのエントロピーが小さくなる
にしたがって適合度合が高くなるように両者を対応付け
ることが必要である。
m=1(画素),θ=1/(x2 +y2 )1/2 (度)に
より設定するのが好ましい。ここで(x,y)は、縮小
画像のサイズを画素数(x画素×Y画素)で表したもの
であり、例えば縮小画像のサイズが 100画素×80画素の
場合は、x= 100(画素),Y=80(画素)より、m=
1(画素),θ=1/( 1002 +802 )1/2 = 7.8×10
-3(度)である。
〜18倍)程度の範囲内であれば、mの値およびθの値と
して、縮小率の逆数の値(すなわち拡大率と同一の値)
をそのまま適用することができる。例えば縮小率が1/
9倍の場合は、その逆数である9をそのまま適用して、
m=9(画素),θ=9(度)とすることもできる。
関する微分値とは、各候補線を挟んで相対向する2つの
画素間の画像データの差分を意味する。この差分値が大
きい場合は、この2つの画素間で濃度(または輝度)の
差が大きいことを意味し、画像のエッジが存在すること
を意味する。そして図4(1)に示すように、このよう
な候補線を挟んで相対向する2つの画素の組は、候補線
の延びる方向にそれぞれ存在するため、上記微分値を、
候補線の延びる方向にそれぞれ存在する画素の組につい
て加算し、その和を加算した組数で除することにより上
記平均値を求める。この平均値が大きい程、当該候補線
が放射線画像の現実のエッジである可能性が高く、最も
濃度差(または輝度差)のあるエッジが照射野輪郭を構
成する線である。したがって上記平均値が大きくなるに
したがって適合度合が高くなるように両者を対応付けて
おくことにより、適合度合が最も高い候補線を現実の照
射野輪郭を構成する線として定めることが可能となる。
に関する濃度勾配ベクトルとは、各候補線の一方の側の
各画素から濃度勾配(画像データの差分値)が最も大き
い方向を向くベクトルを意味する。そして、この濃度勾
配ベクトルの向いた方向を示す指標値(例えば候補線に
直交する方向となす角度θ′の正弦値( sinθ′))を
求め、図4(2)に示すように、候補線の延びる方向に
それぞれ存在する画素からの各濃度勾配ベクトルの向き
について、上記指標値ごとのヒストグラムを作成し、こ
のヒストグラムの確率密度Piに基づいてエントロピー
(−Σ{(Pi)log Pi})を求める。このエントロピーが小
さい程、濃度勾配ベクトルの向きが一定の方向に揃って
いることを意味し、したがってそのような候補線が放射
線画像の現実の照射野輪郭を構成する線である可能性が
高いものである。したがって上記エントロピーが小さく
なるにしたがって適合度合が高くなるように両者を対応
付けておくことにより、適合度合が最も高い候補線を現
実の照射野輪郭を構成する線として定めることが可能と
なる。
用いる場合には、濃度勾配ベクトルの向きが一定の方向
に揃うか否かに基づく評価であるため、照射野輪郭を構
成する線が直線である場合にのみ適用でき、円弧や曲線
には適用できない。
像データが濃度値を示す場合にのみ適用しうる用語では
なく、濃度値や輝度値を含む濃淡や明暗を表す画像デー
タに基づく勾配ベクトルを広く含むものである。
上記本発明の放射線画像の照射野認識方法を実施するた
めの装置であって、照射野絞りを使用して撮影された照
射野を有する放射線画像の該照射野を、該放射線画像を
表す画像データに基づいて認識処理する照射野認識装置
において、前記画像データに基づく前記放射線画像を縮
小処理する縮小処理手段と、該縮小処理された画像につ
いての画像データに基づいて前記照射野の認識処理を行
なって仮の照射野輪郭を求める照射野認識処理手段と、
該仮の照射野輪郭を、前記縮小処理前の元の放射線画像
に対応する大きさに拡大処理する拡大処理手段と、前記
元の放射線画像に対する前記拡大処理された仮の照射野
輪郭の適合度合を、所定の評価関数を用いて評価する評
価手段と、該評価の結果に基づいて、前記適合度合が最
も高い照射野輪郭を定める照射野輪郭決定手段とを備え
たことを特徴とするものである。
れた仮の照射野輪郭を構成する各基準候補線を、該基準
候補線を中心とする±m画素、±θ度の範囲内でシフト
および/または回転させて、{(2m+1)(2θ+
1)−1}個の変換候補線を設定する候補線設定手段
と、前記基準候補線および前記各変換候補線ごとに、各
候補線に関する微分値の、各候補線の延在方向について
の平均値を求める評価値算出手段とを有するものや、前
記拡大処理された仮の照射野輪郭を構成する各基準候補
線を、該基準候補線を中心とする±m画素、±θ度の範
囲内でシフトおよび/または回転させて、{(2m+
1)(2θ+1)−1}個の変換候補線を設定する候補
線設定手段と、前記基準候補線および前記各変換候補線
ごとに、各候補線に関する濃度勾配ベクトルの、各候補
線の延在方向についてのエントロピーを求める評価値算
出手段とを有するものなどを適用することができる。
輪郭決定手段が、微分値の平均値が大きくなるにしたが
って前記適合度合が高くなるように両者を対応付けてい
るものであることを要し、一方、後者を適用した場合
は、照射野輪郭決定手段が、濃度勾配ベクトルのエント
ロピーが小さくなるにしたがって適合度合が高くなるよ
うに両者を対応付けているものであることを要する。
述の本発明の照射野認識方法の場合と同様である。
よび照射野認識装置によれば、照射野の認識対象である
放射線画像を縮小処理して画素数を減らし、これにより
元の画像よりも少ない画像データに基づいて照射野の認
識処理を行なうことができるため、照射野認識処理時間
を大幅に短縮することができる。
郭は、間引きされた画像データに基づくものであるた
め、間引きされていない元の画像データに基づいて求め
られる照射野輪郭とは大きな差は無いが完全に一致する
ものではない。
輪郭は、仮の照射野輪郭であり、この仮の照射野輪郭を
元の大きさまで拡大し、本来のデータ数の画像データに
基づいて求められたであろう照射野輪郭との誤差を低減
させるため、仮の照射野輪郭を中心として、真の照射野
輪郭を含むと考えられる範囲内で照射野輪郭の候補を多
数設定し、各候補ごとに上記誤差に代わる所定の評価を
求める。すなわち誤差が最も少ない候補は真の照射野輪
郭である蓋然性が極めて高い。したがってその評価に基
づいて、最適な候補を照射野輪郭とすることにより、従
来と同等の認識精度を確保することができる。
法および装置では、照射野認識処理を実質的に2回行な
うことになるが、1回目の処理ではデータ数が元の画像
データに比して少ないため、処理時間はその数の比に比
例し、一方、2回目の処理も、仮の照射野輪郭を中心と
した、誤差と考えられる極僅かな範囲内での処理である
ため、これらの処理時間を2回分合計し、さらに縮小処
理および拡大処理に要する処理時間を加算しても、従来
の場合のように、元の放射線画像の全ての画像データを
用いて1回の認識処理を行なうのに比べて、十分短い時
間で処理を終了することができる。
野認識装置の具体的な実施の形態について図面を用いて
説明する。
態の構成を示す図、図2は照射野絞りを用いた放射線画
像の撮影装置を示す図((1)参照)および照射野絞り
の開口輪郭に対応する照射野輪郭が形成された蓄積性蛍
光体シートを示す図((2)参照)、図3は図1に示し
た照射野認識装置による照射野認識の作用を説明するた
めの図である。
られる画像の取得方法についてまず説明する。すなわ
ち、図2(1)に示すように、X線源と被写体との間
に、矩形の開口輪郭を有し、この開口の外側の部分は、
X線が被写体および蓄積性蛍光体シートにX線が到達す
るのを防止する鉛板である照射野絞りが配され、この状
態でX線源から被写体にX線が照射される。この結果、
被写体を透過したX線が蓄積性蛍光体シートに照射され
るが、その際、図2(1)に示すように、照射野絞りの
開口輪郭より外側に対応する領域(照射野外領域)Pou
t にはX線が全く照射されず、一方、照射野絞りの開口
輪郭より内側に対応する領域(照射野領域)Pinには被
写体の透過X線情報が記録される。そして、照射野絞り
の開口輪郭に対応する部分は、開口輪郭と略同一形状
(矩形)で、濃度が急峻に変化する4本のエッジ線から
なる照射野輪郭PSが形成される。
された放射線画像(以下、原画像という)P0は図示し
ない公知の放射線画像情報読取装置によって読み取ら
れ、この原画像P0を表すデジタル画像データS0が出
力される。図示の照射野認識装置100 には、この画像デ
ータS0が入力される。
像データS0を一定間隔ごとに間引いてこの画像データ
が表す原画像P0を縮小処理する機能をなす縮小処理手
段10と、この縮小処理された画像データS1(この画像
データS1が表す縮小画像をP1という)に基づいて、
原画像P0中の照射野輪郭PSに対応する縮小画像P1
中の照射野輪郭PS′を求める照射野認識処理手段20
と、照射野輪郭PS′として求められた仮の照射野輪郭
PS″を構成する各線分の始点および終点に、拡大率β
を単純に乗じて縮小処理前の原画像P0に対応させる拡
大処理手段30と、拡大処理された仮の照射野輪郭PS″
の原画像P0に対する適合度合を、所定の評価関数を用
いて評価する評価手段40と、この評価手段40による評価
の結果に基づいて、適合度合が最も高い照射野輪郭P
S″i を定める照射野輪郭決定手段50と、縮小処理手段
10による縮小処理の縮小率αを設定するために、外部か
らオペレータが縮小率αを入力し、この入力された縮小
率αを縮小処理手段10に入力するとともに、この縮小率
αの逆数β(=1/α)を拡大率として設定し、この拡
大率βを拡大処理手段30に入力せしめる入力手段60とを
備えた構成である。
小率αおよび拡大処理手段30による拡大率βが予め設定
されており、一般的にはこれらを変更することができな
いようにした構成を採用することもでき、そのような構
成を採用する場合は、縮小処理手段10は予め内部に縮小
率αを有し、拡大処理手段30も予め内部に拡大率βを有
し、入力手段60は省略することができる。
たように縮小率αに応じた所定の間隔ごとに画像データ
P0を間引く処理を行なえばよい。なおこの間引く処理
に代えて、加算平均したうえで間引く等、データ数を一
定の規則の下に減少させる作用の各種の処理を適用する
ことができる。
は、面積比で1/1600倍以上(縦横方向それぞれ1/40倍以
上)1/16倍以下(縦横方向それぞれ 1/4倍以下)とする
のが望ましい。
補間処理によって画像データを増大させて画像全体のサ
イズを拡大するのではなく、仮の照射野輪郭PS″を構
成する各線分の始点および終点にのみ、拡大率βを単純
に乗じることによって、縮小画像P1上における照射野
輪郭PS″を、縮小処理前の原画像P0に対応させるも
のである。
1から照射野輪郭PS′を認識して求める処理は、特定
のものに限るものではなく、例えば前述した、放射線画
像を表す放射線画像データを放射線画像の水平方向に走
査してエッジ線を構成するエッジ候補点を検出し、垂直
方向にこのエッジ候補点を集計して垂直方向に延びるエ
ッジ線の水平方向での位置を求めるとともに、垂直方向
に走査してエッジ線を構成するエッジ候補点を検出し、
水平方向にこのエッジ候補点を集計して水平方向に延び
るエッジ線の垂直方向での位置を求めることにより、照
射野絞りの開口輪郭に対応するエッジ線を求める方法
や、照射野領域内に含まれる所定の点から放射線画像の
端部に向かう放射状の複数の方向に沿った画像データに
基づいてエッジ候補点を検出し、隣接するエッジ候補点
を連結することによってエッジ線を得る方法、ハフ変換
によるもの等既に公知の種々の方法を適用することがで
きる。
射野輪郭PS″の原画像P0に対する適合度合の評価
は、認識処理によって求められた仮の照射野輪郭PS″
が、原画像に現実に存在している照射野輪郭PSに一致
している度合を評価するものであり、この求められた仮
の照射野輪郭PS″を中心とする所定の範囲内で複数の
照射や輪郭の候補を設定し、これらの複数の候補のそれ
ぞれについて評価関数を用いた評価を行なう。評価関数
としては種々のものを用いることができる。
S″を構成する4本の各基準候補線を、候補線作成手段
41を用いて図4に示すように基準候補線を中心とする±
m画素、±θ度の範囲内でシフトおよび/または回転さ
せて、{(2m+1)(2θ+1)−1}個の変換候補
線を設定し、4本の基準候補線およびこれら4本の基準
候補線ごとにそれぞれ設定された各変換候補線ごとに、
評価値算出手段42により、 図4(1)に示すように、各候補線(基準候補線およ
び変換候補線)に関する微分値の、各候補線の延在方向
についての平均値を求める関数、または、 図4(2)に示すように、各候補線に関する濃度勾配
ベクトルの向きの、各候補線の延在方向についてのエン
トロピーを求める関数、の演算を行なう。
の平均値を求めるもの)を適用した場合は、照射野輪郭
決定手段50に、この微分値の平均値が大きくなるにした
がって適合度合が高くなるように両者を対応付けておく
ことが必要である。
トロピーの値を求めるもの)を適用した場合は、照射野
輪郭決定手段50に、このエントロピーの値が小さくなる
にしたがって適合度合が高くなるように両者を対応付け
ておくことが必要である。
関する微分値とは、各候補線を挟んで相対向する2つの
画素間の画像データの差分を意味する。この差分値が大
きい場合は、この2つの画素間で濃度の差が大きいこと
を意味し、画像のエッジが存在することを意味する。そ
して図4(1)に示すように、このような候補線を挟ん
で相対向する2つの画素の組(図中破線で示す)は、候
補線の延びる方向にそれぞれ存在するため、上記微分値
を、候補線の延びる方向にそれぞれ存在する画素の組に
ついて加算し、その和を加算した組数で除することによ
り上記平均値を求める。この平均値が大きい程、当該候
補線が放射線画像の現実のエッジである可能性が高い、
したがって上記平均値が大きくなるにしたがって適合度
合が高くなるように両者を対応付けておくことにより、
適合度合が最も高い候補線を現実の照射野輪郭を構成す
る線として定めることが可能となる。
に関する濃度勾配ベクトルとは、各候補線の一方の側の
各画素から濃度勾配(画像データの差分値)が最も大き
い方向を向くベクトルを意味する。そして、この濃度勾
配ベクトルの向いた方向を示す指標値(例えば候補線に
直交する方向となす角度θ′の正弦値( sinθ′))を
求め、図4(2)に示すように、候補線の延びる方向に
それぞれ存在する画素からの各濃度勾配ベクトルの向き
について、上記指標値ごとのヒストグラムを作成し、こ
のヒストグラム確率密度Piに基づいてエントロピー(−
Σ{(Pi)log Pi})を求める。このエントロピーが小さい
程、濃度勾配ベクトルの向きが一定の方向に揃っている
ことを意味し、したがってそのような候補線が放射線画
像の現実の照射野輪郭を構成する線である可能性が高
い。したがって上記エントロピーが小さくなるにしたが
って適合度合が高くなるように両者を対応付けておくこ
とにより、適合度合が最も高い候補線を現実の照射野輪
郭PSを構成する線として定めることが可能となる。
装置100 の作用について、図1〜5を用いて説明する。
て読み取られた原画像P0を表す原画像データS0が縮
小処理手段10に入力される。一方、入力手段60にはオペ
レータから所定の縮小率が入力される。この縮小率は面
積比で1/1600倍以上(縦横方向それぞれ1/40倍以上)1/
16倍以下(縦横方向それぞれ 1/4倍以下)の範囲であ
り、1/400 倍以上1/100 倍以下の範囲が望ましい。入力
手段60は入力された縮小率に基づいて縮小処理手段10に
縮小率αを出力するとともに縮小率αの逆数である拡大
率βが算出されてこれが拡大処理手段30に出力される。
づいて原画像P0を縮小処理するように(図5(2)参
照)、2次元マトリックス状に配列した原画像データS
0を縦、横とも一定間隔で減少させる。そしてこのデー
タ数が減少された縮小画像P1を表す縮小画像データS
1は照射野認識処理手段20に入力される。
対応するものとして、縮小画像P1中には照射野輪郭P
S′が現れる。照射野認識処理手段20は公知の種々の方
法にに基づいてこの縮小画像P1から照射野輪郭PS′
を検出する。この検出した照射野輪郭を実際に画像中に
存在する照射野輪郭PS′と区別するために仮の照射野
輪郭PS″と称する(図5(3)参照)。仮の照射野輪
郭PS″は拡大処理手段30に入力され、拡大処理手段30
は入力手段60から入力された拡大率βに基づいて仮の照
射野輪郭PS″を拡大処理する。すなわち仮の照射野輪
郭PS″を表す仮の照射野輪郭の位置データ(各線分の
始点と終点のみ)SS″に対して、単純に縮小率αの逆
数1/αが乗じられる。
に相当するサイズに拡大される(図5(4))。ここで
拡大された仮の照射野輪郭PS″は、原画像P0におけ
る照射野輪郭PSと極近似していると考えられるが、常
に一致するとは限らない。
PS″を中心として、この仮の照射野輪郭PS″の近傍
に仮の照射野輪郭PS″に近似する候補線を多数設定す
る(図5(5))。すなわち、拡大処理された仮の照射
野輪郭PS″を表す画像データSS″は評価手段40の候
補線作成手段41に入力され、候補線作成手段41は仮の照
射野輪郭PS″を構成する4本の直線をそれぞれ基準候
補線とし、図3に示すように基準候補線を中心とする±
m画素、±θ度の範囲内でシフトおよび/または回転さ
せて、{(2m+1)(2θ+1)−1}個の変換候補
線を求める。
補線ごとに{(2m+1)(2θ+1)−1}本づつ求
められた変換候補線の画像データは評価値算出手段42に
入力される。
段42は、各候補線(基準候補線および変換候補線)に関
する微分値の、各候補線の延在方向についての平均値を
求める関数が設定されたものであるとする。
の4本の方向ごとに、図4(1)に示すように各候補線
を挟んで相対向する2つの画素組の画像データの差分
を、候補線の延びる方向に沿って加算し、その和を加算
した画素組数で除することにより上記平均値を求める。
この平均値が大きい程、当該候補線が放射線画像の現実
のエッジである可能性が高く、最も濃度差(または輝度
差)のあるエッジが照射野輪郭を構成する線である。
価値が求められると、これらの各候補線のデータおよび
評価値は照射野輪郭決定手段50に出力される。
つの方向ごとに、各方向に含まれる候補線群の中から評
価値が最も高い各1本の候補線を選択し、これらを照射
野輪郭PSを構成する4本の線として決定する(図5
(6))。
外部の画像処理装置等に出力されて、照射野輪郭よりも
外側の領域を最高濃度に塗り潰す黒化処理等が施され
る。
野認識装置によれば、照射野の認識対象である原画像を
縮小処理した縮小画像で照射野認識を行なうことによ
り、処理対象のデータ数を大幅に低減して照射野認識処
理時間を大幅に短縮することができる。
識処理を行なったことによる誤差は、真の照射野輪郭を
含むと考えられる範囲内で照射野輪郭の候補を多数設定
し、各候補ごとに上記誤差に代わる所定の評価値に基づ
く評価を行なうことによって略解消され、従来と同等の
認識精度を確保することができる。
は、上記評価値算出手段42として、各候補線(基準候補
線および変換候補線)に関する微分値の、各候補線の延
在方向についての平均値を求める関数が設定されたもの
を適用したが、これに代えて、各候補線の一方の側の各
画素から画像データ値の差分値が最も大きい方向を向く
ベクトル(濃度勾配ベクトル)を設定し、この濃度勾配
ベクトルの向いた方向を示す指標値(例えば候補線に直
交する方向となす角度θ′の正弦値( sinθ′))を求
め、図4(2)に示すように、当該候補線の延びる方向
にそれぞれ存在する画素からの各濃度勾配ベクトルの向
きについて、上記指標値ごとのヒストグラムを作成し、
このヒストグラムの確率密度Piに基づいてエントロピー
(−Σ{(Pi)log Pi})を求め、このエントロピーを評価
値とするものを適用することもできる。この場合、照射
野輪郭決定手段50は、基準候補線の4つの方向ごとに、
エントロピーが最も小さく各1本の候補線を照射野輪郭
を構成する線として決定するものと設定しておく必要が
ある。
法および装置は、必ずしもこの実施形態に限定されるも
のではなく、評価手段も上記の態様に限るものではな
い。
ータS0ではなく、他の何らかの目的のために、既に縮
小された画像のデータ(例えば、蓄積性蛍光体シートに
蓄積記録された放射線画像情報のダイナミックレンジ等
の概要を把握するために、いわゆる本読みに先だって行
なわれる、本読みよりも粗い画素密度で画像情報を読み
取る先読みによって読み取られた画像データ等)S1で
ある場合は、図6に示すように、図1に示した照射野認
識装置に対して、縮小処理手段10を除外し、入力手段60
に代えて縮小率αを出力しない入力手段60′(無い構成
でもよい)を備えた構成とすればよい。
形態の構成を示す図
域の検出処理の対象となる、照射野絞りを用いて撮影さ
れた蓄積性蛍光体シートを示す図
を時系列的に説明する図
施形態の構成を示す図
Claims (6)
- 【請求項1】 照射野絞りを使用して撮影された照射野
を有する放射線画像の該照射野を、該放射線画像を表す
画像データに基づいて認識処理する照射野認識方法にお
いて、 前記画像データに基づく前記放射線画像を縮小処理し、 該縮小処理された画像についての画像データに基づいて
前記照射野の認識処理を行なって仮の照射野輪郭を求
め、 該仮の照射野輪郭を、前記縮小処理前の元の放射線画像
に対応する大きさに拡大処理し、 前記元の放射線画像に対する、前記拡大処理された仮の
照射野輪郭の適合度合を、所定の評価関数を用いて評価
し、 該評価の結果に基づいて、前記適合度合が最も高い照射
野輪郭を定めることを特徴とする放射線画像の照射野認
識方法。 - 【請求項2】 前記所定の評価関数が、 前記拡大処理された仮の照射野輪郭を構成する各基準候
補線を、該基準候補線を中心とする±m画素、±θ度の
範囲内でシフトおよび/または回転させて、{(2m+
1)(2θ+1)−1}個の変換候補線を設定し、前記
基準候補線および前記各変換候補線ごとに、各候補線に
関する微分値の、各候補線の延在方向についての平均値
を求める関数であり、 前記微分値の平均値が大きくなるにしたがって前記適合
度合が高くなるように両者を対応付けることを特徴とす
る請求項1記載の放射線画像の照射野認識方法。 - 【請求項3】 前記所定の評価関数が、 前記拡大処理された仮の照射野輪郭を構成する各基準候
補線を、該基準候補線を中心とする±m画素、±θ度の
範囲内でシフトおよび/または回転させて、{(2m+
1)(2θ+1)−1}個の変換候補線を設定し、前記
基準候補線および前記各変換候補線ごとに、各候補線に
関する濃度勾配ベクトルの向きの、各候補線の延在方向
についてのエントロピーを求める関数であり、 前記濃度勾配ベクトルの向きのエントロピーが小さくな
るにしたがって前記適合度合が高くなるように両者を対
応付けることを特徴とする請求項1記載の放射線画像の
照射野認識方法。 - 【請求項4】 照射野絞りを使用して撮影された照射野
を有する放射線画像の該照射野を、該放射線画像を表す
画像データに基づいて認識処理する照射野認識装置にお
いて、 前記画像データに基づく前記放射線画像を縮小処理する
縮小処理手段と、 該縮小処理された画像についての画像データに基づいて
前記照射野の認識処理を行なって仮の照射野輪郭を求め
る照射野認識処理手段と、 該仮の照射野輪郭を、前記縮小処理前の元の放射線画像
に対応する大きさに拡大処理する拡大処理手段と、 前記元の放射線画像に対する前記拡大処理された仮の照
射野輪郭の適合度合を、所定の評価関数を用いて評価す
る評価手段と、 該評価の結果に基づいて、前記適合度合が最も高い照射
野輪郭を定める照射野輪郭決定手段とを備えたことを特
徴とする放射線画像の照射野認識装置。 - 【請求項5】 前記評価手段が、 前記拡大処理された仮の照射野輪郭を構成する各基準候
補線を、該基準候補線を中心とする±m画素、±θ度の
範囲内でシフトおよび/または回転させて、{(2m+
1)(2θ+1)−1}個の変換候補線を設定する候補
線設定手段と、 前記基準候補線および前記各変換候補線ごとに、各候補
線に関する微分値の、各候補線の延在方向についての平
均値を求める評価値算出手段とを有し、 前記照射野輪郭決定手段が、 前記微分値の平均値が大きくなるにしたがって前記適合
度合が高くなるように両者を対応付けているものである
ことを特徴とする請求項4記載の放射線画像の照射野認
識装置。 - 【請求項6】 前記評価手段が、 前記拡大処理された仮の照射野輪郭を構成する各基準候
補線を、該基準候補線を中心とする±m画素、±θ度の
範囲内でシフトおよび/または回転させて、{(2m+
1)(2θ+1)−1}個の変換候補線を設定する候補
線設定手段と、 前記基準候補線および前記各変換候補線ごとに、各候補
線に関する濃度勾配ベクトルの、各候補線の延在方向に
ついてのエントロピーを求める評価値算出手段とを有
し、 前記照射野輪郭決定手段が、 前記濃度勾配ベクトルのエントロピーが小さくなるにし
たがって前記適合度合が高くなるように両者を対応付け
ているものであることを特徴とする請求項4記載の放射
線画像の照射野認識装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05738297A JP3617751B2 (ja) | 1997-03-12 | 1997-03-12 | 放射線画像の照射野認識方法および装置 |
| US09/041,025 US6243485B1 (en) | 1997-03-12 | 1998-03-12 | Method and apparatus for recognizing irradiation fields on radiation images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP05738297A JP3617751B2 (ja) | 1997-03-12 | 1997-03-12 | 放射線画像の照射野認識方法および装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10248830A true JPH10248830A (ja) | 1998-09-22 |
| JP3617751B2 JP3617751B2 (ja) | 2005-02-09 |
Family
ID=13054065
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP05738297A Expired - Fee Related JP3617751B2 (ja) | 1997-03-12 | 1997-03-12 | 放射線画像の照射野認識方法および装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6243485B1 (ja) |
| JP (1) | JP3617751B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999063488A1 (en) * | 1998-06-02 | 1999-12-09 | Sony Corporation | Image processing device and image processing method |
| JP2006181362A (ja) * | 2004-12-24 | 2006-07-13 | General Electric Co <Ge> | ディジタル画像放射線撮像においてコリメーション・エッジを検出するシステム、方法及び装置 |
| EP2372395A2 (en) | 2010-03-31 | 2011-10-05 | Fujifilm Corporation | Radiographic imaging system |
| US8238633B2 (en) | 2010-09-29 | 2012-08-07 | Fujifilm Corporation | Image processing apparatus, radiographic image system, and image processing method and program |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1672551A3 (en) * | 1998-04-07 | 2006-08-30 | Canon Kabushiki Kaisha | Image processing method, apparatus, and storage medium for recognition of irradiation area |
| DE102005006658B4 (de) * | 2005-02-14 | 2011-12-15 | Siemens Ag | Verfahren bzw. Röntgensystem zur Aufnahme von Röntgenabbildungen eines auf einem digitalen Röntgendetektor abgebildeten Untersuchungsobjektes |
| JP5333607B2 (ja) * | 2009-12-29 | 2013-11-06 | 株式会社島津製作所 | 放射線画像処理装置および放射線画像処理プログラム |
| JP6102236B2 (ja) * | 2012-12-13 | 2017-03-29 | コニカミノルタ株式会社 | 放射線画像処理装置 |
| DK3516968T3 (da) * | 2016-09-20 | 2023-07-31 | Nippon Suisan Kaisha Ltd | Fremgangsmåde til fremstilling af fiskerognspasta med derfra fjernede fremmedstoffer, og apparat til fremstilling af fiskerognspasta med derfra fjernede fremmedstoffer |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3576898D1 (de) | 1984-07-31 | 1990-05-03 | Fuji Photo Film Co Ltd | Verfahren zur einstellung von strahlenbildauslesebedingungen. |
| JP2596744B2 (ja) | 1987-04-16 | 1997-04-02 | 富士写真フイルム株式会社 | 放射線照射野認識方法 |
| US5072384A (en) * | 1988-11-23 | 1991-12-10 | Arch Development Corp. | Method and system for automated computerized analysis of sizes of hearts and lungs in digital chest radiographs |
| JPH0786924B2 (ja) * | 1989-04-20 | 1995-09-20 | 富士写真フイルム株式会社 | 画像拡大縮小方法および装置 |
| US5481623A (en) * | 1990-04-19 | 1996-01-02 | Fuji Photo Film Co., Ltd. | Apparatus for determining an image position on imaging media |
| JP3002923B2 (ja) * | 1992-04-20 | 2000-01-24 | 富士写真フイルム株式会社 | 画像位置合せ装置およびその使用方法 |
| US5526442A (en) * | 1993-10-04 | 1996-06-11 | Hitachi Medical Corporation | X-ray radiography method and system |
| JPH07299053A (ja) * | 1994-04-29 | 1995-11-14 | Arch Dev Corp | コンピュータ診断支援方法 |
| DE69531743D1 (de) * | 1994-11-25 | 2003-10-16 | Sophisview Technologies Ltd | System und verfahren zur diagnose von krankheiten an lebendem gewebe |
| DE69629732T2 (de) * | 1995-01-23 | 2004-07-15 | Fuji Photo Film Co., Ltd., Minami-Ashigara | Vorrichtung zur rechnerunterstützten Diagnose |
| US5841148A (en) * | 1996-02-02 | 1998-11-24 | Fuji Photo Film Co., Ltd. | Image processing apparatus |
| JP3706189B2 (ja) * | 1996-03-15 | 2005-10-12 | 富士写真フイルム株式会社 | 画像データの補間処理方法およびその方法を使用した装置 |
-
1997
- 1997-03-12 JP JP05738297A patent/JP3617751B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-12 US US09/041,025 patent/US6243485B1/en not_active Expired - Lifetime
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999063488A1 (en) * | 1998-06-02 | 1999-12-09 | Sony Corporation | Image processing device and image processing method |
| US6556195B1 (en) | 1998-06-02 | 2003-04-29 | Sony Corporation | Image processing device and image processing method |
| JP2006181362A (ja) * | 2004-12-24 | 2006-07-13 | General Electric Co <Ge> | ディジタル画像放射線撮像においてコリメーション・エッジを検出するシステム、方法及び装置 |
| EP2372395A2 (en) | 2010-03-31 | 2011-10-05 | Fujifilm Corporation | Radiographic imaging system |
| US8238633B2 (en) | 2010-09-29 | 2012-08-07 | Fujifilm Corporation | Image processing apparatus, radiographic image system, and image processing method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| US6243485B1 (en) | 2001-06-05 |
| JP3617751B2 (ja) | 2005-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3923131B2 (ja) | 放射線画像の照射野認識方法および装置、並びに黒化処理方法および装置 | |
| JP3539788B2 (ja) | 画像間対応付け方法 | |
| JPH1023452A (ja) | 画像抽出装置および方法 | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| JPH10248830A (ja) | 放射線画像の照射野認識方法および装置 | |
| WO2002047553A1 (en) | Method of detecting rib cage boundary for digital chest image | |
| JP2574181B2 (ja) | 異常陰影検出装置 | |
| EP2536123A1 (en) | Image processing method and image processing apparatus | |
| US6317510B1 (en) | Blackening processing method and apparatus | |
| JP2001202507A (ja) | 画像の位置合わせ処理方法および位置合わせ処理装置 | |
| JPH04198741A (ja) | 形状欠陥検出装置 | |
| JPH1071138A (ja) | 放射線画像処理方法および装置 | |
| JP2004318693A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| CN118424587A (zh) | 一种可视化气密性漏点侦测方法 | |
| JPH11332858A (ja) | 照射野外黒化処理装置 | |
| JP2004145592A (ja) | 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体 | |
| JP4406978B2 (ja) | テンプレートマッチング方法 | |
| JPH10162156A (ja) | 照射野認識装置および放射線画像処理装置 | |
| JPH0515525A (ja) | 画像位置修正方法 | |
| JP3765920B2 (ja) | 照射野外黒化処理装置 | |
| JPH10143634A (ja) | 円形照射野認識方法および装置 | |
| JP2001243479A (ja) | 画像処理方法および装置、ならびに画像処理プログラムを記録した記録媒体 | |
| JPH08215183A (ja) | 石灰化検出方法および装置 | |
| JPH06281421A (ja) | 画像処理方法 | |
| JPH10154226A (ja) | 放射線画像処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041022 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041104 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071119 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081119 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091119 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101119 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111119 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121119 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131119 Year of fee payment: 9 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |