JP3715580B2 - 医用運動解析装置及びその方法 - Google Patents

医用運動解析装置及びその方法 Download PDF

Info

Publication number
JP3715580B2
JP3715580B2 JP2002077315A JP2002077315A JP3715580B2 JP 3715580 B2 JP3715580 B2 JP 3715580B2 JP 2002077315 A JP2002077315 A JP 2002077315A JP 2002077315 A JP2002077315 A JP 2002077315A JP 3715580 B2 JP3715580 B2 JP 3715580B2
Authority
JP
Japan
Prior art keywords
motion
analysis
medical
component
heart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002077315A
Other languages
English (en)
Other versions
JP2003265480A (ja
Inventor
正英 西浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2002077315A priority Critical patent/JP3715580B2/ja
Publication of JP2003265480A publication Critical patent/JP2003265480A/ja
Application granted granted Critical
Publication of JP3715580B2 publication Critical patent/JP3715580B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、臓器などの運動を解析する医用運動解析装置に関する。
【0002】
【従来の技術】
心臓病等の診断において、臓器運動を正確に測定することは重要である。このため、これまでに臓器部分の2次元または3次元運動情報を取得する手法が提案されている(西浦正英 他、“部分形状拘束輪郭モデルによる超音波心壁動的輪郭抽出法”,電子情報通信学会論文誌(D−II), vol.J83−D−II,no.1 ,pp.183−190,Jan.2000)、(梅原幹雄 他、電子情報通信学会論文誌(D−II),vol.J79−D−II,no.2,pp.286−294,Feb.1996)。
【0003】
これらの手法では直接得られる運動情報とは、直交するx軸、y軸、z軸方向の位置変化や速度である。
【0004】
一方、心臓の運動を例にとってみると、心室壁の典型的な運動は、収縮/拡張方向の運動と、ねじれや回転等による収縮/拡張方向とは異なる方向の運動に分けて考えることができる。心臓病の診断等においては、運動の主要成分である収縮/拡張方向を主軸にとった運動情報の方が意味理解に適している。
【0005】
こうした観点から、従来は事前に仮定された収縮中心へ向かう方向の運動成分を得る方法や、別途得られる輪郭線に直交した方向の運動成分を得る方法がある(特開平10−99334等)。
【0006】
【発明が解決しようとする課題】
しかし、これらの方法はあくまでも運動方向は仮定されたものであり、実際の運動方向を反映するものではない。
【0007】
そこで、本発明は、臓器の運動方向についての仮定を行うこと無しに、診断上有用な運動情報を得ることができる医用運動解析装置及びその方法を提供する。
【0008】
【課題を解決するための手段】
請求項1の発明は、心臓を含む臓器を解析対象物として、その解析対象物の運動を解析する医用運動解析装置において、前記解析対象物の各部分の時系列運動情報を取得する運動情報取得手段と、 前記時系列運動情報を主成分分析して主成分の方向を求め、この主成分の方向が、前記解析対象物の拡張収縮方向を示す解析座標系の主軸であると意味付けする運動方向推定手段と、前記推定された解析座標系における前記解析対象物の各部分の運動成分を算出する運動成分算出手段と、を具備することを特徴とする医用運動解析装置である。
【0009】
請求項2の発明は、前記時系列運動情報が、前記解析対象物の各部分の時系列速度データであることを特徴とする請求項1記載の医用運動解析装置である。
【0010】
請求項3の発明は、前記時系列運動情報が、前記解析対象物の各部分の時系列位置データであることを特徴とする請求項1記載の医用運動解析装置である。
【0011】
請求項4の発明は、前記時系列運動情報が、前記解析対象物の各部分の時系列組織歪データを含み、前記解析対象物の各部分において前記解析座標系での歪データを算出する歪データ変換手段を具備することを特徴とする請求項1から3のうちいずれか一項に記載の医用運動解析装置である。
【0012】
請求項5の発明は、前記時系列運動情報が、前記解析対象物の各部分の時系列組織歪速度データを含むことを特徴とする請求項1から3のうちいずれか一項に記載の医用運動解析装置である。
【0013】
請求項6の発明は、前記解析対象物が心臓であり、前記解析座標系における前記心臓の複数の部分の運動成分から前記心臓の収縮中心を推定する収縮中心推定手段を具備することを特徴とする請求項1から5のうちいずれか一項に記載の医用運動解析装置である。
【0014】
請求項7の発明は、前記解析対象物が心臓であり、前記時系列運動情報が、前記心臓の心拍から算出された期間内の時系列運動情報であることを特徴とする請求項1から6のうちいずれか一項に記載の医用運動解析装置である。
【0015】
請求項8の発明は、心臓を含む臓器を解析対象物として、その解析対象物の運動をコンピュータによって解析する医用運動解析方法において、前記コンピュータによって取得された前記解析対象物の各部分の時系列運動情報を主成分分析して主成分の方向を求め、この主成分の方向が、前記解析対象物の拡張収縮方向を示す解析座標系の主軸であると前記コンピュータによって意味付けする運動方向推定ステップと、前前記推定された解析座標系における前記解析対象物の各部分の運動成分を前記コンピュータによって算出する運動成分算出ステップと、を具備することを特徴とする医用運動解析方法である。
【0016】
請求項9の発明は、心臓を含む臓器を解析対象物として、その解析対象物の運動を解析するための医用運動解析プログラムであって、コンピュータに、前記解析対象物の各部分の時系列運動情報を取得する運動情報取得機能と、前記時系列運動情報を主成分分析して主成分の方向を求め、この主成分の方向が、前記解析対象物の拡張収縮方向を示す解析座標系の主軸であると意味付けする運動方向推定機能と、前記推定された解析座標系における前記解析対象物の各部分の運動成分を算出する運動成分算出機能と、を実現させる医用運動解析プログラムである。
【0017】
本発明によれは、心臓や胃等の臓器の運動方向についての仮定や、仮定に基づく手動設定作業無しに、診断上有用な運動情報を提供することが可能となる。
【0018】
【発明の実施の形態】
(第1の実施例)
以下、本発明の第1の実施例を図1から図6に基づいて説明する。
【0019】
図1は、本実施例の医用運動解析装置10の構成図である。この医用運動解析装置10では、臓器の一つである心臓を解析対象物とする。
【0020】
図1に示すように、医用運動解析装置10は、解析対象物の運動情報を得る運動情報取得部12と、得られた運動情報の時系列データを記憶する運動情報記憶部14と、運動情報の時系列データから運動方向の主要成分方向を推定する運動方向推定部16と、推定された運動方向を主軸とした運動成分値を算出する運動成分算出部18と、算出された運動成分値を出力または表示する出力部20とで構成される。
【0021】
これら各部12から20の機能は、コンピュータに記憶されたプログラムによって実現できる。
【0022】
以下に医用運動解析装置10の処理の流れに沿って説明する。
【0023】
まず、超音波診断装置、MRI、CT等の別の手段によって得られた心臓の動きを撮影した時系列画像を取得する。
【0024】
そして、この時系列画像を解析して、心臓の各部分の運動情報が運動情報取得部12に入力される。ここで心臓の各部分の運動情報とは、各部分における位置座標や速度データ等の時系列データである。
【0025】
時系列の画像から、解析対象物の各点を追跡する手法としては、例えば輝度勾配からオプティカルフローを算出する手法や、パターンマッチングによる追跡法がある。
【0026】
パターンマッチングでは、ある時刻における画像において、追跡点付近の画像をテンプレート画像として取得し、他の時刻における画像について、テンプレート画像に最も似たパターンを持つ位置を追跡点として検出する。似たパターンの評価は、例えば相関や差分等を用いる方法がある。
【0027】
このような手法を用いて、解析対象物の各部分の位置座標を得ることができ、位置座標を時間微分することで速度を得ることができる。
【0028】
以下、本実施例では、各部分の運動情報が2次元の速度データである場合について説明する。速度データは、心臓の各部位各点におけるx方向成分値、y方向成分値である。
【0029】
入力された速度データv=(v,v)は、運動情報記憶部14に順次記憶される。ここで、v,vはそれぞれ、x軸方向、y軸方向の速度成分である。
【0030】
次に、運動方向推定部16では、速度データの時系列データから主要な運動方向の推定を行う。運動方向の推定は、例えば主成分分析を用いる。今、時刻tにおける速度をv=(v ,v ) と表す。
【0031】
【数1】
Figure 0003715580
となる。速度データの共分散行列Cは、
【数2】
Figure 0003715580
と計算される。主成分分析は、共分散行列Cの固有ベクトルを求めることで計算される。つまり、
【数3】
Figure 0003715580
となる固有ベクトルpを求める。主成分はpである。
【0032】
運動方向推定を概念的に図示したものが図2である。
【0033】
図2において、各時刻における速度がプロットで表されている。主成分分析により、速度のばらつきの最も大きい方向が主成分pとして算出される。つまり、心臓の収縮/拡張運動のように主要な運動成分が収縮/拡張方向である場合には、主成分pとしてこの収縮/拡張方向が算出されることになる。
【0034】
そして、この主成分pの方向が、心臓の収縮/拡張方向を示す解析座標系の主軸となる。
【0035】
次に、主成分分析で求まった解析座標に基づいて、心臓の各部位各点におけるx方向成分値、y方向成分値の速度データを変換する。すなわち、心臓の各部位各点における速度ベクトル方向の運動成分Vが、下記の式を用いて運動成分算出部18で計算される。
【0036】
【数4】
Figure 0003715580
これにより、元はx軸方向成分、y軸運動成分で表されていた速度を、診断上の意味を理解しやすい心臓の収縮/拡張方向成分とそれに直交する方向成分の解析座標系で表すことができる。
【0037】
また、心臓の収縮/拡張方向に注目することで、診断上意味のある正負の符号の付いた速度の大きさを算出することが可能となる。従来のx軸方向成分、y軸推定成分で表された速度では、診断上意味のある動き方向が不明なため、意味ある符号付けはできず、速度の大きさは絶対値で表すか(図3参照)、または、仮定された収縮中心へ向かう方向の成分を算出するしかなかった。しかし本実施例によると、診断上意味のある動き方向が速度データ自身から算出されるため、この軸方向に関して正負の符号が付いた速度の大きさを得ることが可能となる(図4参照)。つまり、収縮方向の速度であるのか、拡張方向の速度であるのかを区別することが可能となる。
【0038】
また、主軸方向以外の方向の速度成分に対する意味付けも可能となる。例えば、主軸方向を収縮/拡張方向とした場合、他方の軸方向は回転方向と意味付けることも可能である。
【0039】
最後に出力部20では、主成分方向及びその他方向の方向ベクトルと、主成分方向及びその他方向の速度成分の時系列データが出力される。図示されないディスプレイーやプリンター等の別手段において、速度データのグラフ表示や画像への重畳表示等を行うことが可能である。また、画像上に図5に示すように主成分方向を明示すると、運動状態及び出力される速度データの理解の助けとなる。
【0040】
なお、図6に示すように、付加的な機能として、心臓壁の複数部分の速度データについての複数の主成分方向から、最小二乗法等により収縮中心の推定を行うことも可能である。
【0041】
(第2の実施例)
次に本発明の第2の実施例について図7から図12に基づいて説明する。
【0042】
本実施例の医用運動解析装置100は、運動情報として速度データと心筋の歪データが取得される場合であり、主要な運動方向を主軸とする座標系において、歪(伸び縮みの度合い)を求める例である。また本実施例では、運動方向算出に用いる時系列速度データの時間区間を、心拍情報から算出する。
【0043】
本実施例の医用運動解析装置100の構成図を図7に示す。
【0044】
図7に示すように、医用運動解析装置100は、心臓の各部分における速度データと歪データを得る運動情報取得部112と、得られた時系列速度データを記憶する速度データ記憶部114と、歪データを記憶する歪データ記憶部116と、時系列速度データから運動方向の主要成分方向を推定する運動方向推定部118と、推定された運動方向を主軸とした速度成分値を算出する速度成分算出部120と、運動方向推定部118で推定された主要運動方向を主軸とする座標系に歪データを変換する歪データ変換部122と、変換後の速度成分値及び歪データを出力または表示する出力部124とで構成される。
【0045】
運動情報取得部112では、速度データと歪データが順次入力される。速度データは、心臓の各部位各点におけるx方向成分値、y方向成分値である。歪データは、x方向の伸縮を表すexx、y方向の伸縮を表すeyy、ずれを表すexyといった、歪テンソルの値が心臓各部位各点について入力される。これらの歪データにより、図9に示すような伸縮とずれを表すことができる。速度データは速度データ記憶部114に記憶され、歪データは歪データ記憶部116に記憶される。歪テンソルは、次式である。
【0046】
【数5】
Figure 0003715580
次に、第1の実施例と同様に、時系列の速度データから心臓各部位における運動の主軸が主成分分析により算出される。第2の実施例では、例えば図8に示すように、主成分分析に用いる時系列データの時間幅を心拍情報から算出する。
【0047】
具体例で説明すると、心拍数が60であった場合には、1心拍にに要する時間は1秒であるので、過去1秒分の時系列データからの運動の主軸を算出すると良い。あるいは、安定性向上のために過去数心拍分の時系列データを用いても良いし、逆に運動変化への追従性向上のために、半心拍分の時系列データを用いても良い。いずれにしても、心拍情報を基に、使用する時間区間を決定することで、心臓の運動に対する合理的な時間区間を適応的に算出することが可能となる。
【0048】
心臓の運動では、心筋の運動方向と心筋厚の変化方向は近いと考えることができる。そこで、運動方向推定部118で推定された主要運動方向を主軸に持つ座標系に、歪データを変換する。推定された主軸と、元のx軸との角度をφとすると、変換後の歪テンソルは次式で計算される。
【0049】
【数6】
Figure 0003715580
ここで、Rは角度をφの回転変換である。このような変換により、運動方向を解析座標系のX軸とする歪データを表すことで、心臓の動きをより適切に説明することのできる量、例えば心筋厚の変化量を得ることが可能となる(図10、11)。そして、変換後の歪テンソルEの要素であるepxx は心筋厚の歪を表し、epyy は心筋に沿った方向の歪を表すことになる。
【0050】
最後に出力部122では、変換された速度データと歪データが出力される。また、図12のように心筋の部分ごとに心筋厚の歪分布をグラフ化しても良い。このようにすることで、心筋のどの部分が異常であるかを把握しやすい。
【0051】
(変更例)
2つの実施例においては、2次元の速度データを扱う場合について例示したが、3次元の速度データに対しても同様の処理をすることができる。また速度データや歪データだけでなく、歪速度等、他の量に対しても同様の処理をすることができる。
【0052】
【発明の効果】
本発明によれば、臓器の運動方向についての仮定や仮定に基づく手動設定作業無しに、診断上有用な運動情報を提供することが可能となり、診断の高精度化及び効率化に大きく寄与する。
【図面の簡単な説明】
【図1】第1の実施例のの医用運動解析装置の構成図である。
【図2】時系列速度ベクトルの主成分方向の例である。
【図3】絶対値で表示された速度の例である。
【図4】主成分方向成分の正負区別された速度の例である。
【図5】主成分方向の表示例である。
【図6】収縮中心推定の説明図である。
【図7】第2の実施例のの医用運動解析装置の構成図である。
【図8】運動方向推定に用いる区間を説明する図である。
【図9】歪の様子を説明する図である。
【図10】変換前の座標系における歪の説明図である。
【図11】変換後の座標系における歪の説明図である。
【図12】心筋厚歪分布の表示例である。
【符号の説明】
10 医用運動解析装置
12 運動情報取得部
14 運動情報記憶部
16 運動方向推定部
18 運動成分算出部
20 出力部

Claims (9)

  1. 心臓を含む臓器を解析対象物として、その解析対象物の運動を解析する医用運動解析装置において、
    前記解析対象物の各部分の時系列運動情報を取得する運動情報取得手段と、
    前記時系列運動情報を主成分分析して主成分の方向を求め、この主成分の方向が、前記解析対象物の拡張収縮方向を示す解析座標系の主軸であると意味付けする運動方向推定手段と、
    前記推定された解析座標系における前記解析対象物の各部分の運動成分を算出する運動成分算出手段と、
    を具備する
    ことを特徴とする医用運動解析装置。
  2. 前記時系列運動情報が、前記解析対象物の各部分の時系列速度データである
    ことを特徴とする請求項1記載の医用運動解析装置。
  3. 前記時系列運動情報が、前記解析対象物の各部分の時系列位置データである
    ことを特徴とする請求項1記載の医用運動解析装置。
  4. 前記時系列運動情報が、前記解析対象物の各部分の時系列組織歪データを含み、
    前記解析対象物の各部分において前記解析座標系での歪データを算出する歪データ変換手段を具備する
    ことを特徴とする請求項1から3のうちいずれか一項に記載の医用運動解析装置。
  5. 前記時系列運動情報が、前記解析対象物の各部分の時系列組織歪速度データを含む
    ことを特徴とする請求項1から3のうちいずれか一項に記載の医用運動解析装置。
  6. 前記解析対象物が心臓であり、
    前記解析座標系における前記心臓の複数の部分の運動成分から前記心臓の収縮中心を推定する収縮中心推定手段を具備する
    ことを特徴とする請求項1から5のうちいずれか一項に記載の医用運動解析装置。
  7. 前記解析対象物が心臓であり、
    前記時系列運動情報が、前記心臓の心拍から算出された期間内の時系列運動情報である
    ことを特徴とする請求項1から6のうちいずれか一項に記載の医用運動解析装置。
  8. 心臓を含む臓器を解析対象物として、その解析対象物の運動をコンピュータによって解析する医用運動解析方法において、
    前記コンピュータによって取得された前記解析対象物の各部分の時系列運動情報を主成分分析して主成分の方向を求め、この主成分の方向が、前記解析対象物の拡張収縮方向を示す解析座標系の主軸であると前記コンピュータによって意味付けする運動方向推定ステップと、
    前記推定された解析座標系における前記解析対象物の各部分の運動成分を前記コンピュータによって算出する運動成分算出ステップと、
    を具備する
    ことを特徴とする医用運動解析方法。
  9. 心臓を含む臓器を解析対象物として、その解析対象物の運動を解析するための医用運動解析プログラムであって、コンピュータに、
    前記解析対象物の各部分の時系列運動情報を取得する運動情報取得機能と、
    前記時系列運動情報を主成分分析して主成分の方向を求め、この主成分の方向が、前記解析対象物の拡張収縮方向を示す解析座標系の主軸であると意味付けする運動方向推定機能と、
    前記推定された解析座標系における前記解析対象物の各部分の運動成分を算出する運動成分算出機能と、
    を実現させる医用運動解析プログラム。
JP2002077315A 2002-03-19 2002-03-19 医用運動解析装置及びその方法 Expired - Fee Related JP3715580B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002077315A JP3715580B2 (ja) 2002-03-19 2002-03-19 医用運動解析装置及びその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002077315A JP3715580B2 (ja) 2002-03-19 2002-03-19 医用運動解析装置及びその方法

Publications (2)

Publication Number Publication Date
JP2003265480A JP2003265480A (ja) 2003-09-24
JP3715580B2 true JP3715580B2 (ja) 2005-11-09

Family

ID=29205668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002077315A Expired - Fee Related JP3715580B2 (ja) 2002-03-19 2002-03-19 医用運動解析装置及びその方法

Country Status (1)

Country Link
JP (1) JP3715580B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006061581A (ja) 2004-08-30 2006-03-09 Toshiba Corp 医用運動解析装置、医用運動解析方法および医用運動解析プログラム
JP5063216B2 (ja) * 2007-06-27 2012-10-31 日立アロカメディカル株式会社 超音波診断装置及び処理プログラム
US8315354B2 (en) 2007-12-07 2012-11-20 Konica Minolta Medical & Graphic, Inc. Dynamic radiographing system
CN102056547B (zh) * 2008-06-03 2014-05-14 株式会社日立医疗器械 医用图像处理装置及医用图像处理方法
US8208703B2 (en) * 2008-11-05 2012-06-26 Toshiba Medical Systems Corporation Medical image analysis apparatus and image analysis control program
JP5526401B2 (ja) * 2009-03-31 2014-06-18 国立大学法人東京農工大学 心室壁情報抽出装置
CN104156975B (zh) * 2013-05-13 2018-04-24 东芝医疗系统株式会社 医学图像分析装置和方法以及医学成像设备
JP7136588B2 (ja) * 2018-05-14 2022-09-13 キヤノンメディカルシステムズ株式会社 超音波診断装置、医用画像診断装置、医用画像処理装置及び医用画像処理プログラム

Also Published As

Publication number Publication date
JP2003265480A (ja) 2003-09-24

Similar Documents

Publication Publication Date Title
CN111432733B (zh) 用于确定超声探头的运动的设备和方法
US8391546B2 (en) Method and corresponding apparatus for quantitative measurements on sequences of images, particularly ultrasonic images
US6295464B1 (en) Apparatus and method for dynamic modeling of an object
JP4348383B2 (ja) 生物学的構造体の、湾曲した解剖学的mモード表示を行う装置
JP3725442B2 (ja) 医用画像診断装置及びその方法
JP2006061581A (ja) 医用運動解析装置、医用運動解析方法および医用運動解析プログラム
CN106340015B (zh) 一种关键点的定位方法和装置
US20030171668A1 (en) Image processing apparatus and ultrasonic diagnosis apparatus
Hartkens et al. Using points and surfaces to improve voxel-based non-rigid registration
JP5491747B2 (ja) 医用画像解析装置及び画像解析用制御プログラム
JP2003508139A (ja) 非剛体運動画像解析
US9508140B2 (en) Quantifying curvature of biological structures from imaging data
JP2007252904A (ja) 3dボリュームデータセット内での仮想の断層位置決め方法および医用撮像システム
McEachen et al. Multiframe temporal estimation of cardiac nonrigid motion
US20050148844A1 (en) Biomagnetic measurement apparatus
JP3715580B2 (ja) 医用運動解析装置及びその方法
JPWO2020138136A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN114581599A (zh) 一种不依赖外部定位设备的超声三维结构快速获取系统的方法
Wick et al. Detection of cardiac quiescence from B-mode echocardiography using a correlation-based frame-to-frame deviation measure
JP2012061019A (ja) 画像処理装置、方法およびプログラム
CN114255200B (zh) 基于实时电影成像的心肌应力分析方法及装置
JP2017080157A (ja) 画像処理装置
JP6690053B2 (ja) 血流解析装置および方法並びにプログラム
Foroughi et al. Elastic registration of 3D ultrasound images
JP4332669B2 (ja) 関節中心計測装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050607

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050825

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080902

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100902

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100902

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110902

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120902

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120902

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130902

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees