JPH10323347A - 対象と対象の3次元表現との間の変換を決定する方法及びその装置 - Google Patents

対象と対象の3次元表現との間の変換を決定する方法及びその装置

Info

Publication number
JPH10323347A
JPH10323347A JP10029938A JP2993898A JPH10323347A JP H10323347 A JPH10323347 A JP H10323347A JP 10029938 A JP10029938 A JP 10029938A JP 2993898 A JP2993898 A JP 2993898A JP H10323347 A JPH10323347 A JP H10323347A
Authority
JP
Japan
Prior art keywords
image
projection
pseudo
value
ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10029938A
Other languages
English (en)
Other versions
JP4340334B2 (ja
Inventor
Juergen Dr Weese
ヴェーゼ ユルゲン
Thorsten Dr Buzug
ブツーク トルシュテン
Graeme P Penney
ピー ペニー グリーム
David J Hawkes
ジェイ ホークス デーヴィッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JPH10323347A publication Critical patent/JPH10323347A/ja
Application granted granted Critical
Publication of JP4340334B2 publication Critical patent/JP4340334B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T12/00Tomographic reconstruction from projections

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

(57)【要約】 【課題】 本発明は、データセットにより3次元的に再
生された対象と対象自体との間の空間的変換を決定する
方法を提供する。 【解決手段】 本発明によれば、対象の少なくとも一つ
のX線像が形成される。疑似投影像はデータセットによ
り表わされた体積部分の一部に対し計算される。疑似投
影像の計算の基礎となるパラメータは最適な位置合わせ
が達成されるまで変更される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、a)検査ゾーン内
に在る対象のX線像を獲得する段階と、 b)定義された投影幾何構造による対象の2次元ゾーン
への投影を表わす疑似投影像をデータセットから得る段
階と、 c)X線像と疑似投影像との間の位置合わせの程度を表
わす類似度を計算する段階と、 d)類似度に基づいて最も良い位置合わせが得られるま
で、変更された投影パラメータを用いて段階b)及び
c)を繰り返す段階と、 e)X線像と最も良く位置が合う疑似投影像の投影パラ
メータを利用して空間的変換を決定する段階とからな
る、対象とデータセットから得られる対象の3次元表現
との間の空間的変換を決定する方法に関する。
【0002】また、本発明はかかる方法を実施する装置
に関する。
【0003】
【従来の技術】種々の手術方法において、患者の身体内
で所定の位置を正確に見つけることが重要である。例え
ば、脊椎手術の場合、脊髄索への損傷を絶対的に防止し
ながら脊椎にネジを配置する必要がある。他の外科的挿
入の場合、大動脈の位置を知ることが重要である。この
ため、例えば、コンピュータ断層撮影法を用いて、処置
されるべき患者の3次元像が介入前に形成され、外科的
介入はこの3次元像に基づいて計画される。患者は、患
者の3次元表現が得られたデータセットの獲得中と同様
に、介入中に一般的に同じ位置に静止していないので、
データセット内の所定の位置が患者の身体内の点に割り
当てられるように、患者と患者の3次元表現との間の空
間的変換を決定する必要がある。
【0004】この空間的変換の決定は、論文誌“医学物
理学(Medical Physics) ”、第21巻、第11号、19
94年11月発行、ページ1749−1760に記載さ
れた上記の方法を用いて実現される。この方法の場合、
疑似投影像の投影パラメータは、X線照射中の放射線源
及び像検出器に関する対象と全く同じ関係で対象が像平
面及び投影点に関して配置されるように選定され、疑似
投影像とX線像との位置が揃う。従って、対象と対象の
3次元表現との間の割当ては上記投影パラメータに基づ
く。最適投影パラメータを決定するため、位置が揃うま
で投影パラメータが変更される。位置合わせの程度は、
類似度、例えば、相互相関関数を用いて計算される。
【0005】上記方法の利点は、3次元データセットの
獲得中及びX線照射中に、対象に付随する基準フレーム
又は基準マーカーを用いなくてもよい点にある。また、
X線像と3次元表現との間の正確な割当てを実現するた
め、X線像を区分し、又は、X線像若しくはデータセッ
トに特徴点を指定することが必要とされない。
【0006】
【発明が解決しようとする課題】しかし、上記の従来の
方法の欠点は、3次元データセットによって表わされた
全ての体積部分(ボリューム)に対し疑似投影像を計算
しなければならないので、計算作業量が多いことであ
る。また、3次元データセットの獲得時には映像化され
ない対象(外科的器具又は手術台)がX線像中に再生さ
れるとき、結果は不正確になりやすい。
【0007】本発明の目的は、対象と対象の3次元表現
との間の空間的割当てが容易に決定され得るような上記
の種類の方法を提供することである。
【0008】
【課題を解決するための手段】本発明によれば、上記目
的は、 f)疑似投影像を取得する前に検査ゾーンの小さい体積
部分(サブボリューム)を選択する段階と、 g)小さい体積部分に制限されたデータセットの一部分
から各疑似投影像を形成する段階と、 h)像内の対応する構造が差分画像内で互いに打ち消し
合うように、X線像及び夫々の疑似投影像、又は、均等
にフィルタを通過させられたX線像及び夫々の疑似投影
像のいずれか一方から夫々の差分画像を取得する段階
と、 i)少なくとも差分画像の一部分の構造に依存する測度
である類似度を使用する段階とを行うことにより達成さ
れる。
【0009】本発明によれば、疑似投影像を形成するた
め、3次元データセットの全ての体積部分ではなく、診
断に関連した3次元データセットの小さい体積部分、例
えば、脊椎だけが使用される。小さい体積部分の大きさ
は、データセットによって表わされた体積部分の一部に
過ぎないので、疑似投影像の計算は実質的に高速に行う
ことが可能である。しかし、従来の方法の類似度は、X
線像と疑似投影像との間に同一の像領域が存在すること
を前提としているので適切ではない。小さい体積部分に
制限されたデータセットが疑似投影像を生成するため使
用される場合、X線像は小さい体積部分の前後に在る器
官も再生するので、上記の前提は一般的ではない。従っ
て、本発明は、X線像及び疑似投影像から得られた差分
画像(又は差分画像の一部分)の構造化状態(structure
dness)に依存した類似度を利用する。
【0010】この考えは以下の考察に基づいている。小
さい体積部分、例えば、脊椎が、X線照射中のように疑
似投影像の計算中に像平面及び投影点に関して空間内で
同じ位置を占めるとき、X線像が脊椎の前後に在る領域
を再生することにより、X線像及び疑似投影像はこの領
域で互いに離れる。これは、理想的な場合に脊椎の再生
が差分画像内で除去されることを意味する。この領域で
差分画像は、X線像、又は、脊椎の像の位置が揃わない
差分画像よりも少ない構造しか含まない。その結果とし
て、差分画像内の構造化状態又は構造の個数は、疑似投
影像とX線像との間の適当な類似度であり、差分画像内
に在る構造が少なくなると共に、疑似投影像とX線像の
類似度が増加する。これは、差分画像が疑似投影像及び
X線像から直接的に取得されたか、又は、フィルタを通
過させられた疑似投影像及びX線像から得られたかとは
無関係に成立する。
【0011】本発明の方法は、小さい体積部分内の体素
(ボクセル)だけが投影像を計算するため考慮されるの
で比較的高速に実行される。差分画像の構造化状態は、
例えば、データセットの獲得中に存在しなかったカテー
テルがX線像に再生されるとき増加する。しかし、構造
化状態は全ての差分画像で同程度に変化する。従って、
差分画像から取得された類似度に基づく投影パラメータ
の最適化はそれによる影響をうけない。
【0012】疑似投影像及びX線像の個々の画像点の画
像値は、小さい体積部分(脊椎)が疑似投影像とX線像
の同じ位置にある場合でも一致する必要はない。その場
合、差分画像内で関連した構造は完全には消失しない。
その結果生じる類似度への影響は、X線像及び/又は疑
似投影像の画像値が差分画像を獲得する前にスケーリン
グファクタにより重み付けされる本発明の他の実施例に
より除去される。
【0013】原則として、任意の映像様式、例えば、磁
気共鳴装置を用いて対象の3次元再生用のデータセット
を生成することが可能である。しかし、磁気共鳴装置の
使用は特殊なケースに制限される。かかる特殊なケース
とは、(対照媒体を用いる)磁気共鳴血管造影又はX線
像における脈管系の映像化である。しかし、本発明の一
変形例によれば、データセットは、X線照射の前にコン
ピュータ断層撮影を用いて形成される。別の変形例にお
いて、疑似投影像の形成前に、一定値が小さい体積部分
の体素の体素値から減算される。体素は体積要素を意味
し、体素値は体素と関連した吸収値を表わすことに注意
する必要がある。かくして、所定の環境において類似度
の質に悪影響を与える可能性のある輝度勾配が、小さい
体積部分が投影された画像領域のエッジで発生すること
は防止され得る。
【0014】本発明の別の一変形例において、画像値が
隣接した画素の画像値から離れている差分画像又は差分
画像の一部の画素数は構造化状態を決定するよう決定さ
れる。ここで、画素とは画像要素を表わす。隣接した画
素の画像値から離れた画像値を有する差分画像内の画素
が多いほど、構造化状態はより大きくなるので、画素数
は適当な類似度を表わす。
【0015】本発明の他の一変形例において、類似度の
計算は、隣接した画素の画像値の間の差を重み付けし、
小さい差の場合に第1の値を生成し、大きい値の場合に
第1の値とは異なる第2の値を生成する加重関数を利用
し、加重関数によって重み付けられた差は加算される。
この加重関数は、例えば、ノイズに起因した画像値の間
の小さい差は類似度に影響を与えず、一方、差が所定の
大きさを越えた場合、画像値は差の程度とは無関係に相
違しているとして評価される。
【0016】上記の説明において離れた場所にある画素
の画像値を比較しても意味がない。その理由は、大きい
体積部分の画像値の差が生ずる他の原因もあり得るから
である。従って、本発明の他の一変形例において、当該
画素の周囲の円の範囲内に在る画素の画像値だけが各画
素に対する類似度を計算するため考慮される。画素が構
造内に配置されているか否かを決定するため、当該画素
の周辺の所定の半径内に在る画素だけが考慮される。
【0017】他の一変形例において、類似度は、次式
【0018】
【数2】
【0019】に従って、差分画像の画素の画像値から計
算され、式中、 − i,jは差分画像の少なくとも一部分の画素を表わ
し、 − Id (i,j)は関連した画像値を表わし、 − σは選定可能なパラメータを表わし、 − k,lは、rが選定可能なパラメータであるとき、 関係式r2 ≧k2 +l2 を充たす整数値を表わす。
【0020】かくして得られた類似度を使用して、対象
又は対象のX線像と、データセットから獲得されたその
3次元表現との間の空間的割当ては非常に正確に決定さ
れる。請求項9の記載によれば、差分画像は空間的にフ
ィルタを通過させられた像から得られる。
【0021】上記本発明の方法を実施する装置は、3次
元的に対象を再生するデータセットを形成する第1の映
像装置と、検査ゾーン内に在る対象のX線像を形成する
X線装置と、データセットから疑似投影像を得る手段
と、X線像と、関連した疑似投影像との間の位置合わせ
の程度を表わす類似度を計算する手段と、(A)疑似投
影像を取得する前に検査ゾーンの小さい体積部分を選択
し、(B)小さい体積部分に制限されたデータセットの
一部分から各疑似投影像を発生させ、(C)差分画像に
おいてX線像と疑似投影像の同じ構造が互いに打ち消し
合うように、X線像及び夫々の疑似投影像、又は、均等
にフィルタを通過させられたX線像及び夫々の疑似投影
像のいずれかから夫々の差分画像を獲得し、(D)少な
くとも差分画像の一部分において構造化状態に関する測
度である類似度を使用する画像処理動作が実行されるよ
うにプログラムされた画像処理ユニットとからなる。
【0022】
【発明の実施の形態】以下、添付図面を参照して本発明
の詳細な説明を行う。図1には、外科的介入の前に患者
3のコンピュータ断層写真CT1、CT2等の系列を形
成するため使用されるコンピュータ断層撮影装置2が示
されている。コンピュータ断層写真は、患者の長手軸に
直交して延在する平行スライスを表わす。これらのコン
ピュータ断層写真は、患者の3次元再生用のデータセッ
トを形成する。後の段で行われるべき外科的介入は、こ
のデータセットに基づいて正確に計画される。
【0023】図1に別個に示され、後の介入と関係した
小さい体積部分CTp は、この目的のため選択される。
小さい体積部分は、後の介入に不可欠である患者の一部
分、例えば、脊椎を含む立体でも構わない。しかし、脊
椎自体がこの小さい体積部分の構成要素である。このた
め、小さい体積部分が自動又は手動で区分される必要が
ある。これはかなり時間を消費する動作ではあるが、外
科的介入の前に行われるので煩わしくはない。
【0024】この準備段階の後、患者3が手術室の手術
台4の上に載せられている間に、外科的介入の開始前、
又は、外科的介入中にX線像が形成される。X線像は、
X線源6及び像捕捉装置7が(図示しない)スタンド1
1により支持されたC字形アームに取り付けられている
X線検査装置を用いて形成され得る。X線源6及び像検
出器7を備えたC字形アームは、必要に応じて少なくと
も一つの水平軸周りに旋回可能である。
【0025】例えば、テレビジョン回路が接続されたX
線像増倍器であるX線像捕捉装置7は、出力信号をA/
D(アナログ・ディジタル)変換器14を介して画像メ
モリ15に供給する。画像メモリ15は、コンピュータ
断層撮影装置2により形成され、画像メモリ15又は別
の画像メモリに格納されたデータセットを処理し得る画
像処理ユニット16に接続される。画像処理ユニット1
6は表示モニタ18に接続される。上記の構成部品はプ
ログラマブル制御ユニット17により制御される。
【0026】コンピュータ断層写真データセットにより
表わされた患者の画像、特に、区分された脊椎と、この
脊椎の空間的な位置との間の空間的な変換、又は、割当
ては、X線像を用いて決定される。この変換を決定する
ため、疑似投影像Ip が図2に概略的に示される如く小
さい体積部分CTp から形成される。疑似投影像Ip
寸法はX線像の寸法と対応する。小さい体積部分の疑似
投影像への投影が行われる投影点Sのこの疑似投影像に
対する位置は、X線照射中の像捕捉装置7に対するX線
源6の位置(又は、X線を放射するX線源の焦点)に対
応する。図2には小さい体積部分CTp の疑似投影像I
p への投影は境界Rを有する区分だけを覆うことが示さ
れている。
【0027】一般的に言うと、投影点S及び投影方向に
関して最初に選定された小さい体積部分CTp の開始位
置は、X線像の獲得中にX線源6及び像捕捉装置7に対
する実際の小さい体積部分の位置及び方向と対応しな
い。従って、上記投影パラメータ、即ち、投影点S及び
投影像Ip の像平面に対する位置及び方向は変更され、
投影像は上記変更された投影パラメータを用いて計算さ
れる。
【0028】図1には、疑似投影像Ip 及びX線像Ir
を取得する映像システム6,7が示されている。差分画
像Id は疑似投影像Ip 及びX線像Ir から取得され、
疑似投影像の下に重なる脊椎の位置及び方向がX線源6
及び像捕捉装置7に対する実際の脊椎の位置及び方向と
対応しているならば、脊椎の像CTp は差分画像では打
ち消される。
【0029】以下、図3を参照して本発明の方法を詳細
に説明する。初期化後(ステップ100)、被検査体積
部分内の吸収分布を3次元的に表わす患者のデータセッ
トがコンピュータ断層撮影装置2を用いて獲得される
(ステップ101)。当該体素のX線吸収を表わす体素
値は被検査体積部分内の各体素に割り当てられる。次の
ステップ(ステップ102)の間に、小さい体積部分C
p (図1)は被検査体積部分から選択される。小さい
体積部分は、検査されるべき元の体積部分の一部、例え
ば、20分の1以下だけに対応する。小さい体積部分
は、介入と関係し、好ましくは剛性のある検査ゾーンの
一部分、例えば、脊椎を含む。選択は体積部分を囲む立
体を予め設定することにより手動により行えるが、区分
化によって自動で行っても構わない。
【0030】ステップ103において、小さい体積部分
又は区分された脊椎の近傍の吸収の平均値に対応する一
定値a0 が小さい体積部分に在る体素の(位置依存形)
体素値aから減算される。かくして小さい体積部分の体
素は、当該体素の吸収と近傍の吸収との差に対応した体
素値が割り当てられる。これにより、後の段階で差分画
像Id の境界領域R(図2)でエッジ又は輝度変化の発
生が阻止される。他の処理段階の間に、このように計算
された小さい体積部分の体素の体素値だけが考慮され
る。小さい体積部分の外側にある体素は更なる処理に関
与しなくなる。
【0031】図3に破線で示される如く、ステップ10
1乃至103は実際の介入前に行われる。次に、患者3
が手術台4上に載せられ、X線像Ir が獲得される(ス
テップ104)。手術台4又は手術が行われる空間に対
する映像システム6,7の位置及び方向は、図1には示
されていない適当なシステムを用いて記録される。次の
ステップ(ステップ105)の間に、選択された小さい
体積部分CTp の疑似投影像Ip が投影像Ip の像平面
に対して、X線像獲得中に像捕捉装置7の入口に対する
X線源6の位置と同じ位置の投影点Sに基づいて計算さ
れる。投影像内の画素に対する画像値は、画素と投影点
Sとの間にある小さい体積部分の全体素の体素値(吸収
値)から得られる。これは、疑似投影像の完成まで、投
影の全画素に対し繰り返される。
【0032】疑似投影像は、固定した座標系x’,
y’,z’に関する小さい体積部分CT p の位置及び方
向に依存する。従って、各投影像は、固定した座標系に
関して小さい体積部分の位置(tx ,ty ,tz で表わ
されるパラメータ)と角度位置又は方向(α,β,γで
表わされるパラメータ)とを座標系内で表わす6個の投
影パラメータによって表わされる。
【0033】疑似投影像及びX線像は、同数の画素、例
えば、128×128画素により構成されるべきであ
る。原画像が高解像度、例えば、512×512画素を
有する場合、原画像は適当なローパスフィルタリングが
施され、各画素の画像値は原画像の数個(例えば、16
個)の画素の画像値から得られる。また、疑似投影像及
びX線像は同等の画像鮮明性を有するべきである。コン
ピュータ断層撮影データセットの解像度に起因して疑似
投影像の画像鮮明性がX線像の画像鮮明性よりも劣ると
き、小さい体積部分CTp の高解像度の再生が補間によ
ってコンピュータ断層写真データセットから得られる。
【0034】次のステップの間に、投影像の計算のため
仮定された小さい体積部分CTp の位置及び方向がX線
像の形成中に映像システム6,7に対する実際の小さい
体積部分の位置及び方向と対応する程度を判定する必要
がある。このため、ステップ106において、最初に差
分画像Id がX線像Ir 及び投影像Ip から得られる。
このため、X線像Ir 及び疑似投影像Ip 内の対応した
画素の画像値は必ずしも互いに減算されなくてもよく、
小さい画像値が疑似投影像の高吸収性の領域と関係し、
大きい画像値がX線像の高吸収性の領域と関係すると
き、画像値は加算する必要がある。ここで使用される用
語「差分画像」は、加算的な重ね合わせを含むことに注
意する必要がある。X線像と投影像の同じ場所にある対
応した構造が差分画像において互いに打ち消し合うよう
に重ね合わせが行われることだけが本質的である。
【0035】小さい体積部分の体素値及びX線像の画像
値は同じ映像システムを用いて取得されないので、X線
像Ir の画像値又は疑似投影像Ip の画像値を減算又は
加算する前にスケーリングファクタcで重み付けするこ
とにより、ダイナミックレンジに関して2個の画像値を
適合させることが必要である。次のステップ107の間
に、類似度が差分画像Id 、又は、投影像の輪郭R(図
2を参照のこと)により定められた差分画像の一部分に
基づいて形成される。この類似度は以下の考察に基づい
ている。
【0036】理想的な場合に、疑似投影像の計算がX線
像の取得中のX線源又は像捕捉装置に対する(実際の)
小さい体積部分の位置及び方向と一致した投影点及び像
平面(図2を参照のこと)に対する小さい体積部分の位
置及び方向に基づいている場合、小さい体積部分の再生
は、疑似投影像とX線像の同じ場所で行われる。その場
合、差分画像(又は差分画像の区分)は最低限の量の構
造しか含まない。理想的な場合から外れた場合、差分画
像にはより多数の構造が現れる。従って、構造化状態は
適当な類似度であり、差分画像に現れる構造が少なくな
るに連れて、X線像Ir と疑似投影像Ip の類似度が増
加する。
【0037】できる限り多数の隣接した画素からできる
だけ巧く区別できる画素ほど、構造に属すると考えるこ
とができる。しかし、中心が当該画素の周りの半径rの
円の範囲内にある画素だけが隣接した画素であると考え
られる。半径rに対する適当な値は、例えば、画素幅の
2乃至10倍であり、128×128画素からなる画像
の場合に、rは画素幅の3倍に達する。
【0038】類似度又は構造化状態の計算のため、隣接
した画素の画像値の間の差は、小さい差の場合に、例え
ば、値1である第1の値になる傾向があり、大きい差の
場合に、例えば、値0である第2の値になる傾向があ
り、大きい値と小さい値の間の変化ゾーンで単調に変化
する加重関数を用いて重み付けられるべきである。図4
には加重関数が示され、同図において2個の隣接した画
素の画像値の間の差uが横軸にプロットされ、関連した
加重関数f(u)が縦軸にプロットされている。小さい
差uに対し、関数f(u)は最大値1から僅かに異なる
関数値を有し、一方、大きい差に対し値0に漸近的に向
かうことが分かる。かくして、例えば、ノイズにより誘
発された小さい偏差は、対応した画素と略同じ方法で評
価され、大きい偏差はその大きさとは無関係に評価され
る。変化ゾーンにおいて、関数f(u)は単調に変化
し、また、この変化ゾーン内に変曲点を有する。
【0039】加重関数f(u)は、図4に従って値f
(u)を各入力値、即ち、2個の画像値の間の各差uに
割り当てるルックアップテーブルから得られる。しか
し、加重関数f(u)を、例えば、以下の式
【0040】
【数3】
【0041】に従って解析的に計算することが可能であ
る。式中、σは適当に選定されたパラメータである。指
数関数f(u)を計算するため比較的大量の計算作業が
必要とされることが欠点である。より高速に計算するこ
とができる関数は、以下の式
【0042】
【数4】
【0043】から得られる。適当な値は、X線像又は投
影像のダイナミックレンジが0乃至255であるなら
ば、σ=10である。画像値の差uが値σの3分の1以
下に達する場合、加重関数f(u)は0.9以上の値を
有し、一方、画像値の差がσの3倍よりも大きくなると
き、加重関数f(u)は0.1未満の値を有する。
【0044】かくして、構造化状態に依存する類似度
は、以下の式
【0045】
【数5】
【0046】に従って得られる。式中、i,jは差分画
像又は差分画像区分内の画素の座標を表わし、I
d (i,j)はこの画素i,jと関連した画像値を表わ
す。k,lは、
【0047】
【数6】
【0048】となる整数であり、式中、rは、中の画素
が画素i,jと隣接する円の半径を定義する。式(3)
の加数f()はf(u)と対応するので、uに対し、
【0049】
【数7】
【0050】のように表わされる。式(3)から分かる
ことは、所定の画素i,jに対し、この画素の画像値I
d(i,j)と、隣接した画素の画像値Id (i+k,
j+l)との差は、加重関数f(u)で重み付けられ、
上記加重関数全体についての合計が計算される必要があ
ることである。これは、少なくとも画像区分R内で全て
の画素i,jに対し繰り返され、得られた合計値が次に
加算されなければならない。
【0051】式(5)を式(2)に代入することによ
り、類似度Pを計算する式
【0052】
【数8】
【0053】が得られる。上記のステップ107の説明
において、最初にX線像Ir 及び疑似投影像Ipは、差
分画像を得るため画素毎に互いに減算され、次に、差分
画像内で互いに隣接した画素の画像値の間の差が類似度
を決定するため使用された。しかし、最初に隣接した画
素の画像値の間の差が像Ir と像Ip とに対し別々に決
定され、次に差分画像がこのように修正された像の差か
ら得られるように、処理の順序を逆にしてもよい。差分
画像に含まれる構造は、像Ir と像Ip との間の対応が
よりよくなると共に少なくなる。より詳細に言うと次の
通りである。
【0054】最初に、隣接した画素の画像値の間の差が
像Ir と像Ip とに対し別々に決定されるので、例え
ば、i方向に勾配を有するいわゆるグラジエント画像が
以下の関係式 Igri (i,j)=Ir (i−1,j)−Ir (i+1,j) (7) 又は Igpi (i,j)=Ip (i−1,j)−Ip (i+1,j) (8) に従って得られる。同様に、グラジエント画像をj方向
に対し以下の関係式 Igpj (i,j)=Ip (i,j−1)−Ip (i,j+1) (9) 又は Igrj (i,j)=Ir (i,j−1)−Ir (i,j+1)(10) が得られる。これらから、グラジエント差分画像が以下
の関係式 Idgi (i,j)=Igri (i,j)−cIgpi (i,j) (11) 又は Idgj (i,j)=Igrj (i,j)−cIgpj (i,j) (12) に従って導かれる。式中、cは適当に選定された定数で
あり、好ましくは、空間的平均値が両方の画像で一致す
るように選定される。
【0055】式(6)と同様に、構造化状態依存性類似
度が次式
【0056】
【数9】
【0057】の通り決定され、式中、σi 及びσj は適
当に選定されたパラメータである。小さい体積部分の再
生が疑似投影像とX線像とにおいて同じ場所にある場
合、又は、差分画像が最小の構造の量を含む場合に、P
は最大値をとる。原則として、像Ir と像Ip からの2
方向の中の1方向に対するグラジエント画像だけで充分
であるので、式(7)、(8)及び(11)、若しく
は、式(9)、(10)及び(12)のいずれかだけを
解法すればよく、式(13)の2個の加算の中の一方は
無くなる。しかし、上記の方法の確度は、好ましくない
環境において害される場合がある。
【0058】式(7)乃至(10)に従うグラジエント
画像は、像Ir 又は像Ip のi方向又はj方向の1次微
分を表わす。しかし、1次微分の代わりに高次微分又は
差分空間フィルタリング、好ましくは、像Ir 又は像I
p のエッジの再生を強調するフィルタリング、例えば、
2次元高域通過フィルタリングをを用いることが可能で
ある。
【0059】ステップ107に続いて、類似度Pが最適
値に到達したか否かが検査される(ステップ108)。
検査の結果が否定的であるならば、ステップ109にお
いて疑似投影像の投影パラメータを変更した後、ステッ
プ105、106、107及び108が繰り返し実行さ
れる。類似度Pが最適である場合、即ち、類似度が最大
値を有する場合を認定するため、好ましくは6個の投影
パラメータの中の1個のパラメータだけが最初に比較的
大きい刻みで変更される。次に、類似度の絶対最大値が
6次元投影パラメータ空間で得られるまで、他の投影パ
ラメータが変更される。6個の投影パラメータがステッ
プ105、106、107及び108からなるループの
第1回目の実行のため選定された初期値に対し変更され
ることにより、区分された小さい体積部分により表わさ
れた脊椎の位置が正確に決定できるようになる。このよ
うにして最適値が検出された後、上記方法はステップ1
10で終了する。
【0060】必要に応じて、外科医が位置合わせを視覚
的に検査するため最適値と関連した差分画像がモニタに
表示され得る。脊椎はこの差分画像に再生されるべきで
はなく、或いは、できる限り再生されるべきではない。
式(6)の結果から分かるように、ステップ105の後
に、差分画像の全画素に対する画像値が同時に得られる
ことが絶対的に要求されるわけではない。本例の場合、
差分画像の小さい部分、又は、区分R(図2を参照のこ
と)の画素だけが計算され、類似度Pの関連した部分が
決定され、次に、差分画像の他の部分の画像値が計算さ
れるならば充分である。従って、差分画像の全画像値又
は区分の画像値だけが同時に存在する必要はなく、本発
明の説明において、用語「差分画像」は、少なくとも区
分Rに対する画像値が時間的に連続して利用可能である
場合にも関係する。しかし、差分画像又は区分の全画像
値が記憶された形式で同時に利用できることが推奨され
る。その理由は、個々の画像値が記憶されていない場
合、式(1)又は式(6)により例証されるように個々
の画像値を数回計算する必要があるからである。
【0061】上記の説明では、脊椎に対する小さい体積
部分が選択されている。しかし、他の解剖学上の領域、
例えば、骨構造、又は、対照媒体で充填された大動脈
(若しくはその一部分)が小さい体積部分として区分さ
れ得る。小さい体積部分が限定される構造は周囲の構造
のX線吸収性よりも高い若しくは低いX線吸収性を有す
ることだけが重要である。その上、上記構造は静止し、
若しくは、脊柱への大動脈のように剛体部分に堅固に連
結される必要がある。
【0062】本発明による方法は、x方向及びy方向、
即ち、X線源6を像捕捉装置7に接続する線と直交した
方向での割当て又は変換の非常に正確な決定を可能にす
る。しかし、決定は中心X線の方向で実質的に正確さが
低下する。これは、第1の像のため使用されたビームパ
スに直交して延在するビームパスで第2のX線像を獲得
することにより回避され、対象は第1の照射中と同じ位
置に留まり、本発明による方法は第2のX線像を用いて
も実行される。或いは、二つのX線像を同時に使用して
も構わない。その場合、二つの疑似投影像は、異なるビ
ームパスを考慮して、図3に示されたフローチャートの
ステップ105において計算されるべきである。ステッ
プ106において、2枚の異なる画像は2枚の投影像及
び2枚のX線像から取得される。ステップ107におい
て、類似度は2枚の異なる画像から得られ、類似度は適
当に合成され、例えば、加算される。
【図面の簡単な説明】
【図1】本発明の方法を説明する概要図である。
【図2】小さい体積部分の投影像の変換を説明する図で
ある。
【図3】本発明の方法の動作を説明するフローチャート
である。
【図4】差分画像内の差分画像値が重み付けされる加重
関数を表わす図である。
【符号の説明】
2 コンピュータ断層撮影装置 3 患者 4 手術台 6 X線源 7 像捕捉装置 11 スタンド 14 A/D変換器 15 画像メモリ 16 画像処理ユニット 17 プログラマブル制御ユニット 18 表示モニタ CT1,CT2 コンピュータ断層写真 CTp 脊椎像 Ir X線像 Ip 疑似投影像 Id 差分画像
───────────────────────────────────────────────────── フロントページの続き (72)発明者 トルシュテン ブツーク ドイツ連邦共和国,22529 ハンブルク, プラターネアレー 1b (72)発明者 グリーム ピー ペニー オランダ国,5656 アーアー アインドー フェン,プロフ・ホルストラーン 6 (72)発明者 デーヴィッド ジェイ ホークス オランダ国,5656 アーアー アインドー フェン,プロフ・ホルストラーン 6

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 a)検査ゾーン内に在る対象のX線像
    (Ir )を獲得する段階と、 b)定義された投影幾何構造による対象の2次元ゾーン
    への投影を表わす疑似投影像(Ip )をデータセットか
    ら得る段階と、 c)上記X線像と上記疑似投影像との間の位置合わせの
    程度を表わす類似度(P)を計算する段階と、 d)上記類似度に基づいて最も良い位置合わせが得られ
    るまで、変更された投影パラメータを用いて段階b)及
    びc)を繰り返す段階と、 e)上記X線像と最も良く位置が合う疑似投影像の投影
    パラメータを利用すると共に空間的変換を決定する段階
    とからなる、対象(3)とデータセットから得られる対
    象の3次元表現との間の空間的変換を決定する方法にお
    いて、 f)上記疑似投影像を取得する前に検査ゾーンの小さい
    体積部分(CTp )を選択する段階と、 g)上記小さい体積部分に制限された上記データセット
    の一部分から各疑似投影像を形成する段階と、 h)上記X線像と上記疑似投影像内の対応する構造が差
    分画像内で互いに打ち消し合うように、上記X線像(I
    r )及び関連した上記疑似投影像(Ip )、又は、均等
    にフィルタを通過させられた上記X線像(Ir )及び関
    連した疑似投影像(Ip )から夫々の差分画像(Id
    dgi ,Idgj )を取得する段階と、 i)少なくとも上記差分画像の一部分の構造に依存する
    測度である類似度を使用する段階とを更に有することを
    特徴とする方法。
  2. 【請求項2】 X線像の画像値及び/又は疑似投影像の
    画像値が差分画像を獲得する前にスケーリングファクタ
    により重み付けされることを特徴とする請求項1記載の
    方法。
  3. 【請求項3】 上記データセットは、X線照射の前にコ
    ンピュータ断層撮影装置(2)を用いて形成されること
    を特徴とする請求項1記載の方法。
  4. 【請求項4】 疑似投影像を形成する前に、一定値(a
    0 )が小さい体積部分の体素の体素値(a)から減算さ
    れることを特徴とする請求項3記載の方法。
  5. 【請求項5】 隣接した画素の画像値とは異なる画像値
    を有する差分画像の画素数又は差分画像の一部分の画素
    数が構造化状態を決定するために決定されることを特徴
    とする請求項1記載の方法。
  6. 【請求項6】 上記類似度の計算は、隣接した画素の画
    像値の間の差(Id(i,j))を重み付けし、差
    (u)の値が小さい場合に第1の値を生成し、差の値が
    大きい場合に第1の値とは異なる第2の値を生成する加
    重関数(f(u))を利用し、上記加重関数によって重
    み付けられた差は加算されることを特徴とする請求項5
    記載の方法。
  7. 【請求項7】 当該画素(i,j)の周囲の円の範囲内
    に在る画素(i+k,j+l)の画像値だけが各画素
    (i,j)に対する上記類似度(P)を計算するため考
    慮されることを特徴とする請求項6記載の方法。
  8. 【請求項8】 上記類似度(P)は、 i,jが差分画像の少なくとも一部分の画素を表わし、 Id (i,j)が関連した画像値を表わし、 σが選定可能なパラメータを表わし、 k,lは、rが選定可能なパラメータであるとき、関係
    式 r2 ≧k2 +l2 を充たす整数値を表わしているとき、式 【数1】 に従って、差分画像の画素(i,j)の画像値(I
    d (i,j))から計算されることを特徴とする請求項
    6記載の方法。
  9. 【請求項9】 上記差分画像(Idgi ,Idgj )は、均
    等にフィルタリングされた上記X線像(Ir )及び上記
    疑似投影像(Ip )の像(Igri ,Igpi )から取得さ
    れ、 上記類似度は、小さい画像値を有する画素に大きい値が
    割り当てられ、大きい画像値を有する画素に小さい値が
    割り当てられるように決定され、上記差分画像の画素に
    対し割り当てられた上記値が加算されることを特徴とす
    る請求項1記載の方法。
  10. 【請求項10】 3次元的に対象を再生するデータセッ
    トを形成する第1の映像装置(2)と、 検査ゾーン内に在る対象のX線像を形成するX線装置
    (12,13)と、 上記データセットから疑似投影像を得る手段と、 上記X線像と関連した上記疑似投影像との位置合わせの
    程度を表わす類似度を計算する手段と、 (A)上記疑似投影像を取得する前に上記検査ゾーンの
    小さい体積部分を選択し、 (B)上記小さい体積部分に制限された上記データセッ
    トの一部分から各疑似投影像を発生させ、 (C)差分画像においてX線像と疑似投影像の同じ構造
    が互いに打ち消し合うように、上記X線像及び関連した
    上記疑似投影像、又は、均等にフィルタを通過させられ
    た上記X線像及び関連した上記疑似投影像のいずれかか
    ら夫々の差分画像を獲得し、 (D)少なくとも上記差分画像の一部分において構造化
    状態に関する測度である類似度を使用する画像処理動作
    が実行されるようにプログラムされた画像処理ユニット
    とからなる請求項1記載の方法を実施する装置。
JP02993898A 1997-02-14 1998-02-12 対象と対象の3次元表現との間の変換を決定する方法及びその装置 Expired - Fee Related JP4340334B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE19705600:8 1997-02-14
DE19705600A DE19705600A1 (de) 1997-02-14 1997-02-14 Verfahren zur Ermittlung der Transformation zwischen einem Objekt und seiner dreidimensionalen Darstellung und Anordnung zur Durchführung des Verfahrens

Publications (2)

Publication Number Publication Date
JPH10323347A true JPH10323347A (ja) 1998-12-08
JP4340334B2 JP4340334B2 (ja) 2009-10-07

Family

ID=7820193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP02993898A Expired - Fee Related JP4340334B2 (ja) 1997-02-14 1998-02-12 対象と対象の3次元表現との間の変換を決定する方法及びその装置

Country Status (4)

Country Link
US (1) US6144759A (ja)
EP (1) EP0880109B1 (ja)
JP (1) JP4340334B2 (ja)
DE (2) DE19705600A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000050512A (ko) * 1999-01-11 2000-08-05 최경규 웹기반 삼차원 의학영상 가상해부시스템 및 방법
JP2000342580A (ja) * 1999-04-30 2000-12-12 Siemens Ag カテーテルナビゲーション方法および装置
JP2001212125A (ja) * 2000-01-05 2001-08-07 Koninkl Philips Electronics Nv 検査対象中で時間の関数として血流を撮像する方法及び装置
JP2001238877A (ja) * 2000-01-18 2001-09-04 Koninkl Philips Electronics Nv X線画像を形成するための方法及び装置
KR100501588B1 (ko) * 2001-06-19 2005-07-18 가부시키가이샤 히타치세이사쿠쇼 방사선 검사 장치 및 그 검사 방법
JP2007526788A (ja) * 2003-07-10 2007-09-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 解剖学的構造において器具を操作する装置及び方法
JP2008055156A (ja) * 2006-08-22 2008-03-13 Brainlab Ag 画像データの位置合わせ
WO2008072343A1 (ja) * 2006-12-15 2008-06-19 Shimadzu Corporation ポジトロンct装置
JP2009518101A (ja) * 2005-12-08 2009-05-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像記録変換の選択を可能にするためのシステム及び方法
JP2020171381A (ja) * 2019-04-08 2020-10-22 コニカミノルタ株式会社 位置合わせ案内装置、放射線撮影システム及びプログラム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4473358B2 (ja) * 1999-01-21 2010-06-02 株式会社東芝 診断装置
US6560354B1 (en) * 1999-02-16 2003-05-06 University Of Rochester Apparatus and method for registration of images to physical space using a weighted combination of points and surfaces
DE10004764A1 (de) 2000-02-03 2001-08-09 Philips Corp Intellectual Pty Verfahren zur Positionsbestimmung eines medizinischen Instruments
US20070134603A9 (en) * 2000-10-26 2007-06-14 Yasuhiro Yoshioka Photothermographic material
US6480560B2 (en) * 2001-03-16 2002-11-12 Ge Medical Systems Global Technology Company, Llc Methods and apparatus for motion gating using CT projection data
JP4104054B2 (ja) * 2001-08-27 2008-06-18 富士フイルム株式会社 画像の位置合わせ装置および画像処理装置
DE10245669B4 (de) * 2002-09-30 2006-08-17 Siemens Ag Verfahren zur intraoperativen Erzeugung eines aktualisierten Volumendatensatzes
US7570791B2 (en) * 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration
DE10333543A1 (de) * 2003-07-23 2005-02-24 Siemens Ag Verfahren zur gekoppelten Darstellung intraoperativer sowie interaktiv und iteraktiv re-registrierter präoperativer Bilder in der medizinischen Bildgebung
EP2014233B1 (en) * 2004-03-04 2011-02-23 Philips Intellectual Property & Standards GmbH Apparatus for the processing of perfusion images
US7991594B2 (en) * 2005-09-13 2011-08-02 Siemens Corporation Method and apparatus for the rigid registration of 3D ear impression shapes with skeletons
US7979244B2 (en) * 2005-09-13 2011-07-12 Siemens Corporation Method and apparatus for aperture detection of 3D hearing aid shells
US7801708B2 (en) * 2005-09-13 2010-09-21 Siemens Corporation Method and apparatus for the rigid and non-rigid registration of 3D shapes
US8086427B2 (en) * 2005-09-13 2011-12-27 Siemens Corporation Method and apparatus for the registration of 3D ear impression models
EP2408375B1 (en) 2009-03-20 2017-12-06 Orthoscan Incorporated Moveable imaging apparatus
FR2954556B1 (fr) * 2009-12-22 2017-07-28 Gen Electric Procede de traitement d'acquisitions de tomosynthese pour obtenir une representation du contenu d'un organe
US8693634B2 (en) 2010-03-19 2014-04-08 Hologic Inc System and method for generating enhanced density distribution in a three dimensional model of a structure for use in skeletal assessment using a limited number of two-dimensional views
DE102010020287B4 (de) * 2010-05-12 2018-11-08 Siemens Healthcare Gmbh Verfahren, Datenträger mit darauf gespeichertem Computerprogramm und Vorrichtung zur Lagebestimmung eines Untersuchungsobjekts
WO2012082799A1 (en) 2010-12-13 2012-06-21 Orthoscan, Inc. Mobile fluoroscopic imaging system
GB201313810D0 (en) 2013-08-01 2013-09-18 King S College London Method and system for tomosynthesis imaging
US10515449B2 (en) 2016-11-04 2019-12-24 Siemens Medical Solutions Usa, Inc. Detection of 3D pose of a TEE probe in x-ray medical imaging

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4791934A (en) * 1986-08-07 1988-12-20 Picker International, Inc. Computer tomography assisted stereotactic surgery system and method
FR2692059A1 (fr) * 1992-06-03 1993-12-10 Commissariat Energie Atomique Procédé de comparaison de flots de données et dispositif de mise en Óoeuvre.
US5359513A (en) * 1992-11-25 1994-10-25 Arch Development Corporation Method and system for detection of interval change in temporally sequential chest images
US5531520A (en) * 1994-09-01 1996-07-02 Massachusetts Institute Of Technology System and method of registration of three-dimensional data sets including anatomical body data
US5690106A (en) * 1995-06-30 1997-11-25 Siemens Corporate Research, Inc. Flexible image registration for rotational angiography

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000050512A (ko) * 1999-01-11 2000-08-05 최경규 웹기반 삼차원 의학영상 가상해부시스템 및 방법
JP2000342580A (ja) * 1999-04-30 2000-12-12 Siemens Ag カテーテルナビゲーション方法および装置
JP2001212125A (ja) * 2000-01-05 2001-08-07 Koninkl Philips Electronics Nv 検査対象中で時間の関数として血流を撮像する方法及び装置
JP2001238877A (ja) * 2000-01-18 2001-09-04 Koninkl Philips Electronics Nv X線画像を形成するための方法及び装置
KR100501588B1 (ko) * 2001-06-19 2005-07-18 가부시키가이샤 히타치세이사쿠쇼 방사선 검사 장치 및 그 검사 방법
JP2007526788A (ja) * 2003-07-10 2007-09-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 解剖学的構造において器具を操作する装置及び方法
JP2009518101A (ja) * 2005-12-08 2009-05-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像記録変換の選択を可能にするためのシステム及び方法
JP2008055156A (ja) * 2006-08-22 2008-03-13 Brainlab Ag 画像データの位置合わせ
WO2008072343A1 (ja) * 2006-12-15 2008-06-19 Shimadzu Corporation ポジトロンct装置
US9348033B2 (en) 2006-12-15 2016-05-24 Shimadzu Corporation Positron CT apparatus
JP2020171381A (ja) * 2019-04-08 2020-10-22 コニカミノルタ株式会社 位置合わせ案内装置、放射線撮影システム及びプログラム

Also Published As

Publication number Publication date
EP0880109B1 (de) 2005-06-29
JP4340334B2 (ja) 2009-10-07
US6144759A (en) 2000-11-07
DE19705600A1 (de) 1998-08-20
DE59812889D1 (de) 2005-08-04
EP0880109A2 (de) 1998-11-25
EP0880109A3 (de) 2000-05-03

Similar Documents

Publication Publication Date Title
JP4340334B2 (ja) 対象と対象の3次元表現との間の変換を決定する方法及びその装置
US5852646A (en) X-ray imaging method
JP4495926B2 (ja) X線立体再構成処理装置、x線撮影装置、x線立体再構成処理方法及びx線立体撮影補助具
US7869560B2 (en) X-ray CT apparatus and image processing apparatus
CN1781452B (zh) 用于旋转血管造影的血管造影x射线诊断装置
JP4965433B2 (ja) トランケートされた投影と事前に取得した3次元ct画像を用いる円錐ビームct装置
US8879817B2 (en) Scan plan field of view adjustor, determiner, and/or quality assessor
JP4841874B2 (ja) 断層合成造影における直接再生方法及び装置
US8463013B2 (en) X-ray diagnosis apparatus and image reconstruction processing apparatus
JPH1031745A (ja) 自動画像解析方法
JP2004243117A (ja) 身体構造の物理パラメータを求める方法
JP7345292B2 (ja) X線トモシンセシス装置、画像処理装置、および、プログラム
JP3628725B2 (ja) 断層撮影画像中のアーチファクトを低減する方法および装置
JP4482164B2 (ja) 異なる視点からの一連の画像によるx線撮像方法
KR20140007772A (ko) 감산 혈관 조영의 획득을 위한 방법
JP3897925B2 (ja) コーンビームct装置
CN105326524B (zh) 可减少图像中的伪影的医学成像方法和装置
CN111839574B (zh) Ct超低剂量自动三维定位扫描方法及系统
JP4444100B2 (ja) 多次元構造の解析方法
CN100490747C (zh) 三维图像处理装置
JP2002533146A (ja) 対象物の細部の寸法を得る方法
Stiel et al. Potential of digital flashing tomosynthesis for angiocardiographic evaluation
JP2000139901A (ja) 放射線画像形成装置
JP2023018659A (ja) X線撮像において散乱防止グリッド・アーティファクトを除去する方法及びシステム
Hamburg Digital TomoSynthesis (DTS) with a Conventional X-Ray System

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090706

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees