JP5244319B2 - 画像のマルチモーダルレジストレーションのための装置及び方法 - Google Patents

Description

本発明は、対象物の第１画像のレジストレーションのためのデータ処理装置及び方法であって、第１画像は第１イメージング方法により得られ、対象物の第２画像を有し、その第２画像は異なるイメージング方法であって、特に、異なるモダリティにより得られる、データ処理装置及び方法に関する。

外科手術は、一般に、手術領域の手術前に生成された画像の支援により計画され、画像は、例えば、（Ｘ線）コンピュータ断層撮影、磁気共鳴処理又はＸ線投影により得られ、患者の解剖学的及び病理学的特性を示す。最小の侵襲的手術のために、手術領域は、直接、見ることができず、一般に、付加的に手術中に得られる画像が必要である。特に、解剖学的構造における変化が、手術器具の位置のような手術情報はもとより、手術中の画像（例えば、患者の呼吸又は心拍のような干渉又は動きによる器官の変位について）により検出される。しかしながら、磁気共鳴（ＭＲ）処理又はコンピュータ断層撮影（ＣＴ）においては、手術シアタ又はインターベンションエリアでそれらを用いる可能性は限定されていて、それらは、典型的には、リアルタイムに画像を供給しないため、手術中の画像の生成のためにはあまり適切でない。

超音波処理は、相対的に、手術中の画像を生成するために適切に利用可能である。外科医は、一般に、超音波プローブをマニュアル制御し、画像の幾何学的構成が絶えず変化するため、超音波画像を手術前の三次元ＭＲ／ＣＴ画像と心の中で一致させるようにすることは外科医にとって困難である。これに関連して、国際公開第０１／７８０１０Ａ２号パンフレットに記載されている処理は、手術前に得られた環状構造のＣＴ又はＭＲ画像を用いて、手術中の超音波画像をレジストレーションすることができる。そのような、異なるモダリティの画像のレジストレーションを用いる場合、それらのモダリティの異なる特性の画像の特徴に基づいて、結果として得られる画像は同じ対象物を異なるように表現するという問題点が存在する。このことは、所望される画像の特徴に基づくレジストレーションを非常に困難にする。
国際公開第０１／７８０１０Ａ２号パンフレット

上記の背景に鑑み、本発明の目的は、改善された異なる画像をレジストレーションするための手段を提供することである。

その目的は、請求項１の特徴を有するデータ処理装置及び請求項９の特徴を有する処理により達成される。有利な構成については、従属請求項に記載されている。

本発明にしたがったデータ処理装置は、対象物の第１画像を対象物の第２画像と共にレジストレーションすることを支援し、第１画像は第１イメージング方法により得られ、第２画像は前者と異なる第２イメージング方法により得られる。イメージング方法における違いは、特に、異なるモダリティの使用において存在する。上記の状態を参照するに、第１画像は、例えば、三次元ＣＴ画像であり、第２画像は、手術中の超音波画像である。しかしながら、イメージング方法の違いはまた、例えば、増影剤投与の有無によるＣＴ画像又は異なる画像パラメータを有するＭＲ画像に対して、同じモダリティについての異なる暴露条件（プロトコル）の使用において存在する可能性がある。データ処理装置は、更に、次の段階を実行するために備えられている。
ａ）前記第１画像からの第１変換画像を生成する段階であって、この変換画像において、第１イメージング方法の特徴的な画像特徴は弱められる及び／又は第２イメージング方法の特徴的な画像特徴は強められる、段階。イメージング方法“超音波”の特徴的なイメージング特徴は、例えば、骨の背後のシェーディング又はガスが満たされたボリュームを表現すること及び、音声信号の音速に依存して変形する異なる組織を表現することである。第１変換画像においては、関連する第１イメージング方法に戻る特性は弱められるため並びに／若しくは画像特徴は強められる又は生成されるために、第２画像とのアライメントが得られ、それらのことは、画像が第２イメージング方法の支援により生成される間になされる。
ｂ）第２画像から第２変換画像を生成する段階であって、任意に、第２イメージング方法の特徴的な画像特徴が第２変換画像において弱められる及び／又は任意に、第１イメージング方法の特徴的な画像特徴が強められる、段階。段階ａ）に類似して、第２画像及び関連第２イメージング方法から開始すると、第１画像のビュー及び表現の様式とのアライメントは効果的である。

二つのオリジナルの画像の一を他の画像の異なるイメージング方法に対してアライメントすることは、一般に満足できるものであるため、第２変換画像は、特に、オリジナルの第２画像と同一であること（即ち、変換は同一である）がまた、可能である。この場合、第２“変換”画像を観測することは、単に処理表現を標準化する形式的な理由によるものである。
ｃ）段階ａ）及びｂ）において得られる変換画像をレジストレーションする段階。“レジストレーション”することにより、慣例的に、異なる画像における対象物のポイントの相互関係が理解される。レジストレーションされた画像は、特に、同じ対象物のポイントに属する画素が一致するような様式で互いを重なり合っていることを意味する。更に、変換画像のレジストレーションにより、オリジナルの（第１及び第２）画像に関連するレジストレーションは認識され、それ故、それらの画像は、例えば、モニタ上に互いに重なり合っていることを意味する。

上記のデータ処理装置において、異なるイメージング方法からの画像は、最初に方法の特徴的な画像挙動に関連して、それら画像のレジストレーション前に互いにアライメントされる。これにより、オリジナルの画像の間違ったレジストレーションに繋がる可能性がある異常なイメージング方法の特徴は除去される。変換画像においては、そのような構造のみが、含まれるイメージング方法によって選択された用法に特徴的な類似度に関して略同様に再生されるような構造のみを本質的に有する。このようにして、画像は、異なるイメージング方法からもたらされたにも拘わらず、高い正確度でレジストレーションされることができる。

前記から明らかであるように、第１及び第２イメージング方法は、異なるモダリティの用法を有することが可能である。この場合、含まれるそれらのモダリティは、特に、コンピュータ断層撮影、Ｘ線投影又は磁気共鳴処理であることが可能であり、関連画像は、二次元又は三次元であることが可能である。これは、特に、第１画像の生成に基づく第１モダリティに適用可能である。上記のモダリティの一により生成される二次元又は三次元画像は、外科手術を計画するための手術前画像として特に適切である。更に、それらのモダリティの一は、超音波イメージング処理、（リアルタイムの）磁気共鳴処理、Ｘ線透視又はＣＴ透視であることが可能である。好適には、この場合、そのモダリティの一は、外科手術の手術中の観測のために特に適切である第２モダリティに関係する。

代替として、それらイメージング方法における差異はまた、同じモダリティによる画像が異なるイメージング条件下で生成されることにある。例えば、第１画像は造影剤投与により再生可能なＸ線画像であることが可能である一方、第２画像は造影剤を有しないＸ線画像である。

段階ｃ）から開始するレジストレーション方法については、基本的に、適切な構成及びアルゴリズム全てが利用可能である。好適には、そのレジストレーション方法は、特徴に基づく変換画像のレジストレーションの問題である。即ち、変換画像において、例えば、血管分岐、器官又は器官の境界、骨、移植組織等を示す強度分布のような画像ベースの特徴が検出され、それ故、画像は、最終的には、特徴に基づいて変換される。特徴ベースのレジストレーションの有利な特徴は、そのレジストレーションにより、特定の構造及び対象物が一致することであり、そのことは、一般に、特に、アプリケーションに関連している。

データ処理装置の他のバージョンにしたがって、そのデータ処理装置は、画像の少なくとも一（即ち、第１画像、第２画像又は変換画像の一）における異なる物質の成分を有する対象物領域をセグメント化するように備えられることが可能である。対象物の物質に適用されるそのようなセグメント化は、異なるイメージング方法の異なる画像挙動が一般に対象物の異なる物質に結び付けられるため、変換画像の生成と共に有用である。したがって、例えば、骨又はガスで満たされたボリュームは、それらが、特に、この方法について非透過性であり、それらの背後の領域が、対象物についての関連情報の代わりにアーティファクトのみを有するために、超音波処理に対して非常に重要である。それ故、対象物のそのような材料領域がＭＲ又はＣＴスキャンのときに決定される場合、超音波処理による対象物の表現に関する予測がなされる。

特に、上記の画像と結び付けて用いることができるデータ処理装置の他のバージョンにしたがって、変換画像の一の又は両方の領域はマスキングされ、それらの領域において、イメージング方法の少なくとも一は、何れの信頼性高い画像情報を与えない。そのような領域のマスキングは、規定の通り、それらの領域が変換画像のレジストレーション中に考慮されないということに繋がる。その点で、両方のイメージング方法により類似性をもたせて表現される領域において、レジストレーションが基本的になされることを確実にする。マスキングにより、例えば、骨又は空気で満たされたボリュームの背後の領域は排除され、それらの領域波長音波画像においてシェーディングが施される。更にレジストレーションの正確度を高めるように、付加情報が用いられる。特に、測定ポイントと一致する対象物のポイント及び／又は、例えば、開始値の形でレジストレーションした画像の較正について考慮される。

データ処理装置の他のバージョンにしたがって、自由度の高い画像コンテンツのレジストレーション方法を用いることができる。このようにして、組織の変形及び／又は器官の移動の影響を考慮することができる。

本発明は、第１モダリティにより得られる対象物の第１画像と、第２画像は第１モダリティと異なる第２モダリティにより得られる対象物の第２画像とのレジストレーションの処理方法は次の段階を有する。
ａ）第１画像から第１変換画像を生成する段階であって、第１モダリティの画像の特徴は弱められ、及び／又は、第２モダリティの特徴的な画像特徴は強められる、段階。
ｂ）第２画像から第２変換画像を生成する段階であって、第２モダリティの任意の特徴的な画像特徴は弱められ、第１モダリティの任意の特徴的な画像特徴は強められる、段階。
ｃ）好適に、繰り返して効果を高められた変換画像をレジストレーションする段階。

その処理方法は、一般に、上記のデータ処理装置により実行する段階を有する。したがって、詳細、有利点及び付加設定に関しては、上記説明を参照されたい。

その方法の他のバージョンにしたがって、段階ａ）、ｂ）及びｃ）は、繰り返して得られる変換画像間の類似度を最大にするように、変換画像の少なくとも１つにおいて、変化を伴って複数回、繰り返される。そのような処理の繰り返しにより、レジストレーションの正確度は高くなるが、ここでは、初期の第１（予備的）結果が利用可能であり、例えば、表示のためにモニタにおいて用いられることができる。

以下、本発明について、例示として、添付図を参照して詳述する。

本発明にしたがった処理については、外科手術を例示として、以下、説明するが、本発明は医療用アプリケーションに限定されるものではない。むしろ、本発明は、異なるモダリティにより得られる画像がレジストレーションされる必要がある全ての場合に利用可能である。

患者３の医療手術に伴う状態について図１の左側部分に示している。手術を準備するために、三次元Ｘ線画像ＡがＣＴユニット１により手術領域を撮影され、データ処理装置１０（ワークステーション）に記憶される。

外科手術において、例えば、カテーテル又は侵襲針を用いて、侵襲性を最小限にしなければならないとき、手術のリアルタイムの観測が、手術中、必要である。このためには、超音波機器２が備えられ、その超音波機器は医師によりマニュアル制御がなされ、データ処理装置１０に身体ボリュームの二次元断面ビューＢを与える。医師が実際の超音波画像を容易に解釈できるように、手術前に得られた三次元ＣＴ画像Ａからの対応する層と共に二次元断面ビューＢをレジストレーションし、モニタ１２上に両方の画像の重ね合わせを適切に表すことが望ましい。

異なるモダリティによるそれらのオリジンに拘わらず、画像Ａ及びＢの適切なレジストレーションを迅速に行うように、以下で更に明らかになる処理を実行する。その処理は、それ故、典型的には、コンピュータ１０の演算ユニット１１（ＣＰＵ）のためのコマンドにより、即ち、プログラムコード又はソフトウェアそれぞれの形式で実施される。プログラムコードは、例えば、コンピュータ１０のメモリ（ＲＡＭ、ハードディスク等）に又は書き換え可能記憶媒体（ディスク、ＣＤ、磁気テープ等）にロードされることが可能である。その処理の目的は、レジストレーションの前に、オリジナルの画像Ａ、Ｂをアライメントすることであり、それ故、それらのモダリティの各々の根底にある独特性は低減され、表現方式が互いにアライメントされるようになることである。このことは、特に、次の方法の段階により実行される。
１．例えば、骨、空気、柔らかい組織等について、異なる物質成分の領域における三次元ＣＴ画像Ａをセグメント化する段階。
２．オリジナルのＣＴ画像Ａから二次元テスト画像を生成する段階であって、超音波システムの特徴的な画像特徴が考慮される、段階。これを考慮すると、異なる物質は超音波画像において異なるように表されるため、特に、セグメント化する段階によるセグメント化の結果が用いられる。更に、超音波機器の特定の位置及び方向はテストとして採用される。
３．上記のテスト画像における領域をマスキングする段階であって、そのテスト画像は、超音波処理により生成されるとき、対象物についての何れの信頼性高い画像情報を含まない、段階。その段階において、特に、骨の背後及び空気の巻き込み（例えば、腸内又は肺内について）の背後のシェーディングはマスキングされ、即ち、画像からクロッピングされることが可能である。段階１乃至３の結果、変換された（テスト）画像Ａ′が得られる。
４．変換された超音波画像Ｂ′を生成する段階であって、オリジナルの超音波画像Ｂは、変換された画像Ａ′のマスキングされていない領域に限定される、段階。
５．変換されたテスト画像Ａ′及び変換された超音波画像Ｂ′をレジストレーションし、それらの画像の間の類似度を演算する段階。
６．その類似度を最大にする段階であって、段階２乃至５が、オリジナルの画像Ａと異なる二次元テスト画像に対して繰り返される、段階。例えば、超音波プローブについて取られた位置は異なるテスト画像で変化する。

上記の方法の最終段階において、オリジナルの画像Ａ及びＢの非常に正確且つロバストなレジストレーションが認識される。このことは、通常、例えば、モニタ１２上の手術前のＣＴ画像Ａに重ね合わされた手術中の超音波画像Ｂを表現するために用いられる。

本発明にしたがった方法の中核となる考え方は、それ故、モダリティの独特性に関連して、先ず、異なるモダリティと共に得られる画像Ａ及びＢを互いに対してアライメントすることである。これは、画像の一（Ａ）が他のモダリティ（超音波）の画像の特徴の方向に変換される一方、他の画像（Ｂ）は、基本的に、変化しないまま維持される点で、上記のように、効果を有するものである。しかしながら、モダリティの変換のための開始点として、超音波画像Ｂを付加的に又は代替として用いることがまた、可能である。更に、中間表現の時点で、オリジナルの画像Ａ、Ｂを独立して他のモダリティに変換することが考えられ、その変換は、モダリティ非依存性画像特性のみを示す。そのような中間表現は、次いで、他のイメージング方法による何れの画像でレジストレーションされることが可能である。

上記処理はまた、勿論、上記モダリティ以外のモダリティと共に用いられることが可能である。例えば、ＣＴ１に代えて、磁気共鳴処理が、三次元画像Ａを生成するために用いられる。同様に、手術中に用いられる超音波システム２を、リアルタイムのＭＲシステム及び／又はＣＴ透視法により置き換えることが可能である。

位置測定システム及び／又は関連イメージングモダリティの較正手順により、上記の最適化処理のための適切な開始値を、更に、自動的に生成することが可能である。これに関連して、図１は、例示として、患者の体における磁場プローブ４及び磁場発生器５を有する電磁位置決めシステムを示していて、その電磁位置決めシステムは、レジストレーションモジュール１１に患者の空間的位置についての測定データを送信する。勿論、例えば、光学位置決めシステムのような他の装置をまた、この目的のために用いることが可能である。イメージング機器（Ｘ線、超音波）の較正により、どの画素及びボクセルそれぞれがその機器に関連してどの空間位置に属すか、又は、換言すれば、生成された画像はその機器に関連する座標系でどのように位置付けられるかを、更に認識することができる。画像装置の空間位置が更に認識される場合、画素の絶対空間位置が結論付けられる。更に、それが多くの又は全ての装置に適用することができる場合、較正の最終段階として、装置に関連する座標系は互いに変換されることが可能である。このようにして、段階２において生成される二次元のテスト画像の予めの選択がなされる。

組織の変形及び／又は器官の動きを画像レジストレーションと共に考慮することができるようにするために、自由度のあるレジストレーション処理を使用することが更に可能である。そのような処理については、例えば、文献、Ｂ．Ａ．Ｍａｉｎｔｚ ａｎｄ Ｍ．Ａ．Ｖｉｅｒｇｅｖｅｒ，“Ａ ｓｕｒｖｅｙ ｏｆ ｍｅｄｉｃａｌ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ”（Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ，ｖｏｌ．２，ｎＯｏ．１，Ｓ１−３６，１９９８）に記載されている。

図１は、ＣＴ画像及び超音波画像のレジストレーションのために、本発明にしたがってデータ処理装置を使用することについて、模式的に示している。

Claims (9)

1. 第１イメージング方法で取得した対象物の第１画像を、前記第１イメージング方法とは異なる第２イメージング方法で取得した前記対象物の第２画像とレジストレーションするデータ処理装置であって、
   ａ）前記第１イメージング方法の特徴的な画像特徴を低減することにより、及び前記第２イメージング方法の特徴的な画像特徴を強調することにより、前記第１画像から、及び第２画像に基づいて第１変換画像を生成する手段と、
   ｂ）前記第２イメージング方法の特徴的な画像特徴を低減することにより、及び前記第１イメージング方法の特徴的な画像特徴を強調することにより、前記第２画像から、及び第１画像に基づいて第２変換画像を生成する手段と、
   ｃ）前記第１変換画像及び前記第２変換画像をレジストレーションする手段とを有するデータ処理装置。
2. 前記第１イメージング方法及び前記第２イメージング方法は異なるモダリティの適用を含み、前記モダリティの１つは、コンピュータ断層撮影、Ｘ線投影、磁気共鳴イメージング方法、超音波方法、Ｘ線透視法又はＣＴ透視法であり、それらにより得られる画像は二次元画像又は三次元画像である、ことを特徴とする、請求項１に記載のデータ処理装置。
3. 前記イメージング方法は、モダリティが同じでイメージング条件が異なる、ことを特徴とする、請求項１に記載のデータ処理装置。
4. 前記第１変換画像及び前記第２変換画像の特徴に基づくレジストレーションを実行する、請求項１に記載のデータ処理装置。
5. 画像の少なくとも１つにおいて異なる物質成分を有する対象物領域をセグメント化する手段をさらに有する、請求項１に記載のデータ処理装置。
6. 前記イメージング方法の少なくとも１つが信頼性のある情報を提供しない前記第１変換画像と第２変換画像の領域をマスキングする、請求項１に記載のデータ処理装置。
7. 位置測定装置及び／又は前記画像の較正の支援により前記変換画像のレジストレーションの開始値を発生する手段をさらに有する、請求項１に記載のデータ処理装置。
8. 第１イメージング方法で取得した対象物の第１画像を、前記第１イメージング方法とは異なる第２イメージング方法で取得した前記対象物の第２画像とレジストレーションする方法であって、
   ａ）前記第１イメージング方法の特徴的な画像特徴を低減することにより、及び前記第２イメージング方法の特徴的な画像特徴を強調することにより、前記第１画像から、及び前記第２画像に基づいて第１変換画像を生成する段階と、
   ｂ）前記第２イメージング方法の特徴的な画像特徴を低減することにより、及び前記第１イメージング方法の特徴的な画像特徴を強調することにより、前記第２画像から、及び前記第１画像に基づいて第２変換画像を生成する段階と、
   ｃ）前記第１変換画像及び前記第２変換画像をレジストレーションする段階とを有する方法。
9. 前記変換画像間の類似度を最大化するために、前記変換画像の少なくとも１つを変化させて前記段階ａ）、ｂ）、ｃ）を繰り返すことを特徴とする、請求項８に記載の方法。

Images