JP6876200B2 - 動的術中セグメンテーションデータに対する静的術前計画データの位置合わせ - Google Patents

Description

本開示は、術前の静的データ画像と術中の動的データ画像との融合に関する。本開示のシステムおよび方法は、画像誘導心臓処置などの医療処置に適用可能である。

ここでは、必ずしも先行技術ではない本開示に関連する背景情報を提供する。

医用撮像は、多くの臨床応用に有用である。様々なタイプの医用撮像が存在する。医用撮像の一つは、超音波撮像である。超音波撮像技術は、特に、最小侵襲心臓処置、例えば、僧帽筋又は三尖頭筋の修復又は置換などの処置に有用である。例えば、超音波撮像は、介入中に医師を助けるための動的な術中ボリュームデータを提供するために、心エコー図を介して心臓および関連構造を撮像するのに使用される経食道心エコー（ＴＥＥ）プローブの使用を含むことができる。しかしながら、超音波撮像は、他の撮像技術と比較して解剖学的構造の最良の描写を可能にしないことが知られている。

他のタイプの医用撮像技術、例えばコンピュータ断層撮影（ＣＴ）及び磁気共鳴撮像（ＭＲＩ）に基づくものは、解剖学的構造のより良い描写を提供することが知られている。しかしながら、これらの医用撮像技術は、一般的に、術中撮像には不適切である。さらに、これらの技術によって提供される解剖学的情報は、一般に静的な情報である。したがって、これらの撮像技術は、典型的には、主に術前の計画および診断のために使用される。

ＣＴまたはＭＲＩベースの撮像技術が、介入前の計画段階で使用され、介入中に超音波撮像が使用される場合、医師は、計画段階から取得された静的な情報と介入中に取得された動的な情報との知的位置合わせを行わなければならない。この知的位置合わせは、医師からワーキングメモリを要求し、これは余分な努力を必要とする。さらに、この知的位置合わせは、不正確であるかもしれない。さらに、心臓手術でよく遭遇する可動生体構造に対して、知的位置合わせは特に複雑である。

ＵＳ２０１０／０２９５８４８Ａ１は、異なる撮像技術から取得された画像を結合するためのシステムを開示している。

したがって、先行技術に比べて改善された方法で、介入の過程で静的情報と動的情報の両方が医師に利用可能になるシステムを得ることが望ましい。

計画データを術中データに位置合わせするためのシステムおよび方法が提供される。第１の態様によれば、画像処理装置が提供される。

撮像システムは、プロセッサモジュール、メモリモジュール、ディスプレイ、および患者から画像データを受信し、前記プロセッサモジュールに前記画像データを送信するように構成された入力インタフェースを含む。受信される前記画像データは、静的ボリュームデータ、初期の動的ボリュームデータ、および後続の動的ボリュームデータを有していてもよい。前記プロセッサモジュールは、前記静的ボリュームデータをセグメント化して静的セグメンテーションを生成し、前記初期の動的ボリュームデータをセグメント化して複数の動的セグメンテーションを生成し、前記静的セグメンテーションを前記複数の動的セグメンテーションのそれぞれと比較し、前記比較を使用して、前記静的セグメンテーションに最も近く対応する単一の動的セグメンテーションを決定し、対応する前記単一の動的セグメンテーションを参照セグメンテーションとして前記メモリ内に記憶するように構成される。前記プロセッサモジュールは、さらに、取得した前記後続の動的ボリュームデータを自動的にセグメント化して後続の動的セグメンテーションを生成し、前記参照セグメンテーションと前記後続の動的セグメンテーションとの間の差を決定し、前記決定された差を使用して前記静的セグメンテーションに関連付けられた少なくとも１つのアノテーションを更新し、前記後続の動的ボリュームデータおよび前記更新された少なくとも１つのアノテーションを前記ディスプレイに送信して前記ディスプレイ上に一緒に表示するように構成される。

代わりに、前記画像処理装置自体は、ディスプレイを備えておらず、代わりに、前記後続の動的ボリュームデータおよび更新されたアノテーションの画像を表す表示信号が、出力部に提供され、表示のために外部ディスプレイに転送されてもよい。

上記の位置合わせ技術で前記静的セグメンテーション及び前記初期ボリュームデータに関連する画像を結合することは、ランドマークアンカリングのような他のタイプの画像融合技術より正確である。さらに、上記の位置合わせ技術は、ランドマークドリフトのような系統的なエラーが発生しにくい。さらに、上記の技術は、前記静的セグメンテーションに関連付けられたアノテーションの動的更新を可能にする。

一実施形態では、前記プロセッサモジュールは、前記少なくとも１つの更新されたアノテーションが前記後続の動的ボリュームデータの上に重ねて表示されるように、前記後続の動的ボリュームデータを前記ディスプレイに送信するように構成される。

一実施形態では、前記静的セグメンテーションに関連付けられた前記少なくとも１つのアノテーションは、第１および第２の撮像技術とは異なる第３の撮像技術によって得られた画像の上に重ねられるように前記メモリに記憶される。第３の撮像技術によって得られた画像上での前記少なくとも１つのアノテーションのオーバーレイは、第２の撮像データと第３の撮像データとの間の追加の、別個の位置合わせを介して実行されてもよい。この位置合わせ技術は、上述したのと同じ位置合わせ技術であってもよい。代わりに、この位置合わせ技術は、プローブ検出アルゴリズムであってもよい。一実施形態では、第３の撮像技術は、Ｘ線撮像技術である。この実施形態では、前記プロセッサモジュールによって採用される位置合わせ技術は、Ｘ線画像データから患者空間内のプローブの位置を追跡するプローブ検出アルゴリズムである。

第３の撮像技術が利用され、前記少なくとも１つのアノテーションを第３の撮像技術と結合するために上述の追加位置合わせアルゴリズムが使用される場合、前記追加位置合わせアルゴリズムの前記動的セグメンテーションは、前記３Ｄ静的計画データと２Ｄライブ動的データとの間の３Ｄ動的「ブリッジ」として機能することが理解されるであろう。

一実施形態では、前記プロセッサモジュールは、点ベースの位置合わせアルゴリズムを使用して、前記静的セグメンテーションに最も密接に対応する前記対応する単一の動的セグメンテーションを決定するように構成される。

一実施形態では、前記プロセッサモジュールは、前記静的セグメンテーションに関連付けられた前記少なくとも１つのアノテーションを自動的に生成するように構成される。

アノテーションの例は、メッシュ、メッシュ全体のサブセット、仮想デバイス、測定値、計画された軌道、識別された解剖学的ターゲット、および動的撮像技術では見えないか、または明瞭には見えない重要な構造を含む。前記アノテーションは、三角形、円、グリッド化されたメッシュ、線などの様々な形態で表示されてもよい。

一実施形態では、前記プロセッサモジュールは、前記静的セグメンテーションを生成するために前記静的ボリュームデータをセグメント化するためにモデルベースの生成アルゴリズムを使用するように構成される。

一実施形態では、前記プロセッサモジュールは、前記動的セグメンテーションを生成するために前記動的ボリュームデータをセグメント化するためにモデルベースの生成アルゴリズムを使用するように構成される。

一実施形態では、前記撮像システムは、さらに、ＥＣＧモニタを含み、前記プロセッサモジュールは、前記ＥＣＧモニタの出力に基づいて、前記取得された動的ボリュームデータを心周期の期間と関連付けるように構成される。一実施形態では、前記プロセッサモジュールは、前記初期の動的ボリュームデータをセグメント化し、前記動的セグメンテーションを前記メモリに記憶するように構成される。前記プロセッサモジュールは、また、前記ＥＣＧモニタの出力を記憶するように構成される。その後、前記プロセッサモジュールは、前記初期の動的ボリュームデータが取得された心周期の位相を決定するために、前記記憶された動的セグメンテーションを前記ＥＣＧモニタの前記記憶された出力と同期させるように構成される。この技術は、前記プロセッサモジュールの処理能力がリアルタイムのセグメンテーションを生成するのに十分でない場合や、心位相が不明な場合に使用されてもよい。前記プロセッサモジュールの処理能力が実質的にリアルタイムのセグメンテーションを生成するのに十分である場合、または心位相が既知である場合には、前記ＥＣＧモニタの記憶された出力と後で同期させるための動的セグメンテーションの記憶は不要である。

一実施形態では、前記プロセッサモジュールは、前記取得された後続の動的ボリュームデータをセグメント化する前に、前記静的セグメンテーションに関連付けられた少なくとも１つのアノテーションとともに前記ディスプレイに表示するために、前記初期の動的ボリュームデータを前記ディスプレイに送信するように構成される。

一実施形態では、前記プロセッサモジュールは、前記参照セグメンテーションの形態で前記初期ボリュームデータを表示するように構成される。

一実施形態では、前記プロセッサモジュールは、前記静的セグメンテーションに関連付けられた前記少なくとも１つのアノテーションが前記初期ボリュームデータの上に重ねて表示されるように、前記初期ボリュームデータを前記ディスプレイに送信するように構成される。

さらなる態様によれば、本明細書に記載の画像処理装置の一実施形態と、前記初期および後続の動的ボリュームデータを取得するように構成されたイメージャとを有する撮像システムが提供される。

一実施形態では、前記イメージャは、超音波イメージャ、例えば超音波プローブを有する。

前記イメージャが超音波プローブのような超音波イメージャである実施形態では、位置合わせアルゴリズムは、前記イメージャプローブの３次元超音波コーン内にある点に限定されてもよい。前記位置合わせアルゴリズムを前記３次元超音波コーン内にある点のみを使用するように限定することで、前記位置合わせアルゴリズムの精度を向上させることができる。

一例では、前記静的ボリュームデータ、例えばＭＲまたはＣＴ画像データは、ＰＡＣＳシステムなどの画像データベースから受信可能であってもよい。代替的に、またはそれに加えて、前記撮像システムは、さらに、ＣＴまたはＭＲＩ撮像装置のような、前記静的ボリュームデータを取得するための術前イメージャを有する。

以下では、Ｘ線、超音波、ＣＴおよびＭＲＩ撮像は、「撮像モダリティ」とも称される。

さらなる態様によれば、コンピュータ実装撮像方法が提供され、前記方法は、第１の撮像モダリティを使用して静的ボリュームデータを取得するステップと、前記静的ボリュームデータをセグメント化して静的セグメンテーションを生成するステップと、前記静的セグメンテーションに少なくとも１つのアノテーションを付与するステップと、第１の撮像技術に対して第２の撮像技術モダリティを使用して初期の動的ボリュームデータを取得するステップと、前記初期の動的ボリュームデータをセグメント化して複数の動的セグメンテーションを生成するステップと、前記静的セグメンテーションを前記複数の動的セグメンテーションのそれぞれと比較し、前記比較を使用して、前記静的セグメンテーションに最も近く対応する単一の動的セグメンテーションを決定するステップと、前記静的セグメンテーションに最も近い単一の動的セグメンテーションを決定するステップと、前記対応する単一の動的セグメンテーションを参照セグメンテーションとして前記メモリに記憶するステップと、後続の動的ボリュームデータを取得するステップと、前記後続の動的ボリュームデータをセグメント化して少なくとも１つの後続の動的セグメンテーションを生成するステップと、前記参照セグメンテーションと前記後続の動的セグメンテーションとの間の差分を決定するステップと、前記決定された差分を使用して前記少なくとも１つのアノテーションを更新するステップと、前記更新された少なくとも１つのアノテーションを前記後続の動的ボリュームデータとともに表示するステップと、を有する。

一実施形態では、このアノテーションは、自動的にまたは半自動的に導入される。代替実施形態では、医師が、このアノテーションを導入してもよい。

一実施形態では、前記後続の動的ボリュームデータは、前記後続の動的セグメンテーションの形で表示される。

一実施形態では、前記方法は、さらに、前記後続の動的ボリュームデータを取得する前に、前記初期の動的ボリュームデータを前記静的セグメンテーションに関連付けられた少なくとも１つのアノテーションとともに表示するステップを有する。

一実施形態では、前記初期ボリュームデータは、前記参照セグメンテーションの形式で表示される。

一実施形態では、前記初期の動的セグメンテーションの少なくともいくつかは、患者の異なる心位相に対応する。

さらなる態様では、処理ユニット上で実行されると、本明細書に記載の方法の一実施形態のステップを計算装置に実行させる命令のセットを有するコンピュータプログラムが提供される。例えば、本明細書に記載の画像処理装置が、このような計算装置に相当してもよく、これにより、前記コンピュータプログラムが前記画像処理装置のプロセッサモジュールによって実行される。

本発明のこれらの側面および他の態様は、以下に説明される実施形態を参照することにより明らかになり、また解明されるであろう。

以下、例示的な実施形態が、同様の数字が同様の要素を示す、以下の図面と併せて説明される。

どのように静的計画画像に関連付けられた情報が動的画像に重畳され得るかを示す表現である。 様々な実施形態に従った医用撮像システムの概観である。 様々な実施形態に従った静的セグメンテーションデータと動的セグメンテーションデータとの間の位置合わせの概略図である。 本発明の様々な実施形態に従って、どのように静的計画画像に関連付けられた情報が動的に更新され、その後、動的画像に重畳され得るかを示す表現である。 様々な実施形態に従った方法を示すフローチャートである。 図５に示す方法で実行され得る追加の方法ステップを例示するフローチャートである。 図１の表現に関連する写真である。 図４の表現に関連する写真である。

以下の詳細な説明は、本質的に例示的なものに過ぎず、本出願およびその用途を限定することを意図していない。さらに、先行技術分野、背景、概要、または以下の詳細な説明で提示された任意の表現されたまたは暗示された理論に拘束されることを意図するものではない。本明細書で使用される「モジュール」という用語は、限定されないが、個別にまたは任意の組み合わせで、任意のハードウェア、ソフトウェア、ファームウェア、電子制御コンポーネント、処理ロジック、および／またはプロセッサ装置を指し、これには、特定用途向け集積回路（ＡＳＩＣ）、電子回路、プロセッサ（共有、専用、またはグループ）、および１つ以上のソフトウェアまたはファームウェアプログラムを実行するメモリ、組み合わせ論理回路、および／または記載された機能を提供する他の適切なコンポーネントが含まれる。

本開示の実施形態は、機能的および／または論理的なブロックコンポーネントおよび様々な処理ステップの観点から本明細書に記載されてもよい。そのようなブロックコンポーネントは、指定された機能を実行するように構成された任意の数のハードウェア、ソフトウェア、および／またはファームウェアコンポーネントによって実現されてもよいことが理解されるべきである。例えば、本開示の一実施形態は、様々な集積回路コンポーネント、例えば、メモリ要素、デジタル信号処理要素、論理要素、ルックアップテーブル、またはそのようなものを採用してもよく、これらは、１つ以上のマイクロプロセッサまたは他の制御装置の制御下で様々な機能を実行してもよい。加えて、当業者であれば、本開示の実施形態は、任意の数のシステムと組み合わせて実施されてもよく、本明細書に記載されたシステムは、本開示の例示的な実施形態にすぎないことを理解するであろう。

簡潔さのために、前記システム（および前記システムの個々の動作コンポーネント）の信号処理、データ伝送、シグナリング、制御、および他の機能的態様に関連する従来技術は、本明細書では詳細に説明されない場合がある。さらに、本明細書に含まれる様々な図に示される「接続線」は、様々なモジュール間の例示的な機能的関係を表すことを意図している。本開示の一実施形態では、多くの代替的または追加的な機能的関係、または物理的な接続が存在し得ることに留意すべきである。

本発明の実施形態は、介入中に静的な術前データおよび動的な術中画像データの両方の位置合わせおよび画像融合を提供する。具体的には、本発明の実施形態は、静的な術前データ（ＣＴまたはＭＲＩベースの撮像技術を使用して取得されてもよい）が動的な術中画像データ（超音波撮像技術を使用して取得されてもよい）に位置合わせされ、そして融合画像の形で一緒に医師に提示されるシステムを提供する。

特に、本発明者らは、静的な術前データと動的な術中データとの間の位置合わせが、これらのデータセット間のミスマッチをもたらしうる状況が存在することを認識していた。

以下の説明は、最小侵襲性心臓介入に関して説明されるが、本明細書に開示されたシステムおよび方法は、他のタイプの介入にも適用可能であることが理解されるであろう。

心臓は、複数の収縮期と拡張期の心位相を持つ。心臓がこれらの異なる心位相を経て進行すると、心臓は形状を変化させる。前記術前計画段階の間に、静的な術前計画情報は、計画アノテーションまたは測定値を含むように注釈されてもよい。前記計画情報は、静的であるので、この情報に関連付けられたアノテーションは、１つの心位相における心臓の構造に対応する。前記計画情報が、異なる心位相の間に取得された動的情報と一緒に表示される場合、これらの心位相間での心臓の形状の違いによるミスマッチが存在する。

例えば、図１を参照すると、静的な計画画像に対応する計画アノテーションは、動的な画像データの上に量状されるように示され、前記計画アノテーションは、三角形で示され、前記動的な画像データは、線で表示される。前記アノテーションを示すのに、円、格子状のメッシュ、線などの他の表現が使用されてもよいことが理解されよう。前記計画アノテーションは、術前撮像スキャン（ＣＴスキャンまたはＭＲＩスキャンなど）が実行された心位相である心位相に対応する。図１の左側に見られるように、前記計画アノテーションは、術前ＣＴまたはＭＲＩスキャンが実行された心位相と同じ心位相を有する動的画像データに位置合わせされる場合に、正しい位置にある。しかしながら、図１の右側に見られるように、介入中に心位相が変化する場合、前記動的画像データが変化し、（変化した）前記動的画像データと（変化していない）前記計画アノテーションとの間のミスマッチを生じる。図７は、図１で使用した技術に対応する写真画像を示す。

本発明の実施形態では、心臓の位相が変化することによる計画アノテーションとライブ画像データとの間のこのようなミスマッチを防止する。具体的には、本発明の実施形態は、異なる心位相の間の心臓の形状の変化を補償するように、計画アノテーションの動的更新を可能にする。

図２は、本発明の実施形態に従ったシステム１の一例を示す。図２のシステム１は、メモリ２４を含み、このメモリ２４には、術前静的データが記憶されてもよい。前記術前静的データは、術前イメージャ１２を介して取得されてもよい。前記術前静的データは、静的ボリュームデータであってもよい。前記静的ボリュームデータは、心臓の３次元画像などの３次元画像に対応していてもよい。

また、システム１は、プロセッサモジュール１６を含む。１つのプロセッサモジュール１６のみが示されているが、システム１は、所望の機能を提供するために複数の処理モジュールを含んでもよい。プロセッサモジュール１６は、メモリ２４に記憶されている前記術前静的データのセグメンテーションを実行するように構成される。このセグメンテーションは、自動的な、モデルベースのセグメンテーションであってもよく、または代替的に、医師の入力に少なくとも部分的に基づいてセグメンテーションを生成する半自動的な、モデルベースのセグメンテーションであってもよい。

静的ボリュームデータのモデルベースのセグメンテーションは、既知である。モデルベースのセグメンテーションの１つのタイプは、セグメンテーションモデルの使用を含む。このセグメンテーションモデルは、セグメント化される器官の標準的なモデルから導出されるか、または以前のセグメンテーションからコピーされる。前記セグメンテーションモデルは、意図された新しいセグメンテーションといくつかの位置的特徴を共有し、前記モデルセグメンテーションの特定の特徴と前記意図された新しいセグメンテーションとの間の特定の関係は、セグメンテーション間で保存されていてもよい。

一実施形態では、前記セグメンテーションモデルは、頂点からなるマルチコンパートメント三角形メッシュであり、これらの頂点は三角形で連結される。前記セグメンテーションモデルのメッシュは、前記モデルの解剖学的領域を囲む。例えば、前記セグメンテーションモデルが、心臓のモデルである場合、参照セグメンテーションメッシュは、心臓の心室および心房、左心室周辺の心筋、ならびに肺動脈および肺静脈を囲んでもよい。

プロセッサモジュール１６は、前記セグメンテーションモデルに基づいて、前記術前静的データを自動的にセグメント化する。

特に、前記静的術前データは、３Ｄ画像を生成するようにプロセッサモジュール１６によってセグメント化されてもよい。この３Ｄ画像は、心臓の３Ｄ表現に対応してもよい。前記３Ｄ表現の再構成後、プロセッサモジュール１６は、前記３Ｄ表現を前記セグメンテーションモデルと自動的に位置合わせするように構成される。言い換えれば、前記３Ｄ画像表現は、前記モデルの解剖学的領域が前記３Ｄ画像表現の解剖学的領域と位置合わせされるように、前記セグメンテーションモデルの頂点にマッピングされる。この位置合わせの結果は、前記静的術前データの静的セグメンテーションである。

アノテーションは、この場合、前記静的セグメンテーションに提供される。これらのアノテーションは、前記セグメンテーションモデルに基づいてプロセッサモジュール１６によって自動的に前記静的セグメンテーションに提供されてもよく、またはマウスもしくはキーボードなどの入力デバイスモジュール２２を介して医師によって提供されてもよい。前記アノテーションは、前記ボリュームデータを介して前記静的セグメンテーションに位置合わせされる。言い換えれば、前記静的セグメンテーションの近くの頂点に対する前記アノテーションの位置が決定され、メモリ２４に記憶される。これらのアノテーションは、様々な関心領域を記述してもよい。例えば、外科的に処置されるべき領域の位置およびサイズは、アノテーション境界によって輪郭を描かれてもよい。前記アノテーションは、介入手順を計画するために医師により使用されてもよい。前記静的セグメンテーションに対する前記アノテーションの位置は、ディスプレイ２０上に表示されてもよい。入力装置モジュール２２、プロセッサモジュール１６、ディスプレイ２０、およびメモリモジュール２４は、すべて画像処理装置１０に結合されてもよい。代わりに、様々な要素が、別々に配置されていてもよい。

また、イメージャ１４が提供されていてもよい。イメージャ１４は、介入中に画像データを取得するためのものである。イメージャ１４は、ＴＥＥまたはＴＴＥ超音波プローブのような、超音波イメージャであってもよい。

介入の間、イメージャ１４は、患者から初期の動的画像データを取得するために使用される。イメージャ１４が超音波イメージャである場合、前記初期の動的画像データは、心エコー図から取得されたライブ画像データに対応していてもよい。

イメージャ１４によって取得された前記初期の動的画像データは、器官の異なる位相に対応するライブ動的３Ｄ画像の一連のフレームの形であってもよい。心臓が撮像される場合、前記動的画像データは、心周期の異なる位相に対応する一連の３Ｄ画像フレームを含んでもよい。前記３Ｄ画像フレームは、通常、超音波プローブのみを用いて取得されてもよい。しかしながら、イメージャ１４は、従来のＥＣＧモニタと組み合わせて使用されてもよい。この実施形態では、前記ＥＣＧモニタは、心位相を検出するために使用され、前記超音波画像データは、超音波画像データの特定のフレームがどの心位相で取得されるかを決定するために、前記ＥＣＧモニタのデータと同期されてもよい。加えて、または代替的に、超音波画像データの特定のフレームがどの心位相で取得されるかを決定するために、前記動的ボリュームデータに関連付けられた他のメタデータが使用されてもよい。

画像処理装置１０は、静的および動的ボリュームデータを受信するための入力インタフェース（図示せず）を有する。介入の間、前記動的画像データは、イメージャー１４から直接受信されてもよい。前記静的画像データは、例えば、ＰＡＣＳシステムなどのデータベースから受信される。代わりに、前記静的画像データは、術前イメージャ１２から直接受信されてもよい。

ここで図３を参照して、前記取得したデータをセグメント化および位置合わせするプロセスが説明される。図３（１）及び（２）に示すように、静的セグメンテーションＳｓは、上述した方法で、静的画像データから生成され、注釈される。

図３（３）に示すように、プロセッサモジュール１６は、前記取得した動的データを自動的にセグメント化して一連の動的セグメンテーションを形成するように構成される。これらの動的セグメンテーションは、前記静的セグメンテーションを生成するために使用されるのと同じモデルベースのセグメンテーション手法を使用して生成されてもよいし、または異なるセグメンテーション技法を使用して生成されてもよい。異なるセグメンテーション技法が使用される場合、前記生成されたセグメンテーション間で利用可能なマッピングが存在するはずである。例えば、前記動的セグメンテーションを生成するために介入中に取得された３Ｄ画像のフレームを自動的にセグメント化するために異なるモデルベースのセグメンテーション技法が使用される場合、前記動的セグメンテーションの頂点が前記静的セグメンテーションの頂点にマッピングされうるように、前記異なるセグメンテーション技法で使用されるモデル間で利用可能なマッピングが存在するはずである。

前記動的セグメンテーションが生成された後、前記プロセッサは、前記動的セグメンテーションおよび前記静的セグメンテーションのそれぞれの間で位置合わせを実行するように構成される。この位置合わせは、点ベースの位置合わせであってもよい。点ベースの位置合わせでは、前記動的セグメンテーションの各１つが前記静的セグメンテーションにマッピングされる。次いで、前記静的セグメンテーションの頂点と前記動的セグメンテーションの各々の頂点との間の対応度が計算される。前記静的セグメンテーションに対する最小の位置合わせ誤差Ｒｒを持つ動的セグメンテーション（すなわち、前記静的セグメンテーションに対して最も高い対応度の頂点を持つ動的セグメンテーション）は、前記静的セグメンテーションの基となるデータと同じ心位相で取得された動的セグメンテーションであると決定される。換言すると、どの動的セグメンテーションが前記静的セグメンテーションと最も密接に対応しているかを決定することにより、前記術前画像データが取得された心位相が、決定されることができる。

代替的または追加的に、前記静的および動的セグメンテーションの両方に関する心位相情報が利用可能である場合、この心位相情報は、どの動的セグメンテーションが前記静的セグメンテーションに最も密接に対応するかを決定するために前記プロセッサモジュールによって使用されてもよい。

前記静的セグメンテーションに最も密接に対応する動的セグメンテーションの決定後に、この動的セグメンテーションは、参照セグメンテーションＳｒとしてメモリ２４に記憶される。

参照セグメンテーションＳｒの決定及び記憶の後に、前記初期の動的ボリュームデータが、ディスプレイ２０に表示されてもよい。この初期の動的ボリュームデータは、前記参照セグメンテーションの形態で表示されてもよいし、別の形態で表示されてもよい。代わりに、前記初期の動的ボリュームデータは、前記ディスプレイ上に表示されなくてもよい。表示される場合、前記初期の動的ボリュームデータは、前記静的セグメンテーション、または前記静的セグメンテーションの特徴とともに表示されてもよい。特に、前記位置合わせは、前記静的セグメンテーションに最も密接に対応する動的セグメンテーションを決定するので、図３（４）に示すように、前記静的セグメンテーションの頂点を前記参照セグメンテーションの頂点とマッチングさせることにより、前記参照セグメンテーションおよび前記静的セグメンテーションの特徴が融合されうる。その後、前記参照セグメンテーションおよび前記静的セグメンテーションの組み合わせの特定の特徴が、ディスプレイ２０上に表示されてもよい。

特に、前記静的セグメンテーションに適用されたアノテーションは、前記初期の動的ボリュームデータの上に重ねて表示されてもよい。前記参照セグメンテーションは、前記静的セグメンテーションが基づく画像データと同じ心位相中に取得された画像データに基づいて生成されたものであると決定されるので、心位相間の心臓の形状の違いによって前記アノテーションの位置が悪影響を受けることはない。言い換えれば、前記参照セグメンテーションおよび前記静的セグメンテーションは、同じ心位相の間に取得されたデータに基づいているため、前記静的セグメンテーションに関連付けられたアノテーションは、図１に示すような位置的な「不一致」エラーが発生することなく、前記参照セグメンテーションまたは前記参照セグメンテーションが生成された前記初期の動的ボリュームデータの上に重ねて表示されることができる。このように、前記アノテーションおよび／または測定値は、介入中に医師を誘導するために、前記参照セグメンテーションに位置合わせされてもよい。

前記初期の動的画像データの取得および参照セグメンテーションＳｒの決定の後、動的画像データの後続のフレームは、イメージャ１４によって取得される。これらのさらなる動的画像データのフレームは、プロセッサモジュール１６によってセグメント化され、さらなる動的セグメンテーションＳｔを生成する。

プロセッサモジュール１６は、生成された更なる動的セグメンテーションＳｔの各々を参照セグメンテーションＳｒと比較するように構成される。具体的には、プロセッサモジュール１６は、図３（５）に示すように、後続の動的セグメンテーションＳｔと参照セグメンテーションＳｒとの間の頂点位置の変化をマッピングするように構成される。

参照セグメンテーションＳｒと後続の動的セグメンテーションＳｔとの間の頂点位置の変化は、心臓の形状の変化を決定するために使用される。この変化は、心臓が、参照セグメンテーションが取得された位相とは異なる心位相にあることによるものであってもよく、または異なる生理的な理由によるものであってもよい。

プロセッサモジュール１６は、参照セグメンテーションＳｒと前記後続の動的セグメンテーションとの間の頂点位置のマッピングされた変化を使用して、どのようにして前記静的セグメンテーションに関連付けられたアノテーションおよび／または測定値が、前記後続の動的セグメンテーション上の同じ位置に対応するように正しく変換されるべきであるかを決定するように構成されている。

例えば、図３（６）に見られるように、前記静的セグメンテーションに関連付けられたアノテーションが、前記静的セグメンテーション上の近くの頂点のグループに近接していた場合、当該アノテーションは、参照セグメンテーションＳｒ上の対応する近くの頂点のグループにも近接しているべきであり、参照セグメンテーションＳｒ上のこれらの同じ頂点に位置合わせされるであろう。後続の動的セグメンテーションが、参照セグメンテーションＳｒの対応する頂点に対して特定の方向に平行移動されたこれらの頂点の配置を含む場合、プロセッサモジュール１６は、これらの頂点に関連付けられたアノテーションも、その頂点の平行移動に基づいて平行移動されるべきであると決定するであろう。

このようにして、前記アノテーション位置は、前記マッピングされた頂点平行移動に基づいて、各後続の動的セグメンテーションに対して動的に更新されてもよい。前記更新されたアノテーション位置は、その後、前記後続の動的ボリュームデータ上に重ねてディスプレイ２０上に表示される。前記後続の動的ボリュームデータは、前記後続の動的セグメンテーションの形態で表示されてもよい。このように、前記静的セグメンテーションに関連付けられた元のアノテーションは、前記後続の動的セグメンテーションに対して動的に更新される。このアノテーションの動的更新は、撮像された器官の頂点の動きによる前記アノテーションと測定位置との間のミスマッチの問題を低減し、この動きは、例えば、心臓が異なる心位相に移動することによるかもしれない。

前記静的セグメンテーションの特徴を前記動的セグメンテーションと結合するために、追加の画像融合技術が使用されてもよい。例えば、前記動的ボリュームデータ上に前記アノテーションを重ねるために前記位置合わせを使用することに加えて、スペックル追跡のようなランドマークアンカリング技術が、これらの画像を結合するために使用されてもよい。前記位置合わせアルゴリズムは、アノテーション・ドリフトを起こしやすい従来のランドマークアンカリング技術より正確な画像融合をもたらすが、前記画像融合を「微調整」するために、前記位置合わせアルゴリズムに加えてランドマークアンカリング技術が使用されてもよい。

さらに、近くの頂点の平行移動に基づく前記アノテーションの変換は、前記アノテーションに対するそれぞれの頂点の距離に依存してもよい。例えば、変換アルゴリズムは、近くの頂点に影響評価を割り当ててもよく、各特定の頂点の影響は、その頂点と前記アノテーションとの間の距離が増加するにつれて減少する。前記参照セグメンテーションと後続の動的セグメンテーションとの間の頂点の平行移動が決定される場合、前記アノテーションの位置の変換量は、前記頂点の影響評価に依存する。具体的には、より高い影響の頂点の平行移動は、より低い影響の頂点の平行移動よりも、前記アノテーションの位置の変換の決定において大きな重みを持つ。このようにして、後続の動的アノテーションのための前記アノテーション位置の変換の精度は、向上されうる。

心位相の変化に反応してアノテーションを動的に更新する例が、図４に見られる。ここでは、図１で使用したのと同じ静的セグメンテーションの同じアノテーションが、図４の左側の動的セグメンテーションの上に重ねられる。図４の右側の後続の動的セグメンテーションでは、心臓は別の心位相にある。しかしながら、前記アノテーションは、前記初期の動的セグメンテーションと前記後続の動的セグメンテーションとの間のマッピングされた頂点の変化に基づいて動的に更新されているので、前記アノテーションは、前記後続の動的セグメンテーション上の注釈された位置に正しく対応する。図８は、図４で表される本発明の実施形態に従った技術に対応する写真画像を示す。

次に、図５および図６を参照すると、本発明の実施形態に従ったコンピュータ実装方法を示すフローチャートが示されている。ステップ２００において、静的ボリュームデータは、ＭＲＩまたはＣＴ撮像などの第１の撮像技術を用いて取得される。ステップ２０２において、前記静的ボリュームデータは、静的セグメンテーションを生成するためにセグメント化される。ステップ２０４において、前記静的セグメンテーションは、少なくとも１つのアノテーションで注釈される。前記静的セグメンテーションの注釈付けは、自動、半自動、または手動であってもよい。ステップ２０６では、第１の撮像技術とは異なる第２の撮像技術を用いて、初期の動的ボリュームデータが取得される。第２の撮像技術は、超音波撮像であってもよく、例えば、ＴＥＥプローブを用いた超音波撮像であってもよい。ステップ２０８では、前記初期の動的ボリュームデータは、セグメント化されて、複数の動的セグメンテーションを生成する。ステップ２１０において、前記複数の動的セグメンテーションのそれぞれが、前記動的セグメンテーションのうちのどれが前記静的セグメンテーションと最も密接に対応するかを決定するために、前記静的セグメンテーションと比較される。この比較は、位置合わせアルゴリズム、例えば、前記静的セグメンテーションの頂点位置に対する前記動的セグメンテーションの各１つの頂点位置の近接度を決定する点ベースの位置合わせアルゴリズムを使用して実行されてもよい。ステップ２１２では、前記静的セグメンテーションに最も密接に対応すると決定された動的セグメンテーションが、参照セグメンテーションＳｒとして前記メモリに記憶される。ステップ２１６では、後続の動的ボリュームデータが取得される。ステップ２１８において、前記後続の動的ボリュームデータは、少なくとも１つの後続の動的セグメンテーションを生成するためにセグメント化される。ステップ２２０では、前記参照セグメンテーションと前記後続の動的セグメンテーションとの間の差が決定される。ステップ２２２では、前記決定された差に基づいて、前記静的セグメンテーションに関連付けられたアノテーションが更新される。ステップ２２４では、前記更新されたアノテーションは、前記後続の動的ボリュームデータと共に表示される。前記後続の動的ボリュームデータは、前記後続の動的セグメンテーションの形態で表示されてもよい。

少なくとも１つの例示的な実施形態が、前述の詳細な説明に示されているが、膨大な数の変形例が存在すると理解されるべきである。また、例示的な実施形態または複数の例示的な実施形態は例にすぎず、本開示の範囲、適用可能性、または構成をいかなる形でも限定することを意図していないと理解されるべきである。むしろ、前述の詳細な説明は、当業者に、例示的な実施形態または複数の例示的な実施形態を実施するための便利なロードマップを提供するであろう。添付の特許請求の範囲およびその法的等価物に記載されている本開示の範囲から逸脱することなく、要素の機能および配置に様々な変更を加えることができることが理解されるべきである。

本発明の別の例示的な実施形態では、適切なシステム上で、先行する実施形態の１つに従った方法の方法ステップを実行するように構成されていることを特徴とする、コンピュータプログラムまたはコンピュータプログラム要素が、提供される。

したがって、前記コンピュータプログラム要素は、本発明の一実施形態の一部であってもよいコンピュータユニットに記憶されてもよい。このコンピューティングユニットは、上述した方法のステップを実行またはその実行を誘導するように構成されてもよい。さらに、このコンピューティングユニットは、上述した装置の構成要素を動作するように構成されてもよい。前記コンピューティングユニットは、自動的に動作するように構成されてもよく、および／またはユーザの命令を実行するように構成されてもよい。コンピュータプログラムは、データプロセッサのワーキングメモリにロードされてもよい。このように、前記データプロセッサは、本発明の方法を実行するために備えられてもよい。

本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって既存のプログラムを本発明を使用するプログラムに変えるコンピュータプログラムとの両方をカバーする。

さらに、前記コンピュータプログラム要素は、上述の方法の例示的な実施形態の手順を遂行するために必要なすべてのステップを提供することができてもよい。

本発明のさらなる例示的な実施形態によれば、ＣＤ-ＲＯＭなどのコンピュータ可読媒体が提示され、前記コンピュータ可読媒体は、その上に記憶されたコンピュータプログラム要素を有し、前記コンピュータプログラム要素は、前のセクションで説明されている。コンピュータプログラムは、光記憶媒体または他のハードウェアと共にまたは他のハードウェアの一部として供給される半導体媒体などの適切な媒体上に記憶および／または配布されてもよいが、インターネットまたは他の有線もしくは無線電気通信システムを介して配布されてもよい。

しかしながら、前記コンピュータプログラムは、また、ワールドワイドウェブのようなネットワークを介して提示されてもよく、そのようなネットワークからデータプロセッサのワーキングメモリにダウンロードされることができる。本発明のさらなる例示的な実施形態によれば、コンピュータプログラム要素をダウンロード可能にするための媒体が提供され、このコンピュータプログラム要素は、本発明の先に説明した実施形態の１つに従った方法を実行するように構成される。

本発明の実施形態は、異なる主題を参照して記載されていることに留意すべきである。特に、いくつかの実施形態は、方法型の請求項を参照して記載されているのに対し、他の実施形態は装置型の請求項を参照して記載されている。しかしながら、当業者であれば、別段の通知がない限り、１つのタイプの主題に属する特徴の任意の組み合わせに加えて、異なる主題に関連する特徴の間の任意の組み合わせも本願で開示されていると考えられることを、上記および以下の説明から推測するであろう。しかしながら、すべての特徴は、特徴の単純な合計以上の相乗効果を提供するように組み合わせられることができる。

本発明は、図面および前述の説明において図示および説明されてきたが、そのような図示および説明は、限定的ではなく、例示的または典型的なものとみなされるべきである。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変形は、図面、開示、および従属請求項の検討から、請求された発明を実施する当業者によって理解され、達成されることができる。

例えば、上記開示は、主に心臓外科の分野に焦点を当てているが、本開示は、他の分野でも応用を見出す。例えば、本開示は、動的ボリュームデータのセグメンテーションに対する良好な位置合わせが要求される任意の医療処置において有用であろう。

特許請求の範囲において、「有する」という語は、他の要素またはステップを排除するものではなく、不定冠詞「ａ」または「ａｎ」は、複数を排除するものではない。単一のプロセッサまたは他のユニットが、特許請求の範囲に記載された複数の項目の機能を満たしてもよい。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。特許請求の範囲のいかなる参照符号も、その範囲を限定するものと解釈されるべきではない。

Claims (15)

1. プロセッサモジュールと、
   メモリモジュールと、
   ディスプレイと、
   入力インタフェースと、
   を有する画像処理装置において、
   前記入力インタフェースが、画像データを受信し、前記画像データを前記プロセッサモジュールに送信するように構成され、前記画像データが、
   静的ボリュームデータと、
   初期の動的ボリュームデータと、
   後続の動的ボリュームデータと、
   を含み、前記プロセッサモジュールが、
   静的セグメンテーションを生成するように前記静的ボリュームデータをセグメント化し、
   複数の動的セグメンテーションを生成するように前記初期の動的ボリュームデータをセグメント化し、
   前記静的セグメンテーションを前記複数の動的セグメンテーションの各々と比較し、
   前記比較を使用して、前記静的セグメンテーションに最も密接に対応する単一の動的セグメンテーションを決定し、
   参照セグメンテーションとして前記対応する単一の動的セグメンテーションを前記メモリに記憶し、
   後続の動的セグメンテーションを生成するように前記後続の動的ボリュームデータをセグメント化し、
   前記参照セグメンテーションと前記後続の動的セグメンテーションとの間の差を決定し、
   前記決定された差を使用して前記静的セグメンテーションに関連付けられた少なくとも１つのアノテーションを更新し、
   前記後続の動的ボリュームデータ及び前記更新された少なくとも１つのアノテーションを前記ディスプレイに送信して一緒に前記ディスプレイに表示する
   ように構成される、
   装置。
2. 前記プロセッサモジュールは、前記更新された少なくとも１つのアノテーションが前記後続の動的ボリュームデータ上に重ねて表示されるように、前記後続の動的ボリュームデータを前記ディスプレイに送信するように構成される、請求項１に記載の装置。
3. 前記プロセッサモジュールが、前記静的セグメンテーションに最も密接に対応する前記対応する単一の動的セグメンテーションを決定するのに点ベースの位置合わせアルゴリズムを使用するように構成される、請求項１乃至２のいずれか一項に記載の装置。
4. 前記プロセッサモジュールが、前記静的セグメンテーションに関連付けられた前記少なくとも１つのアノテーションを自動的に生成するように構成される、請求項１乃至３のいずれか一項に記載の装置。
5. 前記プロセッサモジュールが、前記静的セグメンテーションを生成するように前記静的ボリュームデータをセグメント化し、前記複数の動的セグメンテーションを生成するように前記動的ボリュームデータをセグメント化するのにモデルベースの生成アルゴリズムを使用するように構成される、請求項１乃至４のいずれか一項に記載の装置。
6. 前記プロセッサモジュールが、前記後続の動的ボリュームデータをセグメント化する前に、前記静的セグメンテーションに関連付けられた少なくとも１つのアノテーションとともに前記ディスプレイに表示するために前記初期の動的ボリュームデータ前記ディスプレイに送信するように構成される、請求項１乃至５のいずれか一項に記載の装置。
7. 前記プロセッサモジュールが、前記参照セグメンテーションの形で前記初期のボリュームデータを表示するように構成される、請求項６に記載の装置。
8. 請求項１乃至７のいずれか一項に記載の画像処理装置と、
   前記初期の動的ボリュームデータ及び前記後続の動的ボリュームデータを取得するように構成されるイメージャと、
   を有する撮像システム。
9. 前記イメージャが、超音波イメージャを有する、請求項８に記載のシステム。
10. 前記静的ボリュームデータが、データベースから受信可能なＭＲまたはＣＴ画像データである、請求項８又は９に記載のシステム。
11. 前記静的ボリュームデータを取得するように構成される術前イメージャとしてＭＲＩイメージャまたはＣＴイメージャを有する、請求項８又は９に記載のシステム。
12. 前記撮像システムが、ＥＣＧモニタを有し、前記プロセッサモジュールが、前記ＥＣＧモニタの出力に基づいて前記取得された動的ボリュームデータを心周期の期間に関連付けるように構成される、請求項８乃至１１のいずれか一項に記載のシステム。
13. 第１の撮像モダリティを使用して静的ボリュームデータを取得するステップと、
    静的セグメンテーションを生成するように前記静的ボリュームデータをセグメント化するステップと、
    前記静的セグメンテーションに少なくとも１つのアノテーションを注釈付けるステップと、
    前記第１の撮像モダリティとは異なる第２の撮像モダリティを使用して初期の動的ボリュームデータを取得するステップと、
    複数の動的セグメンテーションを生成するように前記初期の動的ボリュームデータをセグメント化するステップと、
    前記静的セグメンテーションを前記複数の動的セグメンテーションの各々と比較し、前記比較を使用して、前記静的セグメンテーションに最も密接に対応する単一の動的セグメンテーションを決定するステップと、
    参照セグメンテーションとして前記対応する単一の動的セグメンテーションをメモリに記憶するステップと、
    後続の動的ボリュームデータを取得するステップと、
    少なくとも１つの後続の動的セグメンテーションを生成するように前記後続の動的ボリュームデータをセグメント化するステップと、
    前記参照セグメンテーションと前記後続の動的セグメンテーションとの間の差を決定するステップと、
    前記決定された差を使用して前記少なくとも１つのアノテーションを更新するステップと、
    前記少なくとも１つの更新されたアノテーションを前記後続の動的ボリュームデータとともに表示するステップと、
    を有するコンピュータ実装撮像方法。
14. 後続の動的ボリュームデータを取得する前に、前記静的セグメンテーションに関連付けられた少なくとも１つのアノテーションとともに前記初期の動的ボリュームデータを表示するステップを有する、請求項１３に記載のコンピュータ実装方法。
15. 画像処理装置のプロセッサモジュール上で実行される場合に、請求項１３又は１４に記載の方法のステップを前記装置に実行させる命令のセットを有するコンピュータプログラム。

Images