JP7407799B2 - 画像処理システム及び方法 - Google Patents

Description

本発明は、画像処理システム、画像処理方法、コンピュータ可読媒体、及びコンピュータプログラム要素に関する。

肺外科は、ますます低侵襲になってきている。異なる種類の介入では、開胸術はもはや不要である。このことは、開胸術がかなりの切開を伴っていたため、患者の不快感を大幅に軽減する。その代わり、低侵襲外科手術の一種である「ビデオ補助下胸腔鏡手術」（ＶＡＴＳ）では、内視鏡が小さな切開を通して胸腔内に導入される。外科医は、追加の小さな切開を通して導入され得る器具で手術している間に、内視鏡からモニタに伝送されるビデオ画像が提供される。

ＶＡＴＳは、腫瘍学的処置、例えば悪性新生物の除去（肺葉切除、区域切除、楔状切除など）に使用されるが、他の理由、例えば、重度のＣＯＰＤなどの治療のための肺容量減少術にも使用され得る。

開胸術及び低侵襲ＶＡＴＳの両方の肺外科に関する問題の１つは、肺収縮である。通常、肺は胸腔を満たす。肺は、自身を膨張させることはできず、胸腔のボリュームが増加したときにのみ拡張する。正常な状態では、肺内の圧力は、常に、胸郭と肺との間の胸膜腔内の圧力よりも高い。上記切開によって胸部を開くと、胸腔内の圧力は気道内の圧力と同じになり、弾性肺組織が崩壊する。そのため、外科処置中、肺は手術前に比べてはるかに小さくなる。

他の多くの外科分野（脳神経外科、整形外科、脊椎外科、ＥＮＴ外科及びさらに多くの分野）だけでなく、介入的画像診断において、外科医又は介入放射線医をターゲットに誘導するための技術的方法が開発されている。これらのナビゲーション方法は、術前イメージング（例えば、ＣＴ、ＭＲＩ、３ＤＸ線、ＰＥＴなど）又は術中イメージング（超音波、Ｘ線など）のいずれかに依存し得る。これらの方法では、術前イメージングを用いる場合、ナビゲーションの精度を損なうように、関心の解剖学的構造は、一般に、イメージングと介入との間で著しく変化しない。

肺は、収縮によって、術前イメージングと介入中との間で大規模に変形する。これは、例えば、術前ＣＴベースのナビゲーションを困難にする。

少なくとも観血的外科処置では、外科医は病変を見つけるために肺を触診することができる。ＶＡＴＳでは、これはもはや可能ではない。

したがって、肺イメージング又は肺介入を支援するための代替システム又は方法が必要である。

本発明の目的は、独立請求項の主題によって解決され、さらなる実施形態は従属請求項に組み込まれる。以下に説明する本発明の態様は、画像処理方法、画像処理システム、コンピュータプログラム要素、及びコンピュータ可読媒体に等しく適用されることに留意されたい。

本発明の第１の態様によれば、画像処理システムが提供される。システムは、
ｉ）第１のイメージングモダリティによって取得された被検者の肺の画像データに基づく３Ｄ画像ボリュームの少なくとも一部、及び、ｉｉ）肺介入中に第２のイメージングモダリティによって取得された肺の第２の画像を受信する入力インターフェースと、
３Ｄ画像ボリュームにおいて、肺血管及び／又は中隔を表すパターンを含む層オブジェクトを、肺の表面の表現として画定する層画定器と、
表示デバイス上での視覚化のためのレンダリングビューにおいて、層オブジェクトの少なくとも一部を３Ｄでレンダリングするレンダラと、
表現的パターンに基づいて、第２の画像と一致するように、層オブジェクトのビューをレンダリングするようにレンダラに指示するマッチャとを含む。

一実施形態によれば、レンダリングは、層オブジェクトの少なくとも一部に限定可能であるか、又は、レンダラは、ボリュームの非層要素よりも高い寄与で層オブジェクトをレンダリングする。

肺表面上の特定のパターン（例えば、外表面の下の中隔から生じる血管又は構造）は、肺の特定の空間的ビューについて特徴的であることがわかっている。以下、このようなパターンを「表現的パターン」とも呼ぶ。また、パターンは、肺の収縮によって引き起こされる変形の下で、大部分が位相的に不変であることがわかっている。層オブジェクトを限定するか、又は少なくとも強調することによって、顕著な視覚的寄与をするには深過ぎる組織を覆うようにコントラストを引き伸ばすのではなく、コントラストをより良く集中させることができる。また、侵入深さを使用することによって、肺の視覚的外観に寄与する構造をさらに利用することができる。要するに、肺介入にとって特に有益である、より信頼性の高い画像ベースのナビゲーションが達成される。膨張及び収縮状態にある肺の画像は、信頼性があり、ロバストにマッチングされることができ、したがって、肺画像ベースのナビゲーションの信頼性をさらに高める。

一実施態様によれば、層画定器は、第２のイメージングモダリティの問い合わせ信号の侵入深さに基づいて、層の厚さを画定する。この第２の問い合わせ信号は、第２の問い合わせ信号への暴露によって肺又は別の同様の肺の第２の画像を取得するために使用される。

第２の問い合わせ信号の曝露は、外部から生じてもよく、第２の問い合わせ信号は、患者の皮膚の開口を通って肺に向かって伝播する。或いは、暴露は、イメージング装置のプローブが開口を通して患者の中に導入され、肺に対して適切に配置された後に、患者の内側から生じてもよい。

好ましくは、第１及び第２のイメージングモダリティ又は装置は両方とも、同じ患者の肺の画像を取得するように動作可能であるが、いくつかの代替実施形態では、第１のイメージングモダリティ又は装置は、１人の患者の肺から術前画像を取得するために使用され、一方、別の患者の肺の手術中の第２の画像は、第２のイメージングモダリティ又は装置によって取得される。

一実施形態によれば、層画定器は、少なくとも肺組織セグメンテーションサブボリュームに基づいて層オブジェクトを画定する。

一実施形態によれば、層画定器は、肺セグメンテーションサブボリュームの所定の点に対する接線曲面と、接線曲面の局所法線方向に沿った接線曲面の延長部とに基づいて層オブジェクトを画定する。

層オブジェクトは、肺血管及び／又は中隔を表すパターンを含む。一実施形態によれば、レンダラは、パターンが少なくとも部分的に埋め込まれている周囲とは異なる色又はグレー値コード化を用いて、パターンをレンダリングする。

一実施形態によれば、レンダラは、レンダリング位置を所与として、層オブジェクトの対向する遠位部分を遮蔽するようにレンダリングされた層オブジェクトの透明度を設定するか、又は、層オブジェクトは、遠位部分をレンダリングから除外するようにプルーニングされる。レンダリング位置は、特に、ボリュームを介して、レンダリングされたビューが（２Ｄ）画像として投影される画像平面上に幾何学的光線を投じることによってレンダリングが行われる概念カメラの位置を記述する。

一実施形態によれば、システムは、表示デバイスＤＤ上に、又は２つの表示デバイス上に、レンダリングされたビュー及び第２の画像の視覚化の表示を達成する表示デバイスインターフェースを含む。

一実施形態によれば、第２のイメージング装置は、肺内に存在する少なくとも１つの所定の材料に基づいて第２の画像にコントラストを与えることができ、レンダラは、材料に対応するビュー内の一部を色又はグレー値コード化する。

一実施形態によれば、システムは、第１又は第２のイメージングモダリティ又は装置の少なくとも１つ、及び／又は、少なくとも１つの表示デバイスを含む。

第２の態様によれば、画像処理方法が提供される。方法は、
ｉ）第１のイメージングモダリティによって取得された画像データに基づく、被検者の肺の３Ｄ画像ボリュームの少なくとも一部、及び、ｉｉ）第２のイメージングモダリティによって取得された肺の第２の画像を受信するステップと、
３Ｄ画像ボリュームにおいて、肺血管及び／又は中隔を表すパターンを含む層オブジェクトを、肺の表面の表現として画定するステップと、
表現的パターンに基づいて、第２の画像に一致するように、表示デバイス上での視覚化のためのレンダリングビューにおいて、層オブジェクトの一部を３Ｄでレンダリングするステップとを含む。

一実施形態によれば、レンダリングは、層オブジェクトの少なくとも一部に限定可能であるか、又は、層オブジェクトのレンダリングは、ボリュームの非層要素よりも高い寄与で行われる。

第３の態様によれば、コンピュータプログラム要素が提供される。コンピュータプログラム要素は、少なくとも１つの処理ユニットによって実行されると、前述の実施形態のいずれか１つによる方法を処理ユニットに行わせる。

第４の態様によれば、プログラム要素を記憶したコンピュータ可読媒体が提供される。

提案されるシステムは、肺介入におけるナビゲーション及び方向付けを支援する。手術前及び手術中の肺の大規模な変形にもかかわらず、提案されるシステムは、術前画像情報、例えば病変の位置及び範囲を、術中の状況に確実に関連付けることを可能にする。

提案されるシステム及び方法は、開胸術による観血的技術だけでなく開骨切開又は低侵襲手術（例えばＶＡＴＳ）などの異なるタイプの肺介入に使用することができ、特に、肺腫瘍イメージング又は肺介入に有益である。

定義
以下では、物理的な物体と、各画像におけるそれらの表現とが区別される。例えば、物理的な実体としての肺は、全ボリュームのうちのボクセルサブセット、例えばサブボリュームによって表される。サブボリュームが肺を表し得る。このような表現的（representative）ボクセルサブセット又はサブボリュームは、本明細書では、「オブジェクト」と呼び、例えば、「肺オブジェクト」は、ボクセルサブセット又はサブボリュームでの肺の画像表現である。したがって、血管オブジェクトは、血管のボリュームＶにおける表現であり、以下同様である。同様の規定を、２Ｄ画像内のピクセルオブジェクトについても使用する。

「問い合わせ信号」は、特定の解剖学的構造についての知識を得るために、第１及び第２のイメージングモダリティ又は装置が発する信号である。この信号は、適切な送信器又は発信源によって発せられ、組織と相互作用する。このような相互作用の後又はその間に、信号は検出器デバイスによって検出され、画像に処理される。画像は、解剖学的構造の詳細を明らかにすることができる。問い合わせ信号は、電磁波などの放射線の一形態であってよいが、超音波などの他の信号タイプも想定される。イメージング目的のための例示的な放射線ベースの問い合わせ信号には、Ｘ線、高周波パルス、ガンマ線、可視光又は赤外光などが含まれる。

「３Ｄ」、「２Ｄ」は、それぞれ空間的な３次元性、２次元性の省略表現である。

本発明の例示的な実施形態について、次の図面を参照しながら説明する。

図１は、イメージング装置の概略ブロック図を示す。 図２は、肺を含むヒト又は哺乳動物の呼吸器系の一部の矢状図を示す。 図３は、画像ボリュームの一部のレンダリング動作を示す。 図４は、画像処理のフローチャートを示す。 図５は、画像処理方法の中間及び最終結果を示す。 図６は、ヒトの肺の例示的なレンダリングを示す。 図７は、異なる材料についてのスペクトル吸収曲線を示す。

図１を参照すると、本明細書において、実施形態において想定されるイメージング装置ＩＡの概略ブロック図が示されている。

イメージング装置ＩＡは、特に、肺ＬＧ介入の画像ベース支援のために構成されている。このために、イメージング装置ＩＡは、好ましくは異なる２つのイメージングモダリティＩＡ１及びＩＡ２を含む。

イメージングモダリティのうちの１つ（ＩＡ１）は、本明細書では術前イメージングモダリティＩＡ１とも呼ばれ、ヒト又は動物患者ＰＡＴの好ましくはボリュメトリックＶＬ画像セットを取得する。ボリュメトリック画像ＶＬは、特に、具体的には肺ＬＧを含む関心領域ＲＯＩの表現を含む。本明細書において肺ＬＧを参照する場合、これは、左肺、右肺、又は両方のいずれかへの参照として解釈されるべきである。術前イメージャＩＡ１を用いたイメージングの前又はその間に、患者に造影剤が投与され得る。

第２のイメージングモダリティＩＡ２は、術中イメージングモダリティＩＡ２と呼ばれ、肺ＬＧ介入中に画像ＩＭ２を取得する。

一般に、イメージング装置は、ＶＡＴＳ又は同様の肺介入を支援するために構成されている。より具体的には、イメージング装置ＩＡは、介入中に肺をナビゲートして、特に、病変又は他の部分などの特定の肺部分を見つけるために、オペレータ（すなわち、介入を実施する者）を支援する。装置ＩＡは、特に、術前画像ＶＬ及び／又は介入中に得られた術中画像に基づいて、ナビゲーションを支援する。

一実施形態では、術前イメージャＩＡ１は、電離放射線を用いる透過イメージングのために構成されている。これの１つの特定の実施形態は、コーンビームＣＴ、ファンビーム、又は任意の他の変形を含むコンピュータ断層撮影イメージング（ＣＴ）である。代替実施形態では、透過イメージングの代わりに、ＰＥＴ（陽電子放出断層撮影）又はＳＰＥＣＴ（単一光子放出コンピュータ断層撮影）などの放出イメージングも想定される。しかしながら、ＭＲＩ（磁気共鳴イメージング）などの非電離放射線を用いるイメージングモダリティも想定される。

本明細書において、実施形態において主に想定されているＣＴでは、ボリュメトリック画像データＶＬは、患者ＰＡＴから取得された画像データ、特に投影画像から再構成される。投影画像は、Ｘ線源及び／又はＸ線検出器を、少なくとも関心領域、ここでの場合は、肺ＬＧの周りに回転させることによって回転方式で取得される。回転中に、複数の方向からＲＯＩの投影画像が取得される。これを行うために、Ｘ線源は、ＬＧがある患者の上部胴体の領域の周りに、必ずしも完全ではないが弧を描く。このために、通常、１８０°以下の円弧で十分である。次いで、フィルタ付き逆投影などの数学的再構成アルゴリズムを使用して、投影画像を検査領域内にあるスライス画像へと処理する。検査領域は、イメージング中に関心領域が置かれる空間の一部である。縦軸、すなわち、イメージング軸Ｚに沿って横方向に患者又はｘ線源を前進させることによって、投射画像の異なるセットが取得され、そこから異なる平面内の複数のスライス画像が再構成されて、ボリュメトリック画像データＶＬが形成される。患者の縦軸は、一般に、上記イメージング軸Ｚと整列している。本明細書では、画像ボリュームとも呼ばれるボリュメトリック画像データＶＬは、肺ＬＧの３Ｄ画像表現を含む。

イメージングボリュームＶＬの画像値は、ボクセルで体系化される。各ボクセルは、画像値と、検査領域内の点、したがって、患者ＰＡＴ内の点に対応する空間内の３Ｄ位置とによって規定される。各画像値は、イメージングモダリティで使用される問い合わせ信号との相互作用の様式をコード化する。ＣＴなどでは、問い合わせ信号は、患者を通過し、患者内の物質と相互作用した後に、検出器によって投影画像内で検出され、次いで上述のように処理されてボクセル値になるＸ線信号である。この場合、所与のボクセルにおける画像値は、問い合わせＸ線信号が減衰した量に関係する。他のイメージングモダリティでは、問い合わせ信号は異なり、画像値は他の相互作用原理を表す。例えば、ＭＲＩでは、問い合わせ信号は、無線周波数パルスから形成され、放出イメージングでは、問い合わせ信号は、患者の体内のトレーサ物質の減衰イベントから発するガンマ線から形成される。

次に、術中イメージングモダリティＩＡ２に簡単に参照すると、これは、具体的には内視鏡イメージングユニットとして想定される。これは、患者内に導入可能なプローブＰＲを含む。内視鏡イメージングユニットＩＡ２はさらに、プローブＰＲと有線又は無線接続で通信可能に結合された操作ユニットＯＵを含み得る。プローブＰＲは、肺ＬＧに到達するために、患者の胸部の好ましくは小さい切開を通して患者内に導入される。より具体的には、プローブＰＲは、肺がある胸腔内へと前進させられる（これについては以下の図２でより詳しく説明する）。次いで、内視鏡イメージングユニットは、患者の内部、特に肺ＬＧの画像を取得するために操作される。好ましくは、可視光線、赤外線（ＩＲ）、又は近赤外線（ＮＩＲ）などの非電離放射線が使用される。例えば、可視光などの光信号が、第２のイメージングモダリティＩＡ２の問い合わせ信号として使用される。光信号は、プローブによって放射され、肺組織と相互作用する。次に、光は少なくとも部分的に反射されて戻り、プローブ内の適切な光検出器デバイスによってプローブで記録される。光の一部は、組織に吸収される。また、光検出器デバイスは、プローブＰＲとは別個にかつ離れて配置されていてもよい。

次いで、検出器デバイスで検出された反射光信号は、好ましくはリアルタイムで表示デバイスＤＤ上に表示できる画像に処理されるように、操作ユニットＯＵ内の処理ユニットに転送される。このようにして、適切なサンプリング周波数で取得されるフレームのストリームが生成される。術中画像は、一般に、ＣＴ又は術前イメージングデバイスによって得られるボリュメトリック画像とは対照的に、３Ｄではなく、したがって、ピクセル値の２次元アレイに配置される。ここでも、各ピクセル値は（行ｘ及び列ｙによってアドレス指定可能である）イメージング平面内の対応する位置に配置される一方で、画像値は、可視光、ＩＲ、ＮＩＲなどの問い合わせ信号との相互作用の様式を記述する。特に、後方反射光の量が、それぞれの画像値として記録され、定量化される。

内視鏡ＩＡ２によって使用される光の特性（周波数など）に応じて、問い合わせ光は、肺組織内に侵入するために特定の侵入深さｄを有することが理解されるであろう。したがって、検出された光は、肺ＬＧの最表面Ｓの下のｄ単位深さに位置する構造情報も供給することができる。第２のイメージングモダリティＩＡ２は、内視鏡機器ではなく、超音波（ＵＳ）イメージャ又は他のイメージングモダリティとして構成されてもよいことが理解されるであろう。

イメージング装置ＩＡは、ハードウエア又はソフトウエアで実装可能な画像処理システムＩＰＳを含む。例えば、画像処理システムは、汎用コンピュータ、サーバ、又はマイクロコントローラなどの１つ以上のプロセッサＰＵ上で実行する。１つ以上のプロセッサＰＵは、術中イメージングモダリティＩＡ２及び／又は術前イメージングモダリティＩＡ１と通信可能に結合され得る。画像処理システムＩＰＳは、術前画像ＶＬ及び術中画像ＩＭ２の両方を処理する。一般に、かつ、本明細書で提案されるように、特定の例では、内視鏡ＩＡ２によって取得された術中画像ＩＭ２は、肺組織ＬＧの所与のビューに対応する。次いで、このビューは、マッチャＭによって、イメージングボリュームＶＬ、したがって、ボリュームＶＬによって表される肺の対応するビューにマッチングされる。

対応するビューは、レンダラＲＥＮによって計算される。具体的には、レンダラＲＥＮによってレンダリングされるビューが、術中イメージャＩＡ２によって提供されるビューに、３Ｄ空間において、対応する。このように計算されたビューＶＰは、好ましくは手術室に配置されている同じ表示ユニットＤＤの異なるペインで又は２つ以上の別個の表示デバイスＤＤに、好ましくは、術中画像ＩＭ２と一緒に表示される画像である。

イメージング装置ＩＡの動作、特に画像処理システムＩＰＳの動作をより詳細に説明する前に、まず、本明細書において使用される肺ＬＧの解剖学的構造のいくつかの特徴に関する図２Ａ及び図２Ｂを参照する。図２Ａは、ヒト又は動物の肺ＬＧを通る矢状面における断面図である。

肺ＬＧは、左肺ＬＬと右肺ＲＬとを含む。肺は呼吸器系の一部である。肺は、代謝によって発生した二酸化炭素が排出される一方で、血液に酸素が補給されて身体全体の様々な部位に供給されるガス交換の手段である。

呼吸器系は、特に、気管ＴＲを含み、これを通じて空気が引き込まれる。気管ＴＲは、右主気管支ＲＰＢと左主気管支ＬＰＢとに分岐する。主気管支分岐部の各々は、ガス交換が行われる空気袋又は肺胞ＡＬの細かい網目構造で終端する。ヒトの肺ＬＧは、裂線ＦＬによって構造化されている。ヒトの左肺ＬＬは、単一の裂線ＦＬによって２つの葉に構造化され、ヒトの右肺ＲＬは、２つの裂線ＦＬによって３つの葉に構造化される。肺ＬＲ、ＬＬは胸腔内に配置される。胸腔とは、胸膜、胸腔の上部を覆う膜、及びその下部にある横隔膜によって画定される空間である。通常、肺は、胸腔内の周囲圧力に対して、肺内部の空気によってわずかに加圧されるので、膨張状態にある。

それぞれの主分岐部枝ＲＰＢ、ＬＰＢが終端する左肺又は右肺内の肺胞ＡＬは、肺組織の特徴的な海綿状の質感を与える。各肺ＲＬ、ＬＬは、最外表面Ｓを含む。この最外表面Ｓは、原則として、本明細書において、実施形態において想定される観血的気管切開術を行うときに、オペレータによって触れることができる。肺胞ＡＬは、動脈や静脈を含む（血）管の細かい網目構造で包まれている。動脈は、酸素の豊富な血液を肺胞から身体の他の器官に運び、静脈は、酸素がなくなり二酸化炭素の豊富な血液を肺胞に供給してガス交換が達成される。気管ＴＲを通って引き込まれた空気は、肺胞によって形成される小さな空気囲い内で終わる。ガス交換は、肺胞の薄い皮膚を通って血管内、特に肺動脈や肺静脈の毛細血管内へ拡散することによって起こる。

肺胞の構造は、２次肺小葉と呼ばれる塊が出現するような構造である。このような小葉の各々は、腺房と呼ばれる肺胞の複数の下位の塊からなる。腺房の各々は、約５～１２個の肺胞を含み得る。このような２次肺小葉ＳＰＬの概略的断面を、図２Ｂの挿入拡大図に拡大して示す。各ＳＰＬは、肺静脈ＰＶと肺動脈ＰＡとによって栄養を受ける。腺房の各肺胞は、終末細気管支ＴＢの終枝である。ＳＰＬの全体的な形状は、小葉間中隔ＳＰと呼ばれる結合組織の壁によって描出される不規則な多面体の形状である。これらは肺静脈とリンパ成分とを含む。ＳＰＬは、すべての気道がガス交換に参加する最大の肺単位を形成する。ＳＰＬの全体的なサイズは、直径で約１～２．５ｃｍである。

中隔ＳＰの結合組織は、肺組織の外表面Ｓ上に部分的に（必ずしも六角形ではない）ハニカム構造を形成する。この不規則な形状の多角形の網目構造は、観血的気管切開術で肺ＬＧを見たときや、肺を身体から取り出したときに、肉眼で見ることができる。しかしながら、中隔は、実際には表面Ｓに表出せず、より深いところにあるが、上述のように、不規則形状の多角形の（ハニカム）網目構造を与えるように依然として可視である。

肺胞を覆う血管の網目構造は、十字パターン、特に肺の外表面Ｓにパターンを形成する。このパターンの表現に寄与する血管のいくつかは、外表面Ｓにわずかに表出して、それに部分的な浮き彫り構造を与えるように位置付けられる。

本発明者らは、中隔ＳＰＬによって与えられるパターン又は血管の網目構造パターン、特に両方のパターンが一緒になって、所与のビューに対して特徴的であることを観察した。したがって、これらのパターンのいずれか又は両方は、所与の空間方向からの肺ＬＧの所与のビューに対する視覚的特徴と考えることができる。パターンは、術中及び術前画像における適切な画像構造によって表現され得る。本明細書では、これらの特徴パターンを利用して、画像ボリュームＶＬの対応するビューＶ_ｐを見つけることが提案される。ボリュームＶＬのビューＶ_ｐは、レンダラＲＥＮによって見つけられ、レンダリングされる。ビューＶ_ｐは、術中イメージングモダリティＩＡ２によって供給される所与の光学画像ＩＡ２に対応する。以下では、ビューＶ_ｐを単に「画像Ｖ_ｐ」と呼び、ｐは、以下により詳細に説明されるレンダリングパラメータである。パターンは、特に、表在血管、すなわち、肺の外表面Ｓに十分に近くにあり、その上に浮き彫り構造を付ける血管によって形成され得る。

パターンは、内視鏡によって供給される光学画像によってだけでなく、約１００μｍの適切な寸法のスライス厚で取得されたＣＴスライス画像によっても捕捉できることが観察されている。特に、肺表面Ｓに近い血管は、肺の高解像度画像において明瞭に検出可能である。肺小葉間中隔自体は比較的薄い（約１００μｍの厚さ）ので、高解像度ＣＴで直接見ることはより難しい。コーンビームＣＴでは解像度が向上され、構造をより良く画定できる。

特に、血管及び／又は小葉中隔の観察されるパターンは、肺の変形下で実質的に位相的に不変であることが分かっているので、画像構造マッチングにおけるナビゲーション目的に適している。より具体的には、肺は、介入中、特にプローブＰＲの通過を可能にするために胸部が切開されるときに収縮することによって、大幅に変形する。

本明細書では、術中イメージングモダリティの問い合わせ信号が特定の侵入深さを有することを認識することによって、術中画像と術前画像との間の提案される画像ベースのマッチングのロバスト性が高められる。例示的な実施形態では、可視光、ＩＲ光、又はＮＩＲ光は、光の周波数に依存する特定の深さｄまで肺組織に侵入する。本明細書では、画像処理システムＩＰＳは、術中画像とマッチングされる画像ボリュームのビューをレンダリングする際に、この侵入深度ｄを考慮することが提案される。

レンダリングが、ボリュームＶＬ内のこの侵入深さに対応する層オブジェクトＬＯに限定されると、マッチングのロバスト性が高くなり、したがって、次の少なくとも２つの理由から、より優れたナビゲーションを提供することが見出されている。すなわち、第１に、レンダリングにおける画像コントラストが、重要な領域、すなわち、侵入深さの厚さを有する肺の層に集中する。そうではない場合、画像コントラストは、好ましくは非電離放射線ベースの術中イメージャＩＡ２ではいずれにしても見えない画像構造上で無駄に浪費され得る。第２に、組織侵入深さを認識することによって、最外層Ｓから離れているが、外表面Ｓから距離ｄにある侵入深さ層内に依然としてある構造が、術中イメージングモダリティによって供給される画像に依然として寄与するため、術中イメージングモダリティによって供給される画像をより十分に使用することができるため、画像マッチング動作のロバスト性が高くなる。マッチングは、表面に対応する画像構造だけでなく、表面Ｓからｄ単位深さの肺組織を表す構造も考慮するように拡張することができる。

さらに、レンダリング手順は、処理するボクセル、すなわち、層オブジェクトＬＯ（詳細は図３を参照）のボクセルが少なくて済むことから迅速化することができ、レンダリングを早く終えることができる。層Ｌを越えてボリューム内のより深くにあるボクセルを処理する必要はない。

引き続き図１のブロック図を参照すると、画像処理システムＩＰＳは、好ましくは画像処理によって、全ボリュームＶＬ内の層オブジェクトＬＯを画定する又は特定する層画定器ＬＤを含む。層オブジェクトＬＯ、すなわち、サブボリュームは、厚さｄの層Ｌ又は「シェル」の幾何学的構造を有する。位相幾何学的に言えば、かつ、概算で、厚さｄの画定された層オブジェクトＬＯは、３ＤボリュームＶＬ内に埋め込まれた中空の楕円体と考えられ得る。

層オブジェクトＬＯは、特にその外表面Ｓを含む肺組織ＬＧを表すが、表面Ｓから、術中イメージングモダリティＩＡ２の侵入深さによって与えられる距離ｄの深さに位置する肺構造の情報も表す。このようにして、中空ボリュームＶＬが肺の層オブジェクトＬＯとして形成される。

一般に、ＩＰＳの動作中、術中画像ＩＭ２及び術前画像ボリュームＶＬの少なくとも一部は、必ずしも同時にではないが、インターフェースＩＮで受信される。次に、層特定器ＬＤは、肺ＬＧの外層Ｓと、外層Ｓからｄ単位深度までの組織とに対応するボリュームＶＬ内の層オブジェクトＬＯをセグメンテーションなどによって特定する。術中画像ＩＭ２が与えられると、マッチャＭは、現在の術中画像ＩＭ２内の画像構造に対応する層オブジェクトＬＯのビューＶ_ｐを見つける。このマッチングは、一致が見つかるまで、以下に説明するレンダリングパラメータｐを変更することによって行われる。これについては、以下でより詳細に説明する。マッチャＭによってマッチングが試みられ、評価され、一致が見つかると、対応するビューＶ_ｐが、好ましくは現在の術中画像ＩＭ２と共に画像として出力される。２つの画像Ｖｐ、ＩＭ２の画像値が、１つ以上の表示デバイスＤＤ上での２つの画像Ｖ_ｐ、ＩＭ２の表示に適切に達成するグラフィックスドライバＤＶに転送される。

層画定器ＬＤの動作は、レンダラＲＥＮによるレンダリング段階よりも早い段階で行われてもよいことが理解されるであろう。画像処理システムＩＰＳは、分散環境に配置されていてもよく、具体的には、層画定器ＬＤが１つの計算ユニットＰＵによって実行される一方で、レンダリングは別の計算ユニットＰＵ’で行われる。構成要素、特に、レンダラＲＥＮ及び層画定器ＬＤが、例えば、クラウドアーキテクチャ内の異なる計算ユニット（例えば異なるサーバ又は他の計算ユニット）上で動作する場合、実施形態において、これらは、適切な無線又は有線ネットワークを介して適切な通信インターフェースを通じて依然として通信可能であることが想定される。

或いは、ＩＰＳのすべて又は実質的にすべての構成要素が統合され、同じ計算ユニット上で実行する。具体的には、層画定器ＬＤ及びレンダラＲＥＮの機能を単一の計算エンティティに融合してもよい。このような統合実施形態では、層画定器ＬＤの層画定動作は、レンダリング動作ＲＥＮ中に、すなわち、それと同時に行われてよい。層画定は、レンダリング動作と統合されてもよい、すなわち、レンダリング動作の一部を形成してもよい。

しかし、ここでも、或いは、２つの機能は、層画定器ＬＤの層画定動作がレンダリングよりも早く行われるように、時間的に分割されてもよい。層オブジェクトＬＯの画定は、バイナリマスクなどの適切なデータ構造としてレンダラＲＮに提供され得る。層画定器ＬＤの機能は、レンダラＲＥＮによるレンダリング段階の前の準備段階において実行されてよく、画定された層オブジェクトＬＯの仕様は、適切なデータベースに記憶され得る。記憶された層オブジェクトＬＯは、介入中にマッチング及びレンダリング動作が開始されると、すなわち、術中画像が入力部ＩＮにおいて受信されると、オンデマンドで取り出される。

レンダリング動作は、術中画像ＩＭ２のストリームが、画像プロセッサＩＰＳのインターフェースＩＮにおいて受信されている間に生じるオンライン動作としてリアルタイムで行われてもよい。レンダラＲＥＮによるレンダリングは、術中画像ＩＭ２のストリーム内の捕捉された新しいフレーム毎に動的に更新される。ゲートキーパユニット（図示せず）が、ユーザ定義可能な閾値を超える差が以前のフレームにあるかどうか、各フレームをチェックする。この差を定量化するために、２つの連続するフレームから差分画像が形成されてもよい。このような差がない場合、現在のレンダリングは、ＣＰＵ時間を節約するために維持される。レンダリングは、ゲートキーパが差は閾値を超えると判断した場合にのみ再計算される。

次に、レンダラＲＥＮの動作を示す図３を参照する。レンダリングは、概して、ボリュメトリックボリュームＶＬ内のボクセルが処理されて、ボリュームＶ_ｐが埋め込まれた仮想空間内の概念的カメラＣＭの空間位置ｐからのボリューム、特に、層オブジェクトＬＯのビューＶ_ｐに対応する、好ましくは平面の画像が生成される動作である。カメラ位置及び空間の両方は、計算ユニットＰＵのメモリに記憶されるデータとして表すことができる。レンダリング動作は、好ましくは、ＧＰＵ（グラフィカル処理ユニット）又はＴＰＵ（テンソル処理ユニット）などのマルチコアプロセッサによって行われる。カメラＣＭの位置ｐは、ボリュームＶの共通座標系ＣＳにおいて定義される位置ベクトルｐによって概略的に示される。

ビューＶ_ｐは、画像平面内の２Ｄ画像である。ビューＶ_ｐは、概念的カメラの位置ｐから幾何学的光線ｇｒ（図３では破線でのみ示されている）をボリュームＶＬを通って投じることによって計算される。次いで、所与の幾何学的光線ｇｒと交差するボクセルの値がサンプリングされ、伝達関数Ｔに従って処理されて、ピクセル位置ＰＸにおけるビューＶ_ｐの画像値を生成する。画像Ｖ_ｐの所望の大きさ及び画像面とカメラ位置ｐとの間の距離に応じて、すべての幾何学的光線を包含する画像コーンＩＣを画定することができる。このコーンは１対の収束する点線で概略的に示す。ビューＶ_ｐ内のピクセルＰＸを計算する際は、画像コーンＩＣと交差するボリューム内のボクセルのみが考慮される。コーンＩＣ内のすべての光線ｇｒについての画像値がビューＶ_ｐを形成する。

上述のように、伝達関数Ｔが、レンダリングにおいて、所与の幾何学的光線ｇｒと交差するボクセルを処理する。一実施形態では、伝達関数は、所与のボクセル値に、色又はグレー値及び透明度を割り当てる。これは、所与の光線ｇｒに沿ったすべてのボクセル値の加重和を形成することによって達成できるが、これは、形式的に次式：

のように書くことができる。ここで、Ｉはマスクの指標関数であり、λは透明度の重みであり、ｍ（）は色値又はグレー値マッピングである。

つまり、各ボクセル値Ｖｘｉに、ボクセル値の透明度を表す重みλを乗算する。言い換えれば、透明度λは、それぞれのボクセル値がビューＶ_ｐにおける最終画像点ＰＸに寄与する程度を定義する。本明細書では、ＭＩＰ、表面レンダリング、マーチングキューブアルゴリズムなどの異なるレンダリングスキームを実施するための広範囲の異なる伝達関数Ｔが想定される。肺ＬＧは、ボリューム内に矢状面断面で示されている。

上述したように、本明細書では、レンダリング動作を、厚さｄを有する上述の層ＬＯ内にあるボクセルに限定することが提案される。層オブジェクトＬＯ内のボクセルは、外表面に位置する肺組織、及び、表面Ｓからｄの深さまでの肺組織を表す。層オブジェクトＬＯの厚さｄは、使用される術中イメージング装置ＡＩ２の侵入深さに対応する。実施形態では、このイメージング装置は内視鏡であり、その侵入深さは、画像を生成するために使用される問い合わせ光の周波数及び強度によって定義される。

層オブジェクトＬＯの内部領域ＩＲにあるボクセルは、レンダリングにおいて実質的に無視され、したがって、特定のカメラ位置ｐを所与として、層オブジェクトＬＯの遠位側に位置する遠位ボクセルＶｘｄである。近位ボクセルＶｘｐの値だけがレンダリングに寄与する。遠位及び近位ボクセルの概念は、カメラ位置ｐによって変わることが理解されるであろう。言い換えれば、所与のカメラ位置に対して近位であるカメラ位置は、別のカメラ位置ｐ’に対して遠位ボクセルであり得る。ある部分は、カメラ位置を所与として、幾何学的交線がその部分を通過するために層オブジェクトＬＯに２回交差することを必要とする場合、「遠位」であると言うことができる。

層オブジェクトＬＯの外側にあるボクセル、及び、層オブジェクトＬＯの遠位部分にあるボクセルは、カメラ位置ｐを所与として、レンダリングにおいてすべて無視される。層オブジェクトの外側のボクセルは、非層ボクセルと呼ぶ。これらは、特に、層オブジェクトＬＯによって囲まれた内部領域ＩＲ内のボクセルを含む。層オブジェクトＬＯの遠位部分内の遠位ボクセル及び内部領域ＩＲ内のボクセルが確実に無視される１つのやり方は、それらの透明度を不透明に設定することである。これは、例えば、それぞれのボクセルに透明度係数λ＝０を乗算して、ビューＶ_ｐの平面内のピクセルＰＸへのそれらの寄与を実質的に排除することによって行われる。

しかし、これは慣例であり、遠位ボクセル及び内部領域ボクセルを排除するために他の数値スキームを使用してもよい。層オブジェクトＬＯ内のボクセルのアイデンティティは、上述の層画定器ＬＤによって実施可能な層画定動作によって予め定義されてもよい。これを行う１つのやり方は、バイナリマスクを定義することである。バイナリマスクは、それぞれのボクセル位置に０と１とを割り当てる、「０」（数値ゼロ）と「１」（数値ユニティ）とを含むデータ構造である。したがって、バイナリマスクはバイナリスカラー場である。１つのマスク実施形態では、レンダラは、マスクのエントリを伝達関数Ｔへの係数として含み、これによって、近位層オブジェクトＬＯの外側の不所望のボクセルを自動的に排除する。これらのエントリは、伝達関数式（１）に組み込まれた指標関数Ｉ（）の値として表される。

別の実施形態では、層オブジェクトＬＯは、所与のカメラ位置Ｐからレンダリングする前にプルーニングされる。この実施形態では、層オブジェクトの内部領域ＩＲ及び遠位部分は、単に破棄され、層オブジェクトＬＯの部分的な一部、すなわち、レンダリングされる画像コーンＩＣ内にある近位部分のみが残される。

さらに別の実施形態では、侵入深さが分かっているため、レンダリングは、各幾何学的光線に沿って（レンダリング長を決める）所与のボクセル数の後に終了する。レンダリング長は、既知の侵入深さ（ｍｍ、ｃｍなどの適切な長さ寸法で指定可能）及び画像の解像度、侵入深さｄに対応するボクセルの数から計算できる。層オブジェクトの外表面に垂直でない光線ｇｒについては、レンダリング長は、ｃｏｓ（α）（αは垂直入射からの偏差を測る角度）などの係数によって調整する必要がある。

上述のように非層ボクセルを完全に無視するのではなく、この実施形態のファジーバージョンも想定される。このファジー化された実施形態では、非層ボクセル及び／又は遠位部分ボクセルＶｘｄは、レンダラＲＥＮによって、「０」以外の少なくとも何らかの寄与が与えられるが、少なくとも層オブジェクトＬＯの近位ボクセルには、非層ボクセル及び／又は遠位部分ボクセルＶｘｄよりも高い寄与が与えられる。

層オブジェクトＬＯを画定するためのいくつかの異なる実施形態について、特に、図４のステップＳ４２０において以下でより詳細に説明し、図４を参照する。

特に、図４は、上述の画像処理システムＩＰＳの動作の基礎になる画像処理方法のフローチャートを示す。しかしながら、以下の方法ステップはまた、図１で上述した画像処理システムＩＰＳのアーキテクチャに必ずしも結びついていない独自の教示として理解されてもよいことが理解されるであろう。

ステップＳ４１０において、患者、特に患者ＰＡＴの肺ＬＧの術前ボリューム画像ＶＬを、内視鏡、超音波又は他の非電離放射線ベースのイメージングモダリティによって取得された術中画像ＩＭ２と共に受信する。術中画像及び術前画像は、必ずしも同時に受信及び処理されるわけではない。

まず、術前画像Ｖは、次のステップＳ４２０を参照して以下のように処理される。ステップS４２０では、特に、肺ＬＧの外表面及び外表面Ｓから離れてかつその下の最大ｄ長さ単位にあるさらなる肺組織を表す層オブジェクトＬＯがボリューム内に画定される。したがって、層オブジェクトＬＯは、ｄに対応する皮膚厚を有する。厚さｄは、内視鏡などの術中イメージングモダリティによって使用される放射線の侵入深さｄに対応する、すなわち、実質的に等しい。或いは、層オブジェクトＬＯの厚さは、侵入深さよりも小さくてもよい。層オブジェクトの外側のボクセル、すなわち、厚さｄ内に位置しないボクセルは、層オブジェクトの一部を形成しない。この意味で、層オブジェクトは、中空のシェル構造を有するボクセルサブボリュームとして概念化することができる。

ステップＳ４２０の一実施形態では、肺組織のサブボリュームへのセグメンテーションの様々な段階が行われ、そこから、要求された厚さｄを有する所望の肺オブジェクトＬＯを特定するマスク画像が導出される。術前イメージャＩＡ１の解像度は既知であり、また、適切な長さ寸法、すなわち、ｍｍ又はｃｍでの理論上の侵入深さも既知であるため、必要な厚さは、対応するボクセルシーケンスに容易に変換される。したがって、上記侵入深さは、物理的な長さ寸法ではなく、ボクセル数によって表すことができる。

これらのステップは、図５を併せて参照することにより、より容易に理解することができる。図５には、特定のサブステップにおいて、中間結果及び最終結果として現れる例示的な中間画像Ａ）～Ｆ）を示す。より詳細には、実施形態では、ステップＳ４２０は、以下のサブステップ１～５を含む。

サブステップ１において、ＣＴ画像内の肺Ｌのセグメンテーションを行い、肺オブジェクトが出力される。これは、ボクセル位置に「１」又は「０」を割り当てる肺マスクを作成することによって行うことができる。１つの慣例によると、「１」はボクセルが肺を表すことを示し、「０」は肺を表さないことを示す。他の慣例を代わりに使用してもよい。このマスクを「肺マスク」と呼ぶ。

サブステップ２において、肺マスクの画像モルフォロジエロ―ジョンを行い、不所望の胸郭壁などの非肺組織を表す可能性のある痕跡が除去される。

サブステップ３において、術中モダリティＩＡ２によって使用される術中問い合わせ信号（例えば、（可視）光、ＩＲ、ＮＩＲなど）の侵入深さｄに基づいて、２回目のモルフォロジエロ―ジョンを行い、サブステップ２で得られた肺マスクよりも小さい第２の肺マスクが生成される。

サブステップ４において、第２のマスクを第１のマスクから減算して、表面層マスク（層オブジェクト用のマスク）が得られる。この差分マスクは、術中イメージング信号に曝露されたときの肺の視覚的外観に寄与するボクセルを含む。

サブステップ５において、層オブジェクトＬＯ用の表面層マスクを使用して、視覚的外観に寄与する元のＣＴ画像のボクセルをマスクする。

図５Ａは、サブステップ１のセグメンテーションを示す。このセグメンテーションは、胸郭壁の残された部分を依然として含み得るが、これらは、図５Ｂに示すように、サブステップ２のオプションの後続のセグメンテーションによって除去される。サブステップ３のエロージョン又は「中空化」動作の後、シェル構造（部分図）結果を図５Ｃに示す。サブステップ４の結果を、図５Ｄに示す。図５Dでは、層オブジェクトＬＯが、取得された侵入深さＤにおいて出現する。最後に、最後のサブステップ５の後、層オブジェクトＬＯの一部を図５Ｅ及び５Ｆに示す。図５Ｅの白い部分と、図５Ｆの黒い部分及び白い部分とは、層オブジェクトＬＯの一部を形成しない非層ボクセルを表す。

サブステップ１～５に基づいた肺層オブジェクト画定のための第１の実施形態に加えて、又はその代わりに、本明細書では、ボリュームリフォーマット技法を使用するさらなる実施形態が想定される。より具体的には、標準的なフォーマッティングでは、ボリュームＶＬ内のスライス画像の平面はイメージング軸Ｚに対して垂直である。これは、リフォーマッティングアルゴリズムによって、軸Ｚとは異なる任意の所望の方向Ｚ´に対して垂直である異なる画像平面内にそれぞれある新しいスライス画像を生成するようにリフォーマットすることができる。さらに、スライス画像は必ずしも平面内にある必要はなく、対応する曲面内にあってもよい。したがって、ボリュームＶＬを通って任意のユーザ定義可能な法線方向（場合によってはＺとは異なる）に沿って伝播すると考えることができる一連の曲面が得られる。

この第２の実施形態では、最初のボリュームＶＬ内の曲面のこのようなリフォーマッティングが想定される。より詳細には、ステップＳ４２０の第２の実施形態は、特に、肺画定器ＬＤなどのハードウェア又はソフトウェア構成要素によって実施可能な以下のサブステップの一部又はすべてを含む。

第１のサブステップ１において、ここでも前と同様に、肺セグメンテーションが行われて、サブボリュームとして肺オブジェクトが得られる。

サブステップ２において、関心位置（病変、例えば、腫瘍など）のある近傍内の肺オブジェクトの表面上の点が特定される。球体などによって画定可能な近傍は、その球体の直径又は半径を調整することによってユーザによって画定可能である。実施形態では、表面上の点は、関心位置に最も近くてよい。

サブステップ３において、サブステップ２において特定された表面中心点の周りのある近傍（例えば、球体）に曲線状のリフォーマットされた画像ボリュームが生成される。これは、中心点における肺壁の法線ベクトルｎを採用し、次いで、法線ベクトルｎに垂直な直交方向ｕ及びｖに沿って湾曲して肺表面を辿ることによって達成することができる。次に、ｕ、ｖは２次元リフォーマットの各点が、肺オブジェクト表面の一部であるように曲線状のリフォーマット表面に及ぶ。したがって、リフォーマット平面内の各点（ｕ，ｖ）は、画像ボリューム内のデカルト点（ｘ，ｙ，ｚ）にマッピングすることができる。

ここで、曲線面が画定されたが、サブステップ４において、視覚的な侵入深さｄに達するまで、画像ボリューム内の法線方向ｎを有するサンプリング光線に沿って数ミリメートル、リフォーマット面内の各位置（ｕ，ｖ）についてボクセル値をサンプリングし得る。本明細書で使用される「サンプリング」とは、（ｘ，ｙ，ｚ）画像ボリュームグリッド内の最も近いボクセルの値を検索するか、又は最も近いボクセルの近傍からポイント値を補間する（例えば、トライリニア又は３次スプライン補間）プロセスを意味する。各サンプリング光線に沿ったすべての値は、単一の明るさ及び色に結合され（以下を参照）、これは、次に、曲線リフォーマットにおけるサンプリング光線の起点である位置（ｕ，ｖ）においてレンダリングされる。

ここで、層オブジェクトＬＯレンダリングのステップS４３０及びレンダリングされたビュー対術中画像のマッチングステップＳ４４０を参照すると、これらは同時に実行される。換言すれば、画定された肺オブジェクトＬＯのビュー又は術中画像Ｖ_ｐは、ステップＳ４１０で受信された現在の術中画像に一致する（Ｓ４４０）ように、ステップＳ４３０においてレンダリングされる。レンダリング動作Ｓ４３０の結果は、実施形態では、表在血管及び小葉間中隔のパターンを含む肺表面Ｓの仮想レンダリングである。このようにして、血管及び／又は中隔構造などの特徴を与えるパターンは、好ましくは均質な周囲色（赤色など）でレンダリングされる残りの肺組織の色コードに対して明瞭に際立つ色コードでレンダリングすることができる。したがって、血管及び中隔構造などのパターン付与構造は、中隔構造及び／又は血管以外の残りの組織を色コードする背景に少なくとも部分的に埋め込まれた別個の要素として現れ得る。

層オブジェクトＬＯのボリュームレンダリングにおいて、好ましくは、肺ＬＧに視覚的に一致する透明度及び色が使用される。例えば、可視光では、ボリューム内の暗いボクセルは赤みを帯びた肉色でレンダリングされる一方で、通常、血管に対応するボリューム内の明るいボクセルは、黒などの暗い色でレンダリングされる。レンダリングステップＳ４３０は、図３で上述したように行われる。非層ボクセルは無視されるので、レンダリングステップは、層ボクセル∈ＬＯと非層ボクセル

ＬＯとを区別することができる。非層ボクセルに加えて、図３で先に説明したように、カメラＣＭ位置ｐを所与として、層ＬＯの遠位部分内のボクセルも無視される。或いは、各ｐについて、相対的な遠位部分を除去するために、層は切断又はプルーニングされてもよい。次に、ｐが変わると、プルーニングされた部分がＬＯに戻され、新しい部分が遠位部分であり、今度は、この部分が除去され、以下同様にされる。代替実施形態では、非層ボクセル及び／又は遠位部分ボクセルを無視するのではなく、図３に関連して上述したように、このスキームのファジィ化も想定される。

レンダリングステップＳ４３０は、曲線リフォーマットをレンダリングすることを含んでもよい。レンダリングパラメータｐを、リフォーマットボリュームを再利用する間に、対話型時間で調整できる。上記の実施形態のいずれか１つでは、表面パターンに対する位置を示すために、異なる色で、適切な（ｕ，ｖ）位置において問題の腫瘍などの関心位置のオーバーレイのレンダリングを行ってもよい。

レンダリング中に、異なる組織が、選択されたスペクトル範囲において異なる可視性を有することが考慮され得る。

実施形態では、このレンダリングに追加の情報を追加することができる。この追加の情報には、計画された切断平面、病変の位置及び病変の範囲などの計画データが含まれ得る。手術の計画並びに腫瘍セグメンテーションは、元のＣＴ画像上で行われるので、このレンダリングの位置合わせは必要ない場合がある。

マッチング動作Ｓ４４０は、層オブジェクトＬＯを囲む概念的な円に沿って適切な増分で進みながら、この円に沿ってカメラ位置ｐを変化させることによって行われ得る。このようにして取得された各ビューＶ_ｐは次に、術中画像ＩＭ２と比較される。比較は、適切な類似性尺度に基づいていてよい。類似性尺度の実施形態は、必要に応じて、二乗され、合計され、場合によっては重み付けされ、及び／又は正規化されるピクセルごとの差などのユークリッドに基づくノルムに基づいていてよい。相互情報量、クロスエントロピー又は離散カルバック・ライブラー（Ｋｕｌｌｂａｃｋ‐Ｌｅｉｂｌｅｒ）ダイバージェンスなどのような確率ベースの情報理論尺度（特にエントロピーベース）などの他の類似性測定が本明細書に含まれる。

現在提供されている術中画像から、ユーザ定義可能又は固定閾値未満で逸脱するビューＶｐが見つかった場合、このビューは、ステップＳ４５０において出力され、好ましくは術中画像ＩＭ２と同時に表示される。ビューＶ_ｐ及び画像ＩＭ２は、単一の表示ユニットに表示されても、２つの表示ユニットにそれぞれ表示されてもよい。上述したように、最良のビューを見つけるために、カメラ画像位置ｐｊの離散的なセットをステップスルーして段階的に進むのではなく、上記はまた、パラメータｐに依存する目的関数に関して、上述したものを最適化問題として再定式化することもできる。次いで、目的関数は、目的関数を最適化（例えば最小化又は最大化）するように、任意の適切な最適化アルゴリズムによって最適化され得る。ビューパラメータは、特に、カメラＣＭの空間内の位置及び／又は画像コーンＩＣの幅を画定する。

目的関数Ｆ（・）は、特に、前述同様に、現在の術中画像ＩＭ２とパラメータ化されたビューとの差又は偏差を測定した距離尺度を含み得る。最適化問題は、形式的には次のように書くことができる：
ａｒｇｍｉｎ_ｐＦ（ｐ）＝ｄ（ＩＭ２，Ｖ_ｐ）＋Ｒｅｇ （２）

パラメータｐは、最適化される変数で、ｄ（，）は、距離尺度であり、Ｒｅｇ（）は、場合によってはｐ又はＩＭ２に依存するオプションの正則化項である。

マッチングは、特徴記述子（ＦＤ）ベースの表面特徴検出アルゴリズムによって行われてもよい。実施形態では、本明細書で想定されるＦＤベースのアルゴリズムは、ＳＩＦＴ（スケール不変特徴変換）、ＳＵＲＦ、又はその他のハフ変換ベースの変形例を含む。さらなる実施形態は、ＧＬＯＨ又はＨＯＧを含む。これらのＦＤベースのアルゴリズムの１つの利点は、特定の対応対を規定する必要がない点である。というのも、肺が膨張／収縮によって肺が術前段階と術中段階との間で強く変形する本コンテキストでは、特徴対のアプローチは失敗する可能性が高いからである。

ＦＤタイプのアルゴリズムの動作は、大まかに２ステップアプローチとして説明することができ、第１に、検出ステップがあり、第２に、特徴記述子抽出ステップがある。第１のステップにおいて、検出技術（例えば、ブロブ検出器）を使用して、関心となる可能性のある位置（本明細書では「候補位置」又は「候補点」と呼ぶ）の集合が検出される。次に、第２の（特徴抽出）ステップにおいて、画像内のこのように収集された候補位置の画像近傍（例えば、ｎ次元長方形又はｎ次元球、ｎ≧２）が分析される。この分析では、特定の画像値分布など関心の画像構造を捕捉する特徴記述子が構成される。特徴記述子は、好ましくは、回転及び／又はスケールのもとで不変である適切な大きさ（又は「強度」）で定量化可能である。次に、レンダリングされたビューＶ_ｐ及び現在の術中画像ＩＭ２からの特徴記述子を比較して、好ましくは可能な限り最良の一致を見つける。すべての候補位置の可能な限り最良の一致でさえ、ある残差（相違）が残っている。すべての一致のこれらの残差の合計は、単一のテストされたビューＶ_ｐについての目的関数Ｆ（）の値を与える。このマッチングプロセスは、最適ビューＶ_ｐを見つけるために、すべてのテストされたビューＶ_ｐに対して繰り返される。

提案する方法のマッチングにおいて、肺表面レンダリングＶ_ｐは、実質的に、２Ｄ内視鏡画像などの現在の術中画像にマッチングするようにワープされてもよい。最良のワーピングを決定するための１つの可能な実施形態は、上述したように、特徴点対を一致させることである。しかしながら、別の実施形態は、ＦＤベースの点対を全く用いることなく、むしろ、いわゆるノンパラメトリック２Ｄ画像レジストレーションを用いて動作することができる。２Ｄ画像レジストレーションは、２つの画像（Ｖ_ｐ及びＩＭ２）が可能な限り最高の、例えば相互情報量又はクロスエントロピーでオーバーレイされ得るように、滑らかな変位ベクトル場を決定する。次に、これを目的関数Ｆ（・）の値として使用する。最適なワーピングベクトル場は、滑らかさや最小曲げエネルギー（例えば、いわゆる薄板スプライン）などの特定の正則化境界条件下で決定される。したがって、提案されるマッチングでは、いくつかの現在の画像レジストレーションベースのアプローチで必要とされるような特徴点対を抽出する必要がない。

しかしながら、上記のように必ずしも自動的ではなく、手動又は半手動の他の実施形態も想定される。例えば、ユーザは単に、異なるビュー位置をスクロールして、現在示されている術中画像に最も良く適合するビューを調整する。この実施形態では、例えば、視聴者が、カメラ位置を変更し、例えば、現在のレンダリングが表示されているタッチスクリーン上で、回転などのジェスチャを実行するタッチスクリーンアクションによって、対応するレンダリングを達成する。代わりに、コンピュータマウスのようなポインタツールを用いて、オペレータによる暫定的な判断に基づいて最良の一致が見つかるまで、様々なレンダリングをトリガしてもよい。これらの手動又は半自動の実施形態は、マッチャＭを含むか、又はマッチャが依然として存在し、レンダリングされるべき最良のマッチングビューを見つけるためにユーザを操作することができる。マッチングが見つかったことを示すために、視覚的又は音声の指示が出されてもよい。例えば、デバイスＤＤ上に表示されるレンダリングＶ_ｐの境界部分が点滅するか又は色が変化して最良の一致を示す。或いは又はさらに、一致が見つかると「一致」などのテキストが表示されてもよい。

上述の実施形態のいずれか１つにおいて、計画データが、例えばＶＡＴＳ中に、術中画像及び／又はレンダリングされたビューＶ_ｐ上に自動的にオーバーレイされてもよい。介入中、ユーザ（例えば、外科医）は、レンダリングＶ_ｐと、好ましくは、術前計画段階からの追加の情報とにアクセスできる。次いで、ユーザは、心の中で、実際の肺上で直接見ることができる表面構造をレンダリングとマッチングさせること（「メンタルレジストレーション」）ができる。したがって、ユーザは計画に従って介入を行うことができる（例えば、計画された切断線に沿って切断する）。手術の計画データ、例えば、切断線を、術中画像上にオーバーレイすることができる。多くの場合、この２Ｄ表面情報は、楔状切除の場合のように、十分である。３Ｄ計画情報が必要である場合、肺収縮の生体力学モデルを、空間内の表面特徴の測定された位置に基づく肺の３Ｄマッチングのために使用することができる。

図６は、ステップＳ４２０の第１の実施形態によって得られる例示的なレンダリングＶ_ｐを示す。図からわかるように、表在血管構造が肺オブジェクトＬＯのレンダリングにおいてはっきりと見える。

すべての実施形態において、非層ボクセルは無視されるが、ユーザは、より深い肺の構造を要求するオプションを依然として有する。この場合、これらは、層オブジェクトのレンダリングと交互に、又はそれに加えて表示されてもよい。図６に例示的に示すような層オブジェクトＬＯレンダリングに加えて、さらなる解剖学的構造を示すこともできる。

内視鏡の実施形態において、可視スペクトルに敏感な検出器デバイスを使用するのではなく、スペクトルの他の部分の光を使用することができる。例えば、実施形態では、近赤外線（ＮＩＲ）が使用されるが、これは、組織におけるその侵入深さｄが可視光におけるそれよりも深いという利点を有するからである。したがって、ＮＩＲ画像は、追加の特徴を捕捉することができ、したがって、後のより良好な特徴マッチングにつながる。

コントラストを高めるために、例えば照明に狭帯域ＩＲのＬＥＤを使用することによって、（白色光の代わりに）狭帯域ＩＲ光を使用できる。

理想的には、使用される波長は、重要な構造の吸収極大と一致する。図７は、可視領域及びＮＩＲ領域における水及びヘモグロビンの吸収曲線を示す。明確な吸収ピークがあり、これを用いて、高いコントラストで血管を検出できる。酸素化型ヘモグロビン及び脱酸素化型ヘモグロビンの吸収曲線は異なるため、静脈と動脈とを識別することも可能である。このスペクトルイメージング能力を使用して、レンダリングＶ_ｐにおいて又は内視鏡画像ＩＭ２の視覚化において、静脈及び動脈に異なったコントラスト又は色を与えることができる。したがって、血管は、酸素化型及び脱酸素化型ヘモグロビンなど、イメージング中に存在する優勢な材料に基づいて、ビューＶ_ｐ及び／又は術中画像ＩＭ２において動脈と静脈とに分化される。

様々なさらなる改良及び追加の特徴も、実施形態において想定される。外科医／放射線科医は、術前画像ボリューム使用して、この画像内の病変又は他の関心の特徴を特定する又は突き止めることができる。

レンダリングＶ_ｐは、血管及び／又は中隔オブジェクトに加えて、リンパ節などのさらなる解剖学的特徴を含めることによって高められ得る。

外科医／放射線科医は、例えば、病変の縁や、楔状切除のための切断線を規定することにより、介入を計画できる。重要なランドマーク（病変、縁、切断線など）の位置は、特定された表面特徴に基づいて推定され得る（「メンタルレジストレーション」）。外科医の方向付けのためのヒント、例えば、病変の位置又は計画された切断線を、術中画像ＩＭ２上にグラフィック構成要素としてオーバーレイすることができ、これらの構成要素はレンダリングに含まれてもよい。

画像処理システムＩＰＳの構成要素は、単一のソフトウェアスイート内のソフトウェアモジュール又はルーチンとして実装され、イメージャＩＡ１又はＩＡ２に関連するワークステーションなどの汎用計算ユニットＰＵ、又はイメージャＩＡ１、ＩＡ２のグループに関連するサーバコンピュータ上で実行され得る。或いは、画像処理システムＩＰＳの構成要素は、分散アーキテクチャで配置され、適切な通信ネットワーク内で接続されてもよい。

或いは、いくつか又はすべての構成要素を、適切にプログラムされたＦＰＧＡ（フィールドプログラマブルゲートアレイ）などのハードウェア内に、又はハード配線されたＩＣチップとして配置してもよい。

本明細書で開示されるＩＰＳの１つ以上の特徴は、コンピュータ可読媒体内にコード化された回路として／それを用いて、及び／又はそれらの組合せとして構成又は実装され得る。回路は、ディスクリート及び／又は集積回路、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳＯＣ）、及びそれらの組合せ、機械、コンピュータシステム、プロセッサ及びメモリ、コンピュータプログラムを含み得る。

本発明の別の例示的な実施形態では、適切なシステム上で、前述の実施形態のうちの１つによる方法の方法ステップを実行するように構成されることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。

したがって、コンピュータプログラム要素は、本発明の実施形態の一部であり得るコンピュータユニットに格納されてもよい。この計算ユニットは、上述の方法のステップを実行し、又は該ステップの実行を誘導するように構成され得る。また、上述の装置の各構成要素を動作させるようにしてもよい。計算ユニットは、自動的に動作するように、及び／又はユーザの指令を実行するように構成されてもよい。コンピュータプログラムは、データプロセッサの作業メモリにロードすることができる。したがって、データプロセッサは、本発明の方法を実行するように装備できる。

本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって既存のプログラムを本発明を使用するプログラムに変えるコンピュータプログラムとの両方を対象とする。

さらに、コンピュータプログラム要素は、上述の方法の例示的な実施形態の手順を満たすために必要なすべてのステップを提供することができる。

本発明のさらなる例示的な実施形態によれば、ＣＤ‐ＲＯＭなどのコンピュータ可読媒体が提示される。コンピュータ可読媒体は、その上に格納されたコンピュータプログラム要素を有し、コンピュータプログラム要素は、前述の段落によって説明されている。

コンピュータプログラムは、他のハードウェアと共に又はその一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体（特に、必ずしもそうである必要はないが、非一時的媒体）上に記憶及び／又は配布することができるが、インターネット又は他の有線もしくは無線電気通信システムなどを介して他の形態で配布することもできる。

しかしながら、コンピュータプログラムはまた、ワールドワイドウェブのようなネットワークを介して提示されてもよく、このようなネットワークからデータプロセッサの作業メモリにダウンロードすることができる。本発明のさらなる例示的な実施形態によれば、ダウンロードのためにコンピュータプログラム要素を利用可能にするための媒体が提供され、このコンピュータプログラム要素は、本発明の前述の実施形態のうちの１つによる方法を行うように構成される。

本発明の実施形態は、異なる主題を参照して説明されていることに留意されたい。特に、方法タイプの請求項を参照して説明される実施形態もあれば、デバイスタイプの請求項を参照して説明される実施形態もある。しかしながら、当業者は、上記及び以下の説明から、別段の通知がない限り、１つのタイプの主題に属する特徴の任意の組合せに加えて、異なる主題に関する特徴間の任意の組合せも、本出願で開示されると考えられることを理解するであろう。しかしながら、すべての特徴を組み合わせて、特徴の単なる寄せ集め以上の相乗効果を提供できる。

本発明を、図面及び前述の説明において詳細に図示及び説明したが、このような図示及び説明は、例示的であり、限定的ではないと考えられるべきである。本発明は、開示された実施形態に限定されない。開示された実施形態に対する他の変形は、図面、開示及び従属請求項の精査から、特許請求されている発明を実施する際に当業者によって理解され、達成され得る。

特許請求の範囲において、「含む」という用語は、他の要素又はステップを排除するものではなく、単数形は、複数を排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に記載されるいくつかのアイテムの機能を果たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組合せを有利に使用することができないことを示すものではない。特許請求の範囲におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

Claims (17)

1. ｉ）第１のイメージングモダリティによって術前に取得された被検者の肺の画像データに基づく３次元（３Ｄ）画像ボリュームの少なくとも一部、及び、ｉｉ）手術中に第２のイメージングモダリティによって動的に取得された前記肺の第２の画像を受信する入力インターフェースと、
   前記第２のイメージングモダリティの問い合わせ信号の侵入深さに基づいて、層オブジェクトの厚さを画定することにより、前記３Ｄ画像ボリュームにおいて、肺血管又は中隔のうちの少なくとも１つを表す前記肺の表面上のパターンを含む前記層オブジェクトを画定し、
   前記層オブジェクトをレンダリングし、
   前記肺の前記第２の画像において、前記パターンを特定し、
   前記パターンに基づいて、前記肺の前記第２の画像を、レンダリングされた前記層オブジェクトのビューにマッチングし、
   マッチングした前記層オブジェクトのビューの視覚化を表示する、
   プロセッサと、
   を含む、画像ベースのナビゲーションのためのシステム。
2. 前記プロセッサは、前記層オブジェクトのレンダリングを、前記層オブジェクトの一部に限定するか、又は、前記プロセッサは、前記レンダリングビュー内のピクセルに、前記層オブジェクトの外側のボクセルよりも高い寄与を提供するために、前記層オブジェクト内のボクセルを設定する、請求項１に記載のシステム。
3. 前記プロセッサは、前記肺をサブボリュームにセグメンテーションし、前記層オブジェクトに対する画定された厚さに基づいて、前記サブボリュームからマスク画像を導出することによって、前記層オブジェクトを画定する、請求項１に記載のシステム。
4. 前記プロセッサは、ボリュームリフォーマット技法を使用して、前記層オブジェクトを画定する、請求項１に記載のシステム。
5. 前記プロセッサは、前記パターンが少なくとも部分的に埋め込まれている周囲とは異なる色値又はグレー値コード化を用いて、前記パターンをレンダリングする、請求項１に記載のシステム。
6. 前記プロセッサは、前記層オブジェクトの遠位部分を遮蔽するように前記レンダリングされた層オブジェクトの透明度を設定するか、又は、前記プロセッサは、前記遠位部分をレンダリングから除外するように前記層オブジェクトをプルーニングする、請求項１に記載のシステム。
7. 少なくとも１つの表示デバイス上に、前記レンダリングビュー及び前記第２の画像の前記視覚化の表示を達成する表示デバイスインターフェースをさらに含む、請求項１に記載のシステム。
8. 前記プロセッサは、前記肺のイメージング中に前記肺の対応する部分に存在する酸素化型ヘモグロビン又は脱酸素化型ヘモグロビンに基づいて、前記レンダリングビューの前記視覚化において静脈が動脈と区別されるように、前記層オブジェクトの血管を色値又はグレー値コード化する、請求項１に記載のシステム。
9. 前記第１のイメージングモダリティ、前記第２のイメージングモダリティ、又は少なくとも１つの表示デバイスのうちの少なくとも１つをさらに含む、請求項１に記載のシステム。
10. 入力インターフェースとプロセッサとを含む画像ベースのナビゲーションのためのシステムの作動方法であって、
    前記入力インターフェースが、ｉ）第１のイメージングモダリティによって術前に取得された画像データに基づく、被検者の肺の３Ｄ画像ボリュームの少なくとも一部、及び、ｉｉ）手術中に第２のイメージングモダリティによって動的に取得された前記肺の第２の画像を受信するステップと、
    前記プロセッサが、前記第２のイメージングモダリティの問い合わせ信号の侵入深さに基づいて、層オブジェクトの厚さを画定することにより、前記３Ｄ画像ボリュームにおいて、肺血管又は中隔を表す前記肺の表面上のパターンを含む前記層オブジェクトを画定するステップと、
    前記プロセッサが、前記層オブジェクトをレンダリングするステップと、
    前記プロセッサが、前記第２の画像において、前記パターンを特定するステップと、
    前記プロセッサが、前記パターンに基づいて、前記肺の前記第２の画像を、レンダリングされた前記層オブジェクトのビューにマッチングするステップと、
    前記プロセッサが、マッチングした前記層オブジェクトのビューの視覚化を表示するステップと、
    を含む、画像ベースのナビゲーションのためのシステムの作動方法。
11. 前記プロセッサが、前記層オブジェクトのレンダリングを、前記層オブジェクトの少なくとも一部に限定するステップ、又は、前記プロセッサが、前記レンダリングビュー内のピクセルに、前記層オブジェクトの外側のボクセルよりも高い寄与を提供するために、前記層オブジェクト内のボクセルを設定するステップをさらに含む、請求項１０に記載の方法。
12. 少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
    ｉ）第１のイメージングモダリティによって術前に取得された画像データに基づく被検者の肺の３Ｄ画像ボリュームの少なくとも一部、及び、ｉｉ）手術中に第２のイメージングモダリティによって動的に取得された前記肺の第２の画像を受信させ、
    前記３Ｄ画像ボリュームにおいて、前記第２のイメージングモダリティの問い合わせ信号の侵入深さに基づいて、層オブジェクトの厚さを画定させることにより、肺血管又は中隔のうちの少なくとも１つを表す前記肺の表面上のパターンを含む前記層オブジェクトを画定させ、
    前記層オブジェクトをレンダリングし、
    前記第２の画像において、前記パターンを特定させ、
    前記パターンに基づいて、前記肺の前記第２の画像を、レンダリングされた前記層オブジェクトのビューにマッチングさせ、
    マッチングした前記層オブジェクトの視覚化を表示させる、非一時的コンピュータ可読媒体。
13. 前記プロセッサが、前記肺をサブボリュームにセグメンテーションし、前記層オブジェクトに対する画定された厚さに基づいて、前記サブボリュームからマスク画像を導出することによって、前記層オブジェクトを画定するステップをさらに含む、請求項１０に記載の方法。
14. 前記プロセッサが、ボリュームリフォーマット技法を使用して、前記層オブジェクトを画定するステップをさらに含む、請求項１０に記載の方法。
15. 前記パターンが少なくとも部分的に埋め込まれている周囲とは異なる色値又はグレー値コード化を用いて、前記プロセッサが、前記パターンをレンダリングするステップをさらに含む、請求項１０に記載の方法。
16. 前記プロセッサが、前記層オブジェクトの遠位部分を遮蔽するように前記レンダリングされた層オブジェクトの透明度を設定するステップ、又は、前記プロセッサが、前記遠位部分をレンダリングから除外するように前記層オブジェクトをプルーニングするステップをさらに含む、請求項１０に記載の方法。
17. 前記肺のイメージング中に前記肺の対応する部分に存在する酸素化型ヘモグロビン又は脱酸素化型ヘモグロビンに基づいて、前記レンダリングビューの前記視覚化において静脈が動脈と区別されるように、前記プロセッサが、血管を色値又はグレー値コード化するステップをさらに含む、請求項１０に記載の方法。

Images