JP7679923B2 - 画像誘導処置を監視するためのグラフィカル・ユーザインターフェイス - Google Patents

Description

関連出願
本開示は、２０１７年４月１８日に出願された、“Graphical User Interface for Monitoring an Image-guided Procedure”という名称の米国仮特許出願６２／４８６，８７９に対する優先権を主張するものであり、この文献は、その全体が参照により本明細書に組み込まれる。

本開示は、医療処置を行うためのシステム及び方法に関し、より具体的には、グラフィカル・ユーザインターフェイスを使用して画像誘導処置を監視するためのシステム及び方法に関する。

低侵襲性医療技術は、医療処置中に損傷を受ける組織の量を減らすことにより、患者の回復時間、不快感、及び有害な副作用を低減させることを意図している。そのような低侵襲性技術は、患者の解剖学的構造の自然オリフィスを介して、或いは１つ又は複数の外科的切開部を介して行うことができる。これらの自然オリフィス又は切開部を介して、臨床医は、（手術用、診断用、治療用、又は生検用器具を含む）低侵襲性医療器具を挿入して、標的組織の位置に到達させることができる。そのような低侵襲性技術の１つは、解剖学的通路内に挿入し、且つ患者の解剖学的構造内の関心領域に向けてナビゲートされ得るカテーテル等の可撓性及び／又は操縦可能な細長い装置を使用することである。画像誘導処置中の医療従事者によるそのような細長い装置の制御は、少なくとも細長い装置の挿入及び引戻しの管理、並びにこの装置の操縦及び／又は曲げ半径の管理を含むいくつかの自由度の管理を伴う。さらに、異なる動作モードもサポートされている場合がある。

従って、低侵襲性医療技術中の使用に適した、操縦可能なカテーテル等の可撓性及び／又は操縦可能な細長い装置を含む医療器具の直感的な制御及び管理をサポートするグラフィカル・ユーザインターフェイスを提供することは有利となろう。

本発明の実施形態は、詳細な説明に続く特許請求の範囲によって最もよく要約される。

いくつかの実施形態によれば、解剖学的構造を表示する方法は、グラフィカル・ユーザインターフェイスを提供するステップと；解剖学的構造内の複数の通路の３Ｄ表現及び複数の通路内の標的位置へのルートを含む第１の解剖学的表現を受信するステップと；複数の通路のサブセットに基づいて縮小した解剖学的表現を生成するステップであって、複数の通路のサブセットは、ルートに直接的に接続されたパス通路（path passageway）を含む、生成するステップと；縮小した解剖学的表現を線形解剖学的表現として表示するステップと；を含むことができる。実装には、以下の特徴の１つ又は複数が含まれ得る。方法において、解剖学的構造は肺に対応し、解剖学的構造内の複数の通路は肺の気道に対応する。方法において、標的位置には、病変部、結節部、及び腫瘍部のうちの１つ又は複数が含まれる。方法において、パス通路の幅が、段階的間隔を有する垂直方向に間隔を空けたラインによって線形解剖学的表現で示される。方法において、より高い分岐世代を有するパス通路に対して、垂直方向に間隔を空けたラインの段階的間隔が階層化される。方法において、パス通路から外れた分岐部の位置が線形解剖学的表現に含まれる。方法において、分岐部の位置には、分岐部の完全な分岐構造を有さない、切り取られた分岐部が含まれる。この方法は、標的位置への代替ルートを表す代替ルートインジケータを表示するステップをさらに含む。この方法は、分岐部のうちの１つ又は複数が第２の標的位置につながるときに標的アイコンを表示するステップをさらに含む。この方法は、ルートの終了部から標的位置までの挿入軌跡を表示するステップをさらに含む。この方法は、ルートに関連する危険部を識別し、挿入軌跡に対して危険部の位置を表示するステップをさらに含む。方法において、危険部には、胸膜、血管、大きな水疱、及び心臓の１つ又は複数が含まれる。この方法は、ルートの通過中に器具に関連付けられたリアルタイムの位置情報を受信するステップと；リアルタイムの位置情報を縮小した解剖学的表現にマッピングするステップと；リアルタイムの位置情報を縮小した解剖学的表現とともに動的に表示するステップと；をさらに含む。方法において、リアルタイムの位置情報を動的に表示するステップは、異常が検出されたときに１つ又は複数のインジケータを表示するステップを含む。方法において、異常によって器具が誤った通路のその先に操縦されるときに、１つ又は複数のインジケータは方向転換誤りインジケータを含む。方法において、異常によって器具がルートの終了部を超えて駆動されるときに、１つ又は複数のインジケータは、逆転（reverse）インジケータを含む。方法において、異常によってきつい曲げ半径の器具が含まれるときに、１つ又は複数のインジケータは過度の曲げインジケータを含む。方法において、異常によってきつい曲げ半径の器具が含まれるときに、縮小した解剖学的モデルにおける器具の外観が変更される。

いくつかの実施形態によれば、医療装置は、可撓性本体を含む細長い装置、可撓性本体の少なくとも一部に沿って配置された追跡システム、及び追跡システムに通信可能に結合された１つ又は複数のプロセッサを含み得る。１つ又は複数のプロセッサは、解剖学的構造内の標的位置へのルートを受信し、第１の解剖学的表現に基づいてルートの１つ又は複数の特徴を決定し、ルートの１つ又は複数の特徴に基づいて縮小した解剖学的表現を生成し、追跡システムからリアルタイムの位置情報を受信し、リアルタイムの位置情報を縮小した解剖学的表現に関連付け、縮小した解剖学的表現を、関連付けられたリアルタイムの位置情報とともに動的に表示するように構成される。実装には、以下の特徴の１つ又は複数が含まれ得る。医療装置において、解剖学的構造は肺に対応し、第１の解剖学的表現は、肺の気道に対応する、解剖学的構造内の複数の通路を含む。医療装置において、縮小した解剖学的表現は線形解剖学的表現として表示される。医療装置において、ルートの１つ又は複数の特徴には、ルートに沿った分岐部の位置が含まれる。医療装置において、縮小した解剖学的表現における分岐部の位置には、分岐部の完全な分岐構造を有さない、切り取られた分岐部が含まれる。医療装置において、標的位置への代替ルートを表す代替ルートインジケータが表示される。医療装置において、１つ又は複数の分岐部が第２の標的位置につながるときに、標的アイコンが表示される。医療装置において、ルートの１つ又は複数の特徴には、ルートの終了部から標的位置までの挿入軌跡が含まれる。医療装置において、ルートの１つ又は複数の特徴には、ルートに関連する危険部が含まれる。医療装置において、リアルタイムの位置情報を動的に表示することは、異常が検出されたときに１つ又は複数のインジケータを表示することを含む。医療装置において、１つ又は複数のインジケータは、方向転換誤りインジケータ、逆転インジケータ、及び過度の曲げインジケータのうちの１つ又は複数を含む。

いくつかの実施形態によれば、解剖学的構造内の標的を表示する方法は、グラフィカル・ユーザインターフェイスを提供するステップと；グラフィカル・ユーザインターフェイスを介して解剖学的表現を受信するステップと；解剖学的表現に対する標的を決定するステップと；標的に関連する不確実性ゾーンを決定するステップと；解剖学的表現に対して標的を表示するステップと；を含むことができ、不確実性ゾーンは、標的を少なくとも部分的に囲むように表示される。実装には、以下の特徴の１つ又は複数が含まれ得る。方法において、解剖学的表現は解剖学的構造に位置合わせされ、不確実性ゾーンは、位置合せの不確実性に基づいて決定される。方法において、不確実性ゾーンは、標的の所定のサイズに基づいて決定される。方法において、不確実性ゾーンは、標的のアクセスのし易さ（accessibility）に基づいて決定される。この方法は、潜在的な危険部の位置を決定するステップをさらに含む。方法において、潜在的な危険部の位置が標的の位置に関連する。方法において、潜在的な危険部が標的に対して表示される。方法において、潜在的な危険部は、患者の肺内の胸膜、血管、及び大きな水疱のうちの１つ又は複数を含む。

いくつかの実施形態によれば、システムは、表示システム、ユーザ入力装置、及び動作を実行するように構成された１つ又は複数のプロセッサを含み得る。動作には、解剖学的表現を受信すること、ユーザ入力装置を介して解剖学的表現に関する標的に関連付けられたユーザ入力を受け取ること、標的に関連する不確実性ゾーンを決定すること、及び表示システムを介して解剖学的表現に対して標的を表示することが含まれ、不確実性ゾーンは、標的を少なくとも部分的に囲むように表示される。実装には、以下の特徴の１つ又は複数が含まれ得る。システムにおいて、解剖学的モデルは解剖学的構造に位置合わせされ、不確実性ゾーンは位置合せの不確実性に基づいて決定される。システムにおいて、不確実性ゾーンは、標的の所定のサイズに基づいて決定される。システムにおいて、不確実性ゾーンは、標的のアクセスのし易さに基づいて決定される。システムは、潜在的な危険部の位置を特定することをさらに含む。システムにおいて、潜在的な危険部の位置は標的の位置に関連する。システムにおいて、潜在的な危険部が標的に対して表示される。システムにおいて、潜在的な危険部には、患者の肺内の血管、大きな水疱、胸膜のうちの１つ又は複数が含まれる。

前述した一般的な説明と以下の詳細な説明との両方は、本質的に例示及び説明であり、本開示の範囲を限定することなく、本開示の理解を与えることを意図していることを理解されたい。その点に関して、本開示の追加の態様、特徴、及び利点は、以下の詳細な説明から当業者には明らかになろう。

特許又は出願ファイルは、カラーで作成された少なくとも１つの図面を含む。カラー図面を含むこの特許又は特許出願公開のコピーは、要求及び必要な料金の支払いに応じて、関係省庁によって提供される。
いくつかの実施形態による遠隔操作医療システムの概略図である。 いくつかの実施形態による医療器具システムの概略図である。 いくつかの実施形態による、拡張医療ツールを含む医療器具の概略図である。 いくつかの実施形態による、挿入アセンブリに取り付けられた医療器具を含む患者座標空間の側面図の概略図である。 いくつかの実施形態による、挿入アセンブリに取り付けられた医療器具を含む患者座標空間の側面図の概略図である。 いくつかの実施形態による、表示システム上に表示可能なグラフィカル・ユーザインターフェイスの概略図である。 いくつかの実施形態による、あるモードのグラフィカル・ユーザインターフェイスの概略図である。 いくつかの実施形態による、あるモードのグラフィカル・ユーザインターフェイスの概略図である。 いくつかの実施形態による、あるモードのグラフィカル・ユーザインターフェイスの概略図である。 いくつかの実施形態による、あるモードのグラフィカル・ユーザインターフェイスの概略図である。 いくつかの実施形態による、位置合せプロセス中の２つの異なる時点での動的な点群ビューの概略図である。 いくつかの実施形態による、位置合せプロセス中の２つの異なる時点での動的な点群ビューの概略図である。 いくつかの実施形態による、２つの異なる時点での動的な位置合せガイダンスビューの概略図である。 いくつかの実施形態による、２つの異なる時点での動的な位置合せガイダンスビューの概略図である。 いくつかの実施形態による駆動力インジケータの概略図である。 いくつかの実施形態による曲げインジケータの概略図である。 いくつかの実施形態によるグローバル解剖学的表現（例えば、モデル）の概略図である。 いくつかの実施形態による、３つの異なる時点での縮小した解剖学的表現（例えば、モデル）の概略図である。 いくつかの実施形態による、３つの異なる時点での縮小した解剖学的表現（例えば、モデル）の概略図である。 いくつかの実施形態による、３つの異なる時点での縮小した解剖学的表現（例えば、モデル）の概略図である。 いくつかの実施形態による、２つの異なる時点でのライブカメラフィードの概略図である。 いくつかの実施形態による、２つの異なる時点でのライブカメラフィードの概略図である。 いくつかの実施形態による、２つの異なる時点での仮想先端ビューの概略図である。 いくつかの実施形態による、２つの異なる時点での仮想先端ビューの概略図である。 いくつかの実施形態による、２つの異なる時点での仮想先端ビューの概略図である。 いくつかの実施形態による、２つの異なる時点での仮想先端ビューの概略図である。 いくつかの実施形態による、カテーテルが計画されたルートの終了部を超えて挿入されるシナリオ中の一連のビューの概略図である。 いくつかの実施形態による、あるモードでの遠隔画像ビューの概略図である。 いくつかの実施形態による、あるモードでの遠隔画像ビューの概略図である。 いくつかの実施形態による、あるモードでの遠隔画像ビューの概略図である。 いくつかの実施形態による、グラフィカル・ユーザインターフェイスを表示するための２画面ディスプレイの概略図である。 いくつかの実施形態による医療処置を監視する方法の概略図である。 いくつかの実施形態による、グラフィカル・ユーザインターフェイスを使用して医療処置を監視する方法の概略図である。 いくつかの実施形態による、グラフィカル・ユーザインターフェイスを使用して患者の解剖学的構造を表示する方法の概略図である。 いくつかの実施形態による、グラフィカル・ユーザインターフェイスを使用して患者の解剖学的構造内の標的を表示する方法の概略図である。

本開示の実施形態及びそれらの利点は、以下の詳細な説明を参照することにより最もよく理解される。１つ又は複数の図に示されている同様の要素を識別するために同様の参照符号が使用されており、その図中の表示は本開示の実施形態を例示する目的のためであり、本開示の実施形態を限定する目的のためではないことを理解されたい。

以下の説明では、本開示と一致するいくつかの実施形態を説明する特定の詳細が記載される。実施形態の完全な理解を与えるために多数の特定の詳細が記載される。しかしながら、いくつかの実施形態が、これらの特定の詳細の一部又は全てがなくても実施し得ることは当業者には明らかであろう。本明細書に開示される特定の実施形態は、例示的であり、限定的ではないことを意味する。当業者は、本明細書に具体的に記載されていないが、本開示の範囲及び精神内にある他の要素を理解し得る。さらに、不要な繰返しを避けるために、１つの実施形態に関連して図示及び説明した１つ又は複数の特徴は、特に明記されない限り、或いは１つ又は複数の特徴によって実施形態が機能しなくなる場合を除き、他の実施形態に組み込むことができる。

いくつかの例では、実施形態の態様を不必要に曖昧にしないように、周知の方法、手順、構成要素、及び回路について、詳細に説明していない。

本開示は、様々な器具及び器具の一部を、３次元空間におけるそれら器具及び器具の一部の状態に関して説明する。本明細書で使用される場合に、用語「位置」は、３次元空間（例えば、直交ｘ、ｙ、及びｚ座標に沿った３つの並進自由度）における物体又は物体の一部の位置を指す。本明細書で使用される場合に、用語「向き（orientation）」は、物体又は物体の一部の回転配置（３つの回転自由度、例えば、ロール、ピッチ、及びヨー）を指す。本明細書で使用される場合に、用語「姿勢（pose）」は、物体又は物体の一部の少なくとも１つの並進自由度における位置と、物体又は物体の一部の少なくとも１つの回転自由度における向きと（最大６つの自由度）を指す。本明細書で使用される場合に、用語「形状」は、物体に沿って測定された姿勢、位置、又は向きのセットを指す。

図１は、いくつかの実施形態による遠隔操作医療システム１００の概略図である。いくつかの実施形態では、遠隔操作医療システム１００は、例えば、手術処置、診断処置、治療処置、又は生検処置の使用に適し得る。図１に示されるように、医療システム１００は、一般に、患者Ｐに対して様々な処置を行う際に医療器具１０４を操作するための遠隔操作マニピュレータアセンブリ１０２を含む。遠隔操作マニピュレータアセンブリ１０２は、手術台Ｔに又はその近くに取り付けられる。マスターアセンブリ１０６によって、オペレータ（図１に示されるように、例えば、外科医、臨床医、又は医師Ｏ）が、介入部位を見て、遠隔操作マニピュレータアセンブリ１０２を制御することができる。

マスターアセンブリ１０６は、外科医コンソールに配置され得、外科医コンソールは、通常、患者Ｐが配置される手術台の側等の、手術台Ｔと同じ部屋に配置される。しかしながら、医師Ｏは、患者Ｐとは異なる部屋又は全く異なる建物に位置し得ることを理解されたい。マスターアセンブリ１０６は、一般に、遠隔操作マニピュレータアセンブリ１０２を制御するための１つ又は複数の制御装置を含む。制御装置は、ジョイスティック、トラックボール、データグローブ、トリガーガン、手動制御装置、音声認識装置、体動センサ又は存在検出センサ等の任意数の様々な入力装置を含み得る。器具１０４を直接的に制御しているという強い感覚を医師Ｏに与えるために、制御装置には、関連する医療器具１０４と同じ自由度を与えてもよい。このように、制御装置は、医師Ｏにテレプレゼンス、つまり制御装置が医療器具１０４と一体であるという知覚を与える。

いくつかの実施形態では、制御装置は、関連する医療器具１０４よりも多い又は少ない自由度を有してもよく、依然として医師Ｏにテレプレゼンスを与えることができる。いくつかの実施形態では、制御装置は、オプションで、６自由度で動く手動入力装置であり得、この入力装置は、器具を作動させるための（例えば、把持顎部を閉じるための、電極に電位を印加するための、治療を送達するため等の）作動可能なハンドルも含み得る。

遠隔操作マニピュレータアセンブリ１０２は、医療器具１０４を支持し、且つ１つ又は複数の非サーボ制御式リンク（例えば、手動で位置付けされ且つ所定位置に固定され得る１つ又は複数のリンク、一般にセットアップ構造と呼ばれる）の運動学的構造と、遠隔操作マニピュレータとを含み得る。遠隔操作マニピュレータアセンブリ１０２は、オプションで、制御システム（例えば、制御システム１１２）からのコマンドに応答して、医療器具１０４上の入力部を駆動させる複数のアクチュエータ又はモータを含み得る。アクチュエータは、オプションで、医療器具１０４に結合されたときに、医療器具１０４を自然に又は外科的に形成された解剖学的オリフィス内に前進させることができる駆動システムを含み得る。他の駆動システムは、医療器具１０４の先端部を多自由度で動かすことができ、この多自由度は、３自由度の直線運動（例えば、Ｘ、Ｙ、Ｚ座標軸に沿った直線運動）及び３自由度の回転運動（例えば、Ｘ、Ｙ、Ｚ座標軸周りの回転）を含み得る。さらに、これらのアクチュエータを使用して、生検装置等の顎部において組織を把持するために医療器具１０４の関節運動可能なエンドエフェクタを作動させることができる。レゾルバ（resolver）、エンコーダ、ポテンショメータ、及び他の機構等のアクチュエータ位置センサは、モータシャフトの回転及び向きを示すセンサデータを医療システム１００に提供することができる。この位置センサデータを使用して、アクチュエータによって操縦される物体の動きを決定することができる。

遠隔操作医療システム１００は、遠隔操作マニピュレータアセンブリ１０２の器具に関する情報を受信するための１つ又は複数のサブシステムを有するセンサシステム１０８を含み得る。このようなサブシステムは、位置／位置特定センサシステム（例えば、電磁（ＥＭ）センサシステム）；医療器具１０４を構成し得る可撓性本体に沿って先端部及び／又は１つ又は複数のセグメントの位置、向き、速さ、速度、姿勢、及び／又は形状を決定するための形状センサシステム；及び／又は医療器具１０４の先端部から画像を取り込むための視覚化システムを含むことができる。

遠隔操作医療システム１００は、センサシステム１０８のサブシステムによって生成された手術部位及び医療器具１０４の画像又は表現を表示させるための表示システム１１０も含む。表示システム１１０及びマスターアセンブリ１０６は、医師Ｏがテレプレゼンスの知覚を使用して医療器具１０４及びマスターアセンブリ１０６を制御することができるように、向き合わせされ得る。

いくつかの実施形態では、医療器具１０４は、視覚化システム（以下でさらに詳細に説明する）を含み得、この視覚化システムは、手術部位の同時又はリアルタイム画像を記録し、且つその画像を（表示システム１１０の１つ又は複数のディスプレイ等の）医療システム１００の１つ又は複数のディスプレイを介してオペレータ又は医師Ｏに提供する視野スコープアセンブリを含み得る。同時画像は、例えば、手術部位内に位置付けされた内視鏡によって取り込まれた２次元又は３次元画像とすることができる。いくつかの実施形態では、視覚化システムは、医療器具１０４に一体的に又は取り外し可能に結合され得る内視鏡要素を含む。しかしながら、いくつかの実施形態では、別個のマニピュレータアセンブリに取り付けられた別個の内視鏡を医療器具１０４と共に使用して、手術部位を撮像してもよい。視覚化システムは、（制御システム１１２のプロセッサを含み得る）１つ又は複数のコンピュータプロセッサと対話するか、そうでなければそのプロセッサによって実行されるハードウェア、ファームウェア、ソフトウェア、又はこれらの組合せとして実装することができる。

表示システム１１０は、視覚化システムによって取り込まれた手術部位及び医療器具の画像を表示することもできる。いくつかの例では、遠隔操作医療システム１００は、医療器具の相対位置が医師Ｏの目及び手の相対位置と同様になるように、医療器具１０４及びマスターアセンブリ１０６の制御を構成（configure：設定）し得る。このように、医師Ｏは、医療器具１０４及び手コントロールを、あたかも実質的に真の存在下で作業空間を見ているかのように操縦することができる。真の存在とは、画像の提示が、医療器具１０４を物理的に操縦している医師の視点をシミュレートする真の透視画像であることを意味する。

いくつかの例では、表示システム１１０は、コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像法（ＭＲＩ）、蛍光透視法、サーモグラフィ、超音波、光干渉断層法（ＯＣＴ）、サーマルイメージング、インピーダンスイメージング、レーザーイメージング、ナノチューブＸ線イメージング等の画像化技術からの画像データを使用して術前又は術中に記録された手術部位の画像を提示することができる。術前又は術中の画像データは、２次元、３次元、又は４次元（例えば、時間ベース又は速度ベースの情報を含む）画像として、及び／又は術前又は術中の画像データセットから作成された表現（例えば、モデル）からの画像として提示することができる。

いくつかの実施形態では、画像誘導医療処置の目的のために、大抵の場合、表示システム１１０は、医療器具１０４の実際の位置が表現（例えば、モデル）からの術前画像又は同時画像と位置合わせされる（すなわち、動的に参照される）仮想ナビゲーション画像を表示し得る。これは、医療器具１０４の視点から内部手術部位の仮想画像を医師Ｏに提示するために行われ得る。いくつかの例では、視点は、医療器具１０４のチップ（tip）からの視点であり得る。医療器具１０４のチップの画像及び／又は他のグラフィック又は英数字インジケータを仮想画像に重ね合わせて、医師Ｏが医療器具１０４を制御するのを補助することができる。いくつかの例では、医療器具１０４は仮想画像において見えないことがある。

いくつかの実施形態では、表示システム１１０は、医療器具１０４の実際の位置を術前画像又は同時画像と位置合わせして、外部の視点からの手術部位内の医療器具１０４の仮想画像を医師Ｏに提示する仮想ナビゲーション画像を表示し得る。医療器具１０４又は他のグラフィック又は英数字のインジケータの一部の画像を仮想画像に重ね合わせて、医療器具１０４の制御の際に医師Ｏを補助することができる。本明細書で説明するように、データ点の視覚的表現を表示システム１１０にレンダリングしてもよい。例えば、測定したデータ点、移動したデータ点、位置合わせしたデータ点、及び本明細書に記載の他のデータ点を、表示システム１１０上に視覚的表現で表示してもよい。データ点は、表示システム１１０上の複数の点又はドットによって、或いはデータ点のセットに基づいて作成されたメッシュ又はワイヤモデル等のレンダリング表現（例えば、モデル）として、ユーザインターフェイスに視覚的に表すことができる。いくつかの例では、データ点を、それらデータ点が表すデータに従って色分けしてもよい。いくつかの実施形態では、データ点を変更するために各処理動作を実施した後に、視覚的表現を表示システム１１０でリフレッシュすることができる。

遠隔操作医療システム１００は、制御システム１１２も含み得る。制御システム１１２は、医療器具１０４と、マスターアセンブリ１０６と、センサシステム１０８と、表示システム１１０との間の制御を行うための少なくとも１つのコンピュータプロセッサ（図示せず）及び少なくとも１つのメモリを含む。制御システム１１２は、表示システム１１０に情報を提供するための命令を含む、本明細書に開示される態様に従って説明される方法の一部又は全てを実施するためのプログラム命令（例えば、命令を記憶する非一時的な機械可読媒体）も含む。制御システム１１２が図１の概略図において単一のブロックとして示されているが、システムは、２つ以上のデータ処理回路を含み得、その処理の一部がオプションで遠隔操作マニピュレータアセンブリ１０２上又はその近傍で実行され、処理の別の部分がマスターアセンブリ１０６等で実行される。制御システム１１２のプロセッサは、本明細書に開示され且つ以下でより詳細に説明するプロセスに対応する指示を含む命令を実行することができる。多種多様な集中型又は分散型データ処理アーキテクチャのいずれも使用することができる。同様に、プログラム命令は、複数の別々のプログラム又はサブルーチンとして実装してもよく、或いはそれら命令は、本明細書に記載される遠隔操作システムの複数の他の態様に統合してもよい。一実施形態では、制御システム１１２は、ブルートゥース（登録商標）、ＩｒＤＡ、ホームＲＦ、ＩＥＥＥ８０２．１１、ＤＥＣＴ、及び無線テレメトリ等の無線通信プロトコルをサポートする。

いくつかの実施形態では、制御システム１１２は、医療器具１０４から力及び／又はトルクフィードバックを受信し得る。フィードバックに応答して、制御システム１１２は、マスターアセンブリ１０６に信号を送信し得る。いくつかの例では、制御システム１１２は、遠隔操作マニピュレータアセンブリ１０２の１つ又は複数のアクチュエータに命令する信号を送信して、医療器具１０４を動かすことができる。医療器具１０４は、患者Ｐの身体の開口部を介して患者Ｐの身体内の内部手術部位内に延びることができる。任意の適切な従来の及び／又は専用のアクチュエータを使用してもよい。いくつかの例では、１つ又は複数のアクチュエータは、遠隔操作マニピュレータアセンブリ１０２とは別個であるか、又は遠隔操作マニピュレータアセンブリ１０２と一体化され得る。いくつかの実施形態では、１つ又は複数のアクチュエータ及び遠隔操作マニピュレータアセンブリ１０２は、患者Ｐ及び手術台Ｔに隣接して位置付けされる遠隔操作カートの一部として設けられる。

制御システム１１２は、オプションで、画像誘導医療処置中に医療器具１０４を制御するときに、医師Ｏにナビゲーション支援を与えるための仮想視覚化システムをさらに含み得る。仮想視覚化システムを使用する仮想ナビゲーションは、解剖学的通路の取得した術前又は術中データセットへの参照に基づき得る。仮想視覚化システムは、コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像法（ＭＲＩ）、蛍光透視法、サーモグラフィ、超音波、光干渉断層法（ＯＣＴ）、サーマルイメージング、インピーダンスイメージング、レーザーイメージング、ナノチューブＸ線イメージング等の画像化技術を使用して画像化された手術部位の画像を処理する。手動入力と組み合わせて使用され得るソフトウェアを使用して、記録した画像を、部分的又は全体的な解剖学的器官又は解剖学的領域のセグメント化された２次元又は３次元の合成表現に変換する。画像データセットは合成表現に関連付けられる。合成表現及び画像データセットは、通路の様々な位置及び形状並びにそれらの接続性を示す。合成表現を生成するために使用される画像は、臨床診断中に、術前又は術中に記録してもよい。いくつかの実施形態では、仮想視覚化システムは、標準的表現（すなわち、患者固有ではない）又は標準的表現と患者固有のデータとのハイブリッドを使用してもよい。合成表現及びこの合成表現によって生成される任意の仮想画像は、１つ又は複数の運動段階中（例えば、肺の吸気／呼気サイクル中）の変形可能な解剖学的領域の静的姿勢を表すことができる。

仮想ナビゲーション手順の間に、センサシステム１０８を使用して、患者Ｐの解剖学的構造に対する医療器具１０４のおおよその位置を計算することができる。この位置を使用して、患者Ｐの解剖学的構造のマクロレベル（外部）追跡画像と患者Ｐの解剖学的構造の仮想内部画像との両方を生成することができる。このシステムは、手術前に記録した医療画像と共に医療器具を位置合わせ及び表示するために、１つ又は複数の電磁（ＥＭ）センサ、光ファイバーセンサ、及び／又は他のセンサを実装し得る。例えば、（２０１１年５月１３日に出願された）米国特許出願第１３／１０７，５６２号（“Medical System Providing Dynamic Registration of a Model of an
Anatomic Structure for Image-Guided Surgery”を開示する）がそのような１つのシステムを開示しており、この文献は、その全体が参照により本明細書に組み込まれる。遠隔操作医療システム１００は、照明システム、操縦制御システム、洗浄システム、及び／又は吸引システム等のオプションの操作及びサポートシステム（図示せず）をさらに含み得る。いくつかの実施形態では、遠隔操作医療システム１００は、２つ以上の遠隔操作マニピュレータアセンブリ及び／又は２つ以上のマスターアセンブリを含み得る。遠隔操作マニピュレータアセンブリの正確な数は、他の要因の中でも、医療処置及び手術室内の空間的制約に左右されるであろう。マスターアセンブリ１０６は、並置してもよく、又はそれらアセンブリは別々の位置に位置付けしてもよい。複数のマスターアセンブリによって、２人以上のオペレータが１つ又は複数の遠隔操作マニピュレータアセンブリを様々な組合せで制御するのを可能にする。

図２Ａは、いくつかの実施形態による医療器具システム２００の概略図である。いくつかの実施形態では、医療器具システム２００は、遠隔操作医療システム１００を使用して行われる画像誘導医療処置において医療器具１０４として使用され得る。いくつかの例では、医療器具システム２００は、非遠隔操作診査処置、又は内視鏡検査等の従来の手動操作式医療器具に関連する処置に使用され得る。オプションで、医療器具システム２００を使用して、患者Ｐ等の患者の解剖学的通路内の位置に対応するデータ点のセットを収集（すなわち、測定）することができる。

医療器具システム２００は、駆動ユニット２０４に結合された細長い装置２０２を含む。細長い装置２０２は、基端部２１７及び先端部又はチップ部分２１８を有する可撓性本体２１６を含む。いくつかの実施形態では、可撓性本体２１６は約３ｍｍの外径を有する。他の可撓性本体の外径は、これより大きくても小さくてもよい。

医療器具システム２００は、以下でさらに詳細に説明するように、１つ又は複数のセンサ及び／又は撮像装置を使用して、先端部２１８の可撓性本体２１６の及び／又は可撓性本体２１６に沿った１つ又は複数のセグメント２２４の位置、向き、速さ、速度、姿勢、及び／又は形状を決定する追跡システム２３０をさらに含む。先端部２１８と基端部２１７との間の可撓性本体２１６の全長は、複数のセグメント２２４に効果的に分割され得る。医療器具システム２００が遠隔操作医療システム１００の医療器具１０４と一致する場合に、追跡システム２３０は、センサシステム１０８の構成要素であってもよい。追跡システム２３０は、オプションで、（図１の制御システム１１２のプロセッサを含み得る）１つ又は複数のコンピュータプロセッサと対話するか、そうでなければそれらプロセッサによって実行されるハードウェア、ファームウェア、ソフトウェア、又はこれらの組合せとして実装することができる。

追跡システム２３０は、オプションで、形状センサ２２２を使用して先端部２１８及び／又は１つ又は複数のセグメント２２４を追跡することができる。形状センサ２２２は、オプションで、可撓性本体２１６と位置合わせされた（例えば、内部チャネル（図示せず）内に設けられる又は外部に取り付けられる）光ファイバーを含み得る。一実施形態では、光ファイバーは約２００μｍの直径を有する。他の実施形態では、寸法はこれより大きくても小さくてもよい。形状センサ２２２の光ファイバーは、可撓性本体２１６の形状を決定するための光ファイバー曲げセンサを形成する。一代替形態では、ファイバーブラッグ格子（ＦＢＧｓ）を含む光ファイバーを使用して、構造内の１次元以上の歪み測定値を得る。光ファイバーの形状及び相対位置を３次元で監視するための様々なシステム及び方法が、（２００５年７月１３日に出願された）米国特許出願第１１／１８０，３８９号（“Fiber optic position and shape sensing device and method relating
thereto”を開示する）；（２００４年７月１６日に出願された）米国特許出願第１２／０４７，０５６号（“Fiber-optic
shape and relative position sensing”を開示する）;（１９９８年６月１７日に出願された）米国特許第６，３８９，１８７号（“Optical Fibre Bend Sensor”を開示する）に記載されており、これら全ての文献は、その全体が参照により本明細書に組み込まれる。いくつかの実施形態におけるセンサは、レイリー散乱、ラマン散乱、ブリルアン散乱、及び蛍光散乱等の他の適切な歪み感知技術を使用することができる。いくつかの実施形態では、可撓性本体２１６の形状は他の技術を使用して決定してもよい。例えば、可撓性本体２１６の先端部の姿勢の履歴を使用して、その期間に亘った可撓性本体２１６の形状を再構成することができる。いくつかの実施形態では、追跡システム２３０は、オプションで及び／又は追加的に、位置センサシステム２２０を使用して先端部２１８を追跡し得る。位置センサシステム２２０は、外部で発生する電磁場に曝され得る１つ又は複数の導電コイルを含む、位置センサシステム２２０を有するＥＭセンサシステムの構成要素であり得る。次に、ＥＭセンサシステム２２０の各コイルは、外部で発生した電磁場に対するコイルの位置及び向きに依存する特性を有する誘導電気信号を生成する。いくつかの実施形態では、位置センサシステム２２０は、６つの自由度、例えば３つの位置座標Ｘ、Ｙ、Ｚ、及び基点のピッチ、ヨー、及びロールを示す３つの方位角（orientation angles）、又は５つの自由度、例えば３つの位置座標Ｘ、Ｙ、Ｚ、及び基点のピッチ及びヨーを示す２つの方位角を測定するように構成及び位置付けされ得る。位置センサシステムの更なる説明は、（１９９９年８月１１日に出願された）米国特許第６，３８０，７３２号（“Six-Degree of Freedom Tracking System Having a Passive Transponder
on the Object Being Tracked”を開示する）に提供されており、この文献は、その全体が参照により本明細書に組み込まれる。

いくつかの実施形態では、追跡システム２３０は、代替的に及び／又は追加的に、呼吸等の交互運動のサイクルに沿った器具システムの既知の点について記憶した過去の姿勢、位置、又は向きデータに依拠し得る。この記憶したデータを使用して、可撓性本体２１６に関する形状情報を具現化する（develop）ことができる。いくつかの例では、位置センサ２２０のセンサと同様の電磁（ＥＭ）センサ等の一連の位置センサ（図示せず）が、可撓性本体２１６に沿って位置付けされ、その後形状検知に使用され得る。いくつかの例では、特に解剖学的通路が略静的である場合に、処置中に取得したこれらのセンサのうちの１つ又は複数からのデータの履歴を使用して、細長い装置２０２の形状を表すことができる。

可撓性本体２１６は、医療器具２２６を受容するようにサイズ決め及び形状決めされたチャネル２２１を含む。図２Ｂは、いくつかの実施形態による伸張状態の医療器具２２６を含む可撓性本体２１６の概略図である。いくつかの実施形態では、医療器具２２６は、手術、生検、焼灼、照明、洗浄、又は吸引等の処置に使用され得る。医療器具２２６は、可撓性本体２１６のチャネル２２１を通して展開され、解剖学的構造内の標的位置で使用され得る。医療器具２２６は、例えば、画像取込みプローブ、生検器具、レーザー焼灼ファイバー、及び／又は他の手術用ツール、診断用ツール、又は治療用ツールを含み得る。医療用ツールは、メス、ブラント（blunt）ブレード、光ファイバー、電極等の単一の作業部材を有するエンドエフェクタを含み得る。他のエンドエフェクタは、例えば、鉗子、把持器、はさみ、クリップアプライヤ等を含み得る。他のエンドエフェクタは、電気外科用電極、トランスデューサ、センサ等の電気的に起動されるエンドエフェクタをさらに含み得る。様々な実施形態では、医療器具２２６は生検器具であり、この生検器具は、標的解剖学的構造の位置からサンプル組織又は細胞のサンプルを取り出すために使用され得る。医療器具２２６は、可撓性本体２１６内でも画像取込みプローブと共に使用することができる。様々な実施形態では、医療器具２２６は、可撓性本体２１６の先端部２１８に又はその近くに立体カメラ又はモノスコープカメラを有する先端部分を含む画像取込みプローブであり得、その画像取込みプローブは、先端部２１８及び／又は１つ又は複数のセグメント２２４の追跡をサポートするために追跡システム２３０に表示及び／又は提供される、視覚化システム２３１によって処理される画像（ビデオ画像を含む）を取り込む。画像取込みプローブは、取り込んだ画像データを送信するためにカメラに結合されるケーブルを含み得る。いくつかの例では、画像取込み器具は、可視化システム２３１に結合する、ファイバースコープ等の光ファイバー束であり得る。画像取込み器具は、例えば１つ又は複数の可視、赤外線、紫外線のスペクトルで画像データを取り込む、単一又はマルチスペクトルであり得る。あるいはまた、医療器具２２６自体が画像取込みプローブであり得る。医療器具２２６は、処置を行うためにチャネル２２１の開口部から前進させられ、次に処置が完了したときにチャネル内に引き戻され得る。医療器具２２６は、可撓性本体２１６の基端部２１７から、又は可撓性本体２１６に沿って別のオプションの器具ポート（図示せず）から取り外され得る。

医療器具２２６は、その基端部と先端部との間に延びて医療器具２２６の先端部を制御可能に曲げるケーブル、リンク機構、又は他の作動制御装置（図示せず）をさらに収容することができる。操縦可能な器具は、（２００５年１０月４日に出願された）米国特許第７，５１６，６８１号（“Articulated Surgical Instrument for Performing Minimally Invasive
Surgery with Enhanced Dexterity and Sensitivity”を開示する）及び（２００８年９月３０日に出願された）米国特許出願第１２／２８６，６４４号（“Passive Preload and Capstan Drive for Surgical Instrument”を開示する）に詳細に記載されており、これらの文献は、その全体が参照により本明細書に組み込まれる。

可撓性本体２１６は、駆動ユニット２０４と先端部２１８との間に延びて例えば先端部２１８の破線表示２１９によって示されるように先端部２１８を制御可能に曲げるケーブル、リンク機構、又は他の操縦制御装置（図示せず）を収容することもできる。いくつかの例では、少なくとも４本のケーブルを使用して、先端部２１８のピッチ運動を制御するための独立した「上下」操縦及び先端部２８１のヨー運動を制御するための「左右」操縦を提供する。操縦可能なカテーテルが、（２０１１年１０月１４日に出願された）米国特許出願第１３／２７４，２０８号（“Catheter with Removable Vision Probe”を開示する）に詳細に記載されており、この文献は、その全体が参照により本明細書に組み入れられる。医療器具システム２００が遠隔操作アセンブリによって作動される実施形態では、駆動ユニット２０４は、遠隔操作アセンブリのアクチュエータ等の駆動要素に取り外し可能に結合し、その駆動要素から動力を受け取る駆動入力部を含み得る。いくつかの実施形態では、医療器具システム２００は、医療器具システム２００の動きを手動で制御するための把持機構、手動アクチュエータ、又は他の構成要素を含み得る。細長い装置２０２は操縦可能であり得、あるいはまた、システムは、先端部２１８の曲げのオペレータ制御のための一体化機構を含まない非操縦型（non-steerable）であり得る。いくつかの例では、それを通して医療器具を標的の手術位置に展開して使用することができる１つ又は複数の管腔が、可撓性本体２１６の壁内に規定される。

いくつかの実施形態では、医療器具システム２００は、肺の検査、診断、生検、又は治療に使用するための、気管支鏡又は気管支カテーテル等の可撓性気管支用器具を含み得る。医療器具システム２００は、結腸、腸、腎臓及び腎杯、脳、心臓、血管系を含む循環系等を含む様々な解剖学系のいずれかにおいて、自然に又は外科的に形成された接続通路を介した他の組織のナビゲーション及び治療にも適している。

追跡システム２３０からの情報は、ナビゲーションシステム２３２に送られ、そこで視覚化システム２３１及び／又は術前に得られた表現（例えば、モデル）からの情報と組み合わされて、医師、臨床医、外科医、又は他のオペレータにリアルタイムの位置情報を提供することができる。いくつかの例では、リアルタイムの位置情報は、医療器具システム２００の制御に使用するために、図１の表示システム１１０に表示され得る。いくつかの例では、図１の制御システム１１６は、医療器具システム２００を位置付けするためのフィードバックとして位置情報を利用することができる。光ファイバーセンサを使用して手術用器具を手術用画像と位置合わせして表示するための様々なシステムが、（２０１１年５月１３日に出願された）米国特許出願第１３／１０７，５６２号（“Medical System Providing Dynamic Registration of a Model of an
Anatomic Structure for Image-Guided Surgery”を開示する）に提供されており、この文献は、その全体が参照により本明細書に組み込まれる。

いくつかの例では、医療器具システム２００は、図１の医療システム１００内で遠隔操作され得る。いくつかの実施形態では、図１の遠隔操作マニピュレータアセンブリ１０２は、直接的なオペレータ制御に替えることができる。いくつかの例では、直接的なオペレータ制御は、器具の手持ち式操作のための様々なハンドル及びオペレータインターフェイスを含み得る。

図３Ａ及び図３Ｂは、いくつかの実施形態による、挿入アセンブリに取り付けられた医療器具を含む患者座標空間の側面図の概略図である。図３Ａ及び図３Ｂに示されるように、手術環境３００には、プラットフォーム３０２上に位置付けされる患者Ｐが含まれる。患者の総体的な動きが鎮静作用、拘束、及び／又は他の手段によって制限されるという意味で、患者Ｐは手術環境内で静止し得る。患者が呼吸動作を一時的に中断するべく息を止めるように頼まれない限り、患者Ｐの呼吸及び心臓運動を含む周期的な解剖学的運動は継続し得る。従って、いくつかの実施形態では、データは、呼吸の特定の段階で収集され、その段階でタグ付けされ識別され得る。いくつかの実施形態では、データが収集される段階は、患者Ｐから収集された生理学的情報から推測され得る。手術環境３００内では、点収集器具（point gathering instrument）３０４が、器具キャリッジ３０６に結合される。いくつかの実施形態では、点収集器具３０４は、ＥＭセンサ、形状センサ、及び／又は他のセンサモダリティを使用することができる。器具キャリッジ３０６は、手術環境３００内に固定された挿入ステージ３０８に取り付けられる。あるいはまた、挿入ステージ３０８は、手術環境３００内で移動可能であるが（例えば、追跡センサ又は他の追跡装置を介して）既知の位置を有し得る。器具キャリッジ３０６は、遠隔操作マニピュレータアセンブリ（例えば、遠隔操作マニピュレータアセンブリ１０２）の構成要素であり、それは点収集器具３０４に結合して、挿入動作（すなわち、Ａ軸に沿った動作）及びオプションで細長い装置３１０の先端部３１８のヨー、ピッチ、及びロールを含む複数の方向の動作を制御する。器具キャリッジ３０６又は挿入ステージ３０８は、挿入ステージ３０８に沿った器具キャリッジ３０６の動きを制御するサーボモータ（図示せず）等のアクチュエータを含み得る。

細長い装置３１０は、器具本体３１２に結合される。器具本体３１２は、器具キャリッジ３０６に対して結合され固定される。いくつかの実施形態では、光ファイバー形状センサ３１４が、器具本体３１２上の基端点３１６に固定される。いくつかの実施形態では、光ファイバー形状センサ３１４の基端点３１６は器具本体３１２と共に移動可能であり得るが、基端点３１６の位置は（例えば、追跡センサ又は他の追跡装置によって）既知であり得る。形状センサ３１４は、基端点３１６から細長い装置３１０の先端部３１８等の別の点までの形状を測定する。点収集器具３０４は、医療器具システム２００と実質的に同様であり得る。

位置測定装置３２０は、器具本体３１２が挿入軸線Ａに沿って挿入ステージ３０８上を移動するときの器具本体３１２の位置に関する情報を提供する。位置測定装置３２０は、器具キャリッジ３０６の動き、従って器具本体３１２の動きを制御するアクチュエータの回転及び／又は向きを決定するレゾルバ、エンコーダ、ポテンショメータ、及び／又は他のセンサを含み得る。いくつかの実施形態では、挿入ステージ３０８は直線的である。いくつかの実施形態では、挿入ステージ３０８は、湾曲してもよく、又は湾曲部分と直線部分との組合せを有してもよい。

図３Ａは、挿入ステージ３０８に沿った後退位置にある器具本体３１２及び器具キャリッジ３０６を示す。この後退位置では、基端点３１６は軸線Ａ上の位置Ｌ０にある。挿入ステージ３０８に沿ったこの位置では、基端点３１６の位置のＡ成分は、ゼロ及び／又は別の基準値に設定されてベース基準を提供し、挿入ステージ３０８上の器具キャリッジ３０６の位置、従って基端点３１６を示し得る。器具本体３１２及び器具キャリッジ３０６のこの後退位置では、細長い装置３１０の先端部３１８は、患者Ｐの入口オリフィスの直ぐ内側に位置付けされ得る。この位置においても、位置測定装置３２０は、ゼロ及び／又は別の基準値（例えば、Ｉ＝０）に設定され得る。図３Ｂでは、器具本体３１２及び器具キャリッジ３０６は挿入ステージ３０８の直線軌道に沿って前進し、細長い装置３１０の先端部３１８は患者Ｐ内に前進している。この前進位置では、基端点３１６は軸線Ａ上の位置Ｌ１にある。いくつかの例では、挿入ステージ３０８に沿った器具キャリッジ３０６の動きを制御する１つ又は複数のアクチュエータ、及び／又は、器具キャリッジ３０６及び／又は挿入ステージ３０８に関連する１つ又は複数の位置センサからのエンコーダ及び／又は他の位置データを使用して、位置Ｌ０に対する基端点３１６の位置Ｌｘを決定する。いくつかの例では、位置Ｌｘは、細長い装置３１０の先端部３１８が患者Ｐの解剖学的構造の通路内に挿入される距離又は挿入深さのインジケータとしてさらに使用され得る。

例示的な用途において、医療器具システム２００等の医療器具システムは、肺生検処置で使用するためのロボットカテーテルシステムを含み得る。ロボットカテーテルシステムのカテーテルは、気道内の位置に送達される内視鏡、気管支内超音波（ＥＢＵＳ）プローブ、治療ツール、及び／又は生検ツール等のツールの導管を提供し、ここで気道には、病変部、結節部、腫瘍部等の、肺生検の１つ又は複数の標的が存在する。カテーテルが解剖学的構造を介して駆動されるときに、典型的に、外科医Ｏ等の臨床医がカテーテルの先端部のライブカメラフィード（live camera feed）を監視できるように、内視鏡が設置される。ライブカメラフィード及び／又は他のリアルタイムナビゲーション情報は、グラフィカル・ユーザインターフェイスを介して臨床医に表示され得る。

ロボットカテーテルシステムを使用して生検処置を行う前に、生検処置を計画するために術前計画ステップが実行され得る。術前計画ステップには、患者のＣＴスキャンをセグメント化して解剖学的構造の３次元表現（例えば、３Ｄモデル）を作成すること、３Ｄモデル内の標的を選択すること、モデル内の気道を決定すること、気道を拡張させて(growing)気道の接続ツリーを形成すること、及び接続ツリーを介した標的への経路を計画することが含まれ得る。これらのステップの１つ又は複数は、生検を行うために使用される同じロボットカテーテルシステムで、異なる医療器具システムで、及び／又は術前計画専用のワークステーション等のスタンドアロンプロセッサ等で実行してもよい。生検処置の計画は、（例えば、１つ又は複数のデジタルファイルとして）保存され、生検処置を行うために使用されるロボットカテーテルシステムに転送され得る。保存された計画には、３Ｄモデル、気道の識別、標的位置、標的位置への経路等が含まれ得る。術前計画ステップをサポートするグラフィカル・ユーザインターフェイスの例は、同時出願の米国仮特許出願（代理人整理番号ISRG10600PROV/US/70228.613PV01）に記載されており、この文献は、参照により本明細書に組み込まれる。

計画がロボットカテーテルシステムに転送されるとき、解剖学的構造の３Ｄモデルが実際の患者の解剖学的構造及び／又は患者の解剖学的構造内のカテーテルに位置合わせされる。その結果、カテーテルのリアルタイムの位置及び向きを、３Ｄモデルに投影し、且つグラフィカル・ユーザインターフェイスを介して表示することができる。その後、臨床医は、グラフィカル・ユーザインターフェイスでナビゲーションの進捗状況を監視しながら、解剖学的構造を介してカテーテルの駆動を進めることができる。例えば、臨床医は、保存された計画内の所定の経路に沿ってカテーテルを駆動して、標的位置にナビゲートし、及び／又は標的位置で生検を行うことができる。

上述した肺生検処置を含むがこれに限定されない医療処置を監視するためのグラフィカル・ユーザインターフェイスの例示的な実施形態を以下に提供する。グラフィカル・ユーザインターフェイスには、解剖学的構造への３Ｄモデルの位置合せを監視するために使用される位置合せモード、解剖学的構造内の標的位置への医療器具のナビゲーションを監視するために使用されるナビゲーションモード、及び標的位置での介入ステップのパフォーマンス（performance）を監視するために使用されるパフォーマンスモードが含まれ得る。グラフィカル・ユーザインターフェイスのいくつかの態様は、２０１６年６月３０日に出願された、“Graphical User Interface for Displaying Guidance Information During
and Image-Guided Procedure”という名称の米国仮特許出願６２／３５７，２１７号、及び２０１７年６月３０日に出願された、“Graphical User Interface for Displaying Guidance Information in a
Plurality of Modes During and Image-Guided Procedure”という名称の米国仮特許出願６２／３５７，２５８号に記載される特徴と同様であり、これらの文献は、その全体が参照により本明細書に組み込まれる。

図４は、いくつかの実施形態による、表示システム１１０等の表示システム上に表示可能なグラフィカル・ユーザインターフェイス４００の概略図である。グラフィカル・ユーザインターフェイス４００は、外科医Ｏ等の臨床医が見ることができる１つ又は複数のビュー（views）において医療処置に関連する情報を表示する。ビューの例示的な配置が図４に示されているが、グラフィカル・ユーザインターフェイス４００は、任意の適切な配置で及び／又は任意の適切な数の画面に、任意の適切な数のビューを表示できることを理解されたい。いくつかの例では、同時に表示されるビューの数は、ビューを開くこと及び閉じること、ビューの最小化及び最大化、グラフィカル・ユーザインターフェイス４００の前景と背景との間のビューの移動、画面同士の間の切替え、及び／又は他にビューを完全に又は部分的に覆い隠すことによって変更され得る。同様に、ビューの配置（サイズ、形状、向き、順序（重なり合うビューの場合）等）は、変更され得るか、及び／又はユーザ設定可能であり得る。

いくつかの例では、グラフィカル・ユーザインターフェイス４００に表示されるビューは、関連する情報への迅速なアクセスを容易にするために体系化されたスキームで配置され得る。図４は、そのような１つの体系化スキームの例示的な例を示しているが、他の多くの体系化スキームが可能である。図４に示されるように、グラフィカル・ユーザインターフェイス４００は、１つ又は複数のグローバル（global：全体的な）ビュー４１０を表示する上部と、１つ又は複数のコンパクト（compact）ビュー４２０を表示する中間部と、１つ又は複数のローカル（local）ビュー４３０を表示する下部とを含む。グローバルビュー４１０は、一般に、医療処置の現在の状態の詳細な画像を臨床医に提供する医療処置の全体的な態様を表示する。コンパクトビュー４２０は、一般に、臨床医による迅速な理解を容易にするために、簡略化され整頓されたフォーマットで医療処置に関する縮小した情報のセットを表示する。ローカルビュー４３０は、一般に、医療器具によってリアルタイムで行われる動き及び／又は介入ステップを監視する医療処置の局所的な態様を表示する。グローバルビュー、コンパクトビュー、及びローカルビュー４１０～４３０の例については、図５Ａ～図５Ｄを参照して以下でより詳細に議論する。

いくつかの例では、グローバルビュー、コンパクトビュー、及びローカルビュー４１０～４３０は、図４に示されるもの以外の様々な構成で配置され得る。例えば、グラフィカル・ユーザインターフェイス４００は、グローバルビュー４１０が左側に位置付けされ、コンパクトビュー４２０が中央に上下方向に向き合わせられ、ローカルビュー４３０が右側に位置付けされる一望（landscape）レイアウトを有することができる。いくつかの例では、図４に示されるように、グローバルビュー、コンパクトビュー、及びローカルビュー４１０～４３０をグラフィカル・ユーザインターフェイス４００全体に拡げてもよく、それによってグラフィカル・ユーザインターフェイス４００を専用領域に分割できなくなる。いくつかの例では、グラフィカル・ユーザインターフェイス４００は、図４に示されたものに加えて、様々なビュー、コントロール、インジケータ等を含み得る。例えば、グラフィカル・ユーザインターフェイス４００は、ヘッダー、フッター、１つ又は複数のサイドバー、メッセージバー、ポップアップウィンドウ、背景、オーバーレイ等を含み得る。

グラフィカル・ユーザインターフェイス４００は、医療処置の様々な段階で異なるモードで操作され得る。いくつかの例では、体系化スキームは、グラフィカル・ユーザインターフェイス４００のモードに基づいて変化し得る。各モードでは、医療処置の現在の段階で利用可能な及び／又は関連する情報を伝えるためにビューの配置を選択することができる。いくつかの例では、モードは、以下で議論するように、位置合せモード、ナビゲーションモード、及び／又はパフォーマンスモードを含み得る。いくつかの例では、単一のモードとして動作するように、様々なモードが互いに重複し、及び／又は互いにシームレスに移行することができる。例えば、ナビゲーションモード及びパフォーマンスモードは、これらモードが単一のハイブリッド型ナビゲーション及びパフォーマンスモードと見なされるようにシームレスに移行することができる。

図５Ａ～５Ｄは、いくつかの実施形態による、複数のモードのグラフィカル・ユーザインターフェイス５００の概略図である。図４と一致するいくつかの実施形態によれば、グラフィカル・ユーザインターフェイス５００は、グラフィカル・ユーザインターフェイス４００に対応し得る。従って、グラフィカル・ユーザインターフェイス５００は、外科医Ｏ等の臨床医が見ることができる１つ又は複数のビューにおいて医療処置に関連する情報を表示する。いくつかの例では、グラフィカル・ユーザインターフェイス５００、及び／又は、グローバルビュー５１０、コンパクトビュー５２０、及びローカルビュー５３０内の選択ウィンドウ又はビューをタッチスクリーン等のＩ／Ｏ装置上に表示して、グラフィカル・ユーザインターフェイスを制御及び／又は設定するためのユーザ入力を受け取ることができる。例えば、ユーザ入力により、臨床医が、配置、ズーム、視点、回転、配色、及び／又はグラフィカル・ユーザインターフェイス５００の構成及び／又は外観の他の態様を制御することができる。いくつかの例では、ユーザ入力は、スタンドアロン型制御コンソール等の別の入力装置を介して受け取られる場合がある。いくつかの例では、グラフィカル・ユーザインターフェイス５００がユーザによって設定可能でない場合等に、ユーザ入力装置を省略してもよい。

図５Ａは、位置合せモードのグラフィカル・ユーザインターフェイス５００を示す。位置合せモードは、医療処置の開始時に解剖学的構造への３Ｄモデルの位置合せを監視及び支援するために使用される。例示的な位置合せプロセスにおいて、臨床医は、位置特定センサ（例えば、形状センサ、電磁（ＥＭ）センサ等）を含むカテーテル等の器具を解剖学的構造の様々な部分に駆動して、位置合せデータを収集する。例えば、解剖学的構造が肺に対応する場合に、臨床医は、カテーテルを、右中葉、左中葉、主気管支幹等に対応する肺の部分に駆動させることができる。形状センサ２２２等の位置特定センサを使用して、カテーテルが解剖学的構造の様々な部分に駆動される際に、センサ基準フレーム内のカテーテルの位置及び向きを規定する一連の点を決定する。一連の点は、追加的に又は代替的に、例えば、挿入、仰角、及び／又はセットアップ関節軸線のエンコーダ位置を使用して、ロボットセンサフレームに参照され得る。一連の点は、反復最近傍点（ＩＣＰ）アルゴリズム及び／又は他の類似のアルゴリズム等の位置合せ手法を使用して３Ｄモデルに位置合わせされる点群（point cloud）を形成する。いくつかの実施形態では、位置合せの精度を促進及び／又は向上させるためにカテーテルをどこに駆動するかに関するガイダンス情報を臨床医に提供することができる。

従って、位置合せモードのグラフィカル・ユーザインターフェイス５００は、位置合せプロセスの監視を容易にする１つ又は複数のビューを示すことができる。いくつかの例では、グラフィカル・ユーザインターフェイス５００は、グローバルビュー４１０に対応する１つ又は複数のグローバルビュー５１０を表示することができる。図５Ａに示されるように、位置合せモードのグローバルビュー５１０は、それぞれ正面視点及び側面視点からの一対の動的な点群ビュー５１１及び５１２を含む。ユーザ設定可能な視点及び／又は臨床医がリアルタイムで調整可能な（例えば、ズーム、回転、外観等を調整するためのコントロールを使用する）視点を含む他の視点を使用できることを理解されたい。動的な点群ビュー５１１及び５１２は、点群の３次元表現を表示し、且つ点群にさらに点が追加される際に継続的に更新される。いくつかの例では、点群が合理的な精度で解剖学的構造に表現を位置合わせするのに十分な量のデータを含む場合に、点群の３次元表現は、動的な点群ビュー５１１及び５１２でレンダリングされ得る。動的な点群ビューの例については、図６Ａ～図６Ｂを参照して以下でより詳細に議論する。

いくつかの例では、位置合せモードのグラフィカル・ユーザインターフェイス５００は、コンパクトビュー４２０に対応するコンパクトビューを表示しない場合がある。特に、コンパクトビュー４２０の１つ又は複数の部分は、位置合せが完了するまで利用できない場合がある。代わりに、位置合せモードのグラフィカル・ユーザインターフェイス５００は、ステータス情報５２１を表示してもよい。図５Ａに示されるように、ステータス情報５２１は、「気道情報を構築している」というメッセージ及び待機アイコンを含む。

いくつかの例では、位置合せモードのグラフィカル・ユーザインターフェイス５００は、ローカルビュー４１０に対応する１つ又は複数のローカルビュー５３０を表示することができる。図５Ａに示されるように、ローカルビュー５３０は、ライブカメラフィード５３１及び動的な位置合せガイダンスビュー５３２を含む。ライブカメラフィード５３１は、医療器具の先端部に位置付けされた内視鏡から受信したリアルタイム画像を表示する。動的な位置合せガイダンスビューの例については、図７Ａ～図７Ｂを参照して以下でさらに詳細に議論する。ライブカメラフィードの例については、図１２Ａ～図１２Ｂを参照して以下でさらに詳細に議論する。

図５Ａに示されるように、グラフィカル・ユーザインターフェイス５００は、ヘッダー５４１及びメッセージバー５４２をさらに含む。ヘッダー５４１は、タイトル（例えば、「気道位置合せの実行」）及び患者情報を表示する。いくつかの例では、ヘッダー５４１は、グラフィカル・ユーザインターフェイス５００のモード同士の間を移行するためのモード移行ボタンを含み得る。メッセージバー５４２は、処置の次のステップの臨床医に知らせるために使用され得る１つ又は複数のメッセージ（例えば、「コントローラ画面で位置合せを確認して標的へのナビゲートを開始する」）を表示し、臨床医にリマインダー（例えば、「位置合せ中に息止めタイマーを使用する」）を送信し、臨床医に危険部を警告等する。いくつかの実施形態では、メッセージバー５４２の外観（例えば、色、サイズ、質感、フォント等）は、メッセージのタイプに応じて変化し得る。例えば、警告メッセージが赤で表示され得る。表示するメッセージがない場合に、メッセージバー５４２は非表示になる場合がある。

いくつかの例では、グラフィカル・ユーザインターフェイス５００は、駆動力インジケータ５４３及び曲げインジケータ５４４を含み得る。いくつかの実施形態では、曲げインジケータ５４４は、生検針等のツールがカテーテルを通過できないほどきつい（tight）半径でカテーテルの１つ又は複数のセグメントが曲げられるようにカテーテルが解剖学的構造内に位置付けされた場合に、臨床医に警告するために使用され得る。例えば、曲げインジケータ５４４は、カテーテル内できつい曲げ半径が検出された場合（例えば、曲げ半径が所定の閾値を下回る場合）に表示され、そうでなければ非表示にされ得る。いくつかの実施形態では、曲げインジケータ５４４は、カテーテルのチップの現在の形状の指標として通常の状態で表示されて、先端部の構成に関する使用者の認識を高めることができる。これに関して、曲げインジケータ５４４の形状は、カテーテルの実際に測定された形状から計算してもよく、及び／又は抽象的なアイコンインジケータであってもよい。駆動力インジケータ及び曲げインジケータの例については、それぞれ図８及び図９を参照して以下でより詳細に議論する。

位置合せが完了するときに、グラフィカル・ユーザインターフェイス５００は、位置合せモードからナビゲーションモードに移行する。いくつかの例では、グラフィカル・ユーザインターフェイス５００は、位置合せが完了したことを検出することに応答して、位置合せモードからナビゲーションモードに自動的に移行してもよい。いくつかの例では、臨床医がグラフィカル・ユーザインターフェイス５００のボタン（例えば、ヘッダー５４１のモード移行ボタン）をクリックして、別の入力装置（例えば、制御コンソールのタッチスクリーン）で入力を起動させ、ナビゲーションモードに進む等に応答して、手動で実行され得る。

図５Ｂは、いくつかの実施形態によるナビゲーションモードのグラフィカル・ユーザインターフェイス５００を示す。いくつかの例では、ナビゲーションモードを使用して、カテーテルを標的位置までナビゲーションするのを監視し、このナビゲーションを支援することができる。例えば、臨床医が医療処置の計画中に選択されたルートに沿ってカテーテルを駆動しているときに、ナビゲーションモードを使用することができる。ナビゲーションモードは、ルートに沿って標的への方向性ガイダンスを臨床医に提供するインジケータをさらに含むことができる。

図５Ｂに示される例では、ナビゲーションモードのグローバルビュー５１０は、それぞれ正面視点及び側面視点からの一対のグローバル解剖学的モデル５１３及び５１４を含む。別の例では、グローバル解剖学的モデル５１３及び／又は５１４の視点は、臨床医がスクロールホイール、マウス、又はタッチスクリーン等の入力装置を使用して回転され、グローバル解剖学的モデル５１３及び／又は５１４を所望の向きにドラッグする（drag）ことができる。いくつかの実施形態では、臨床医は１つのビュー（例えば、グローバル解剖学的モデル５１３）を回転させることができ、それに応じて、別のビュー（例えば、グローバル解剖学的モデル５１４）が自動的に回転してそれぞれ直交するように向き合わせされたビューを提供することができる。グローバル解剖学的モデルの例については、図１０を参照して以下でより詳細に議論する。いくつかの例では、ナビゲーションモードのグラフィカル・ユーザインターフェイス５００は、コンパクトビュー４２０に対応する１つ又は複数のコンパクトビュー５２０を表示することができる。図５Ｂに示されるように、コンパクトビュー５２０は、縮小した解剖学的モデル５２２を含む。縮小した解剖学的モデル５２２は、標的位置への計画されたルートの細長い表現を表示し、標的位置を含むルートに沿った様々な特徴を簡略化した形式で表示する。縮小した解剖学的モデルの例については、図１１Ａ～図１１Ｃを参照して以下でより詳細に議論する。ナビゲーションモードのローカルビュー５３０は、位置合せモードと同様にライブカメラフィード５３１を含む。いくつかの例では、図１２Ａ及び図１２Ｂを参照して以下で議論するように、ナビゲーションモードにおいて、補足ガイダンス情報をライブカメラフィード５３１に重畳させることができる。ローカルビュー５３０は、カテーテルの先端部の視点からの３Ｄモデルのレンダリングを表示する仮想先端ビュー５３３を含み得る。仮想先端ビューの例については、図１３Ａ～図１３Ｄを参照してさらに詳細に議論する。

カテーテルの先端部が標的位置に近づくとき（例えば、先端部が標的位置の特定の範囲内にあるとき）に、図５Ｃに示されるように、グラフィカル・ユーザインターフェイス５００の代替構成が表示され得る。いくつかの例では、グラフィカル・ユーザインターフェイス５００は、カテーテルが、閾値内の標的位置の近傍にあること及び／又は閾値内の標的位置と位置合わせされていることを検出したことに応答して、図５Ｂに示される構成から図５Ｃに示される代替構成に自動的に移行し得る。いくつかの例では、臨床医がグラフィカル・ユーザインターフェイス５００及び／又は別の入力装置のボタンをクリックしてパフォーマンスモードに進むこと等に応じて、移行を手動で実行することができる。

図５Ｃに示されるように、グローバルビュー５１０及びコンパクトビュー５２０は、図５Ｂに類似しているが、表示されたビューに対して様々な調整を行うことができる（例えば、グローバルビュー５１０のズームインバージョンを表示する）。しかしながら、カテーテルが標的位置の近傍にあるときに、臨床医がカテーテルを標的位置に位置合わせするのを支援するために、様々な構成のローカルビュー５３０が表示され得る。例えば、以下でより詳細に説明するように、内視鏡ライブビューの代わりに及び／又は内視鏡ライブビューに加えて、蛍光透視ライブビュー等の遠隔（remote）画像ビュー５３４を表示することができる。遠隔画像ビュー５３４に対応するために、内視鏡ライブビュー５３１は、例えばディスプレイの左下隅にサイズ変更及び／又は再配置することができる。いくつかの例では、仮想先端ビュー５３３の外観を変更して、半透明の通路壁、標的インジケータ、不確実性ゾーン、及び／又は十字線インジケータを表示する等、臨床医が標的位置を特定及び位置合わせするのを支援することができる。

臨床医が標的位置で介入ステップを実行する準備が整ったときに、グラフィカル・ユーザインターフェイス５００は、ナビゲーションモードからパフォーマンスモードに移行する。いくつかの例では、グラフィカル・ユーザインターフェイス５００は、カメラプローブがカテーテルから取り外されたこと（従って、内視鏡ライブビューが無くなること）及び／又は介入ステップを実行するための医療器具がカテーテル内に挿入されることの検出に応答して、ナビゲーションモードからパフォーマンスモードに自動的に移行し得る。いくつかの例では、臨床医がグラフィカル・ユーザインターフェイス５００及び／又は別個の入力装置のボタンをクリックすること等に応じて、移行を手動で実行することができる。

図５Ｄは、いくつかの実施形態によるパフォーマンスモードのグラフィカル・ユーザインターフェイス５００を示す。パフォーマンスモードは、標的位置での介入ステップのパフォーマンスを監視するために使用される。例えば、介入ステップは、生検、焼灼、化学物質の送達、組織の物理的操作、生体装置の設置又は除去等に対応し得る。いくつかの実施形態では、ナビゲーションプロセス中にライブカメラフィードを提供するためにカテーテルを通して挿入された内視鏡は、介入ステップの実行中に取り外され、介入ステップを実行するために使用されるツールに置き換えられる。内視鏡が取り外されるときに、カテーテルは、標的部位の近くに待機したままであり、ツールが標的部位に到達するための導管を提供する。いくつかの実施形態では、ツールの挿入前、挿入中、及び／又は挿入後であって、内視鏡を取り外した後に、気管支内超音波（ＥＢＵＳ）プローブ等のプローブを待機状態のカテーテル内に挿入してもよい。例えば、放射状のＥＢＵＳプローブをカテーテルの先端チップの直ぐ先まで延ばして、３６０度の超音波ビューを提供することができる。臨床医は、超音波ビューを使用して、カテーテルの先端部に対する標的位置の位置を確認することができる。例えば、位置合せが不正確であり、及び／又は位置合せが行われてから解剖学的構造がシフト及び／又は変形したシナリオでは、カテーテルは、標的位置に対してずれている可能性がある。これに関して、超音波ビューを使用してカテーテルを再位置付けし、標的との位置合せを改善することができる。臨床医が介入ステップを実行する準備が整ったら、ナビゲーション及び／又は微調整位置合せに使用されるプローブ（例えば、内視鏡又はＥＢＵＳプローブ）を引き抜き、生検針等の処置特有のツールと交換することができる。

図５Ｄに示されるように、パフォーマンスモードのグローバルビュー５１０及びコンパクトビュー５２０はナビゲーションモードに類似しているが、表示されたビューに対して様々な調整を行うことができる（例えば、パフォーマンスモードでグローバルビュー５１０のズームインバージョンを表示する）。調整は、臨床医が手動で、及び／又は表示システムが自動的に行うことができる。図５Ｄに示されるように、パフォーマンスモードのローカルビュー５３０は、遠隔画像ビュー５３４を含む。この例では、遠隔画像ビュー５３４は、カテーテルの先端部付近の解剖学的構造を取り込むように向き合せされた蛍光透視画像を含む。遠隔画像ビューの例については、図１５Ａ～図１５Ｃを参照してさらに詳細に議論する。パフォーマンスモードのローカルビュー５３０に含まれる他のビューは、一般に、ナビゲーションモードに類似しているが、遠隔画像ビュー５３４に対応するためにサイズ変更及び／又は再位置付けすることができる。

図６Ａ～図６Ｂは、いくつかの実施形態による位置合せプロセス中の２つの異なる時点での動的な点群ビュー６００の概略図である。図５Ａと一致するいくつかの実施形態によれば、動的な点群ビュー６００は、グラフィカル・ユーザインターフェイス４００の動的な点群ビュー５１１及び／又は５１２のうちの１つ又は複数に対応し得る。しかしながら、動的な点群ビュー６００は、グラフィカル・ユーザインターフェイス５００以外のコンテキストで、スタンドアロン型グラフィカル・ユーザインターフェイス要素として及び／又はグラフィカル・ユーザインターフェイス５００に示されるビュー以外のビューと組み合わせて表示され得ることを理解されたい。

動的な点群ビュー６００は、位置プローブ６２０を使用して取り込まれた位置合せデータに対応する点群６１０を示している。図６Ａ～図６Ｂに示されるように、点群６１０は青いドットを使用して表示され、位置プローブ６２０は緑色の線として表示される。右上隅の向きアイコン６３０は、解剖学的構造に対するプロットの向きを示している。図６Ａは、点群６１０が解剖学的構造内の単一の分岐部していない経路に沿って取り込まれた位置合せデータに対応するときの位置合せプロセスの初期の動的な点群ビュー６００を示す。いくつかの例では、解剖学的構造内の単一の分岐部していない経路では、妥当な精度で位置合せを行うには不十分な場合がある。従って、図６Ａでは３Ｄモデルはレンダリングされない。

図６Ｂは、点群６１０が複数の分枝部（例えば、複数の気道）及び／又は複数のパーティション（区画）（例えば、複数の肺葉）に及ぶように増加した（grown）ときの、位置合せプロセスの後期の動的な点群ビュー６００を示す。点群６１０が位置合せを行うのに十分な量の位置合せデータを含む場合に、点群６１０に対するモデル６３０の推定位置は、ＩＣＰ等の位置合せアルゴリズムを使用して計算される。推定位置が計算されると、モデル６３０が、動的な点群ビュー６００でレンダリングされ得る。図６Ｂに示されるように、モデル６３０は半透明の灰色で表示される。点群が増加し続けるにつれて、モデル６３０の推定位置は継続的に更新され得る。モデル６３０の色及び／又は半透明性は、位置合せプロセスの完了レベルに応じて調整することもでき、例えば、位置合せの品質が向上する、及び／又はモデルの点群カバレッジが増大するにつれて、モデルはより不透明になる。

臨床医は、動的な点群ビュー６００内の異常を識別することにより、位置合せの精度を視覚的に評価することができる。例えば、図６Ｂにおいて、点群６１０及び／又は位置プローブ６１０の部分がモデル６３０の内側に位置付けされてない場合に、点群６１０及び位置プローブ６２０は一般にモデル６３０の境界内にあると予想されるため、臨床医は位置合せが不正確であると判定することができる。位置合せの精度が臨床医にとって満足のいくものではないシナリオでは、臨床医は、位置合せの精度を向上させるようと追加の点を取り込みし続け、位置合せプロセスを再開し、及び／又は処置の次の段階に進むのを選択することができる。

図７Ａ～図７Ｂは、いくつかの実施形態による２つの異なる時点での動的な位置合せガイダンスビュー７００の概略図である。図５Ａと一致するいくつかの実施形態によれば、動的な位置合せガイダンスビュー７００は、動的な位置合せガイダンスビュー５３２に対応し得る。しかしながら、動的な位置合せガイダンスビュー７００は、グラフィカル・ユーザインターフェイス５００以外のコンテキストで、スタンドアロンビューとして及び／又はグラフィカル・ユーザインターフェイス５００に示されるビュー以外のビューと組み合わせて表示され得ることを理解されたい。

動的な位置合せガイダンスビュー７００は、位置合せの進捗状況を反映するために動的に更新される情報及び／又は指示を表示する。いくつかの例では、動的な位置合せガイダンスビュー７００は、位置合せプロセスの現在のステップを記述し、及び／又は追加の点を収集すべき解剖学的構造の推奨領域を提供する指示書７１０を含むことができる。現在のステップが完了するときに、位置合せプロセスの次のステップを説明するために、指示７１０の内容が自動的に更新され得る。

いくつかの例では、動的な位置合せガイダンスビュー７００は、解剖学的構造の概略的表現７２０を含み得る。概略的表現７２０の各セグメントは、解剖学的構造の一部に対応する。図７Ａ～図７Ｂに示されるように、セグメントは、様々な肺葉、主要な気道（例えば、主気管支幹）、及び肺の主気管分岐部周囲の領域を含む。解剖学的構造の特定のセグメントから十分な量の位置合せデータが取得されると、セグメントの１つ又は複数の属性（色、形状、サイズ、質感、テキストラベル等）は、位置合せが解剖学的構造のその部分に関して完了したことを示すために更新され得る。例えば、セグメントは、閾値量の位置合せデータがセグメントから収集されるときに、塗りつぶされていない状態（例えば、色なし）から塗りつぶされた状態（例えば、一色）に移行し得る。追加的に又は代替的に、より多くの位置合せデータがセグメントから収集されるにつれて、セグメントの外観が徐々に移行し得る。いくつかの例では、最少量の位置合せデータを含む１つ又は複数のセグメントが識別され得る。概略的表現７２０におけるセグメントの外観の変化を監視することにより、臨床医は、位置合せが各セグメントに関して完了するときに通知を受け、未だ十分な量の位置合せデータを有していない解剖学的構造の部分に位置プローブを移動させるステップを行うことができる。その結果、臨床医は、位置合せデータが最もまばらである及び／又は正確な位置合せを行うのに未だ十分でない領域で位置合せ点群を多く含める（grow）ように指示されるため、位置合せプロセスが加速され得る。

図７Ａは、十分な位置合せデータがいずれかのセグメントから取り込まれる前の、位置合せプロセスの初期の概略的表現７２０を示す。従って、どのセグメントも塗りつぶされていない。対照的に、図７Ｂは、十分な位置合せデータが全てのセグメントから取り込まれた後の位置合せプロセスの後期の概略的表現７２０を示す。従って、概略的表現７２０の各セグメントは青一色である。どのセグメントが医療処置の標的位置を含むかを示すために、図７Ｂに標的インジケータ７３０が現れる。医療処置に複数の標的位置が含まれる場合に、複数の標的インジケータが現れる場合がある。代替例では、標的インジケータをセグメントにオーバーレイすることができ、及び／又は標的の位置は、対応するセグメントの色、重み、色相、及び／又は透明度を変更することにより示すことができる。

図８は、いくつかの実施形態による駆動力インジケータ８００の概略図である。図５Ａ～図５と一致するいくつかの実施形態によれば、駆動力インジケータ８００は、駆動力インジケータ５４３に対応し得る。しかしながら、駆動力インジケータ８００は、グラフィカル・ユーザインターフェイス５００以外のコンテキストで、スタンドアロンビューとして及び／又はグラフィカル・ユーザインターフェイス５００に示されるビュー以外のビューと組み合わせて表示され得ることを理解されたい。

駆動力インジケータ８００は、動作中（例えば、患者の解剖学的構造からのカテーテルの挿入及び／又は引抜き中）にカテーテルに加えられる軸線方向の駆動力の視覚的及び／又は英数字表現を表示する。例えば、カテーテルがカテーテルの直径よりも狭い通路内に挿入されているとき、及び／又は他にカテーテルが障害物によって妨害されているときに、大きな駆動力が加えられ得る。加えられた駆動力を監視するための多くの手法が可能である。図８に示されるように、対称的な棒状プロットを使用して、駆動力が時間の関数としてプロットされる。最新の駆動力測定値は右側にあり、履歴測定値は左側にプロットされる。いくつかの実施形態では、片側（one-sided）棒グラフ、折れ線グラフ、散布図等の様々な他の作図技法を使用してもよい。代替的又は追加的に、現在の駆動力は、計器（meter）、英数字テキスト等を使用して表示してもよい。いくつかの例では、駆動力インジケータ８００の外観（例えば、色、質感、サイズ等）は、駆動力及び／又は時間の関数として変化し得る。図８に示されるように、バー（棒）の色は、駆動力の大きさに基づいて灰色、黄色、又は赤の間で変化し、バーの太さは、時間を遡ると徐々に減少する。いくつかの例では、駆動力インジケータ８００は、縮小した解剖学的ビュー５２２等のカテーテルの表現を示すビューに隣接して及び／又はそのビューの内に位置付けされ得る。この配置では、駆動力インジケータ８００は、カテーテルを解剖学的構造内に押し込む視覚的な印象を伝えることができる。駆動力インジケータの様々な例は、米国仮特許出願第６２／３５７，２５８号にさらに記載されており、この文献は、上記で参照により組み込まれている。

図９は、いくつかの実施形態による曲げインジケータ９００の概略図である。図５Ａ～図５Ｄと一致するいくつかの実施形態によれば、曲げインジケータ９００は、曲げインジケータ５４４に対応し得る。しかしながら、曲げインジケータ９００は、グラフィカル・ユーザインターフェイス５００以外のコンテキストで、スタンドアロンビューとして及び／又はグラフィカル・ユーザインターフェイス５００に示されるビュー以外の他のビューと組み合わせて表示され得ることを理解されたい。前述したように、曲げインジケータ９００は、カテーテル内できつい狭い曲げ半径が検出されるとき（例えば、曲げ半径が所定の閾値を下回るとき）に表示され、そうでなければ非表示にされ得る。あるいはまた、曲げインジケータ９００の選択された部分は、きつい曲げ、例えば曲げ半径数値９１０が存在しないとき、非表示にされ得る。

曲げインジケータ９００は、カテーテルの概略的な曲げ表現９１０を提供する。カテーテルの先端チップが曲げられるときに、カテーテルの先端部が曲がる方向を示す曲げライン９２５が現れる。例えば、図９に示されるように、曲げライン９２５がリング９１５の右上に現れ、カテーテルが右に曲げられていることを示す。こうして、カテーテルを真っ直ぐにするために、カテーテルを左下に操縦して曲がりを減らすことができる。いくつかの例では、カテーテルの先端部が真っ直ぐなとき、曲げライン９２５は非表示にされ得る。

いくつかの例では、概略的な曲げ表現９１０は、カテーテルの先端チップを介して（先端チップからカテーテルの基端部分に向けて）カテーテルチューブを後方に見上げる視点からのカテーテルの先端部のレンダリングを含み得る。そのような例と一致して、リング９１５は、カテーテルの先端チップに対応すると解釈され得る。カテーテルが曲げられるときに、カテーテルの一部が先端チップ（すなわち、リング９１５）の後ろに見えるようになる。その結果、曲げライン９２５は、カテーテルの先端部の部分に対応し、この部分は、カテーテルの曲げにより先端チップ（すなわち、リング９１５）の後ろに見えるようになる。

代替例では、概略的な曲げ表現９１０は、カテーテルに沿った基端位置から先端チップに向けてカテーテルチューブを前方に見下ろす視点からのカテーテルの先端部のレンダリングを含み得る。そのような例と一致して、リング９１５は、基端位置でのカテーテルの切断断面に対応すると解釈され得る。カテーテルが曲げられるときに、先端部の部分が切断断面（すなわち、リング９１５）の後ろに見えるようになる。その結果、曲げライン９２５は、カテーテルの部分に対応し、この部分は、カテーテルの曲げにより切断断面（すなわち、リング９１５）の後ろに見えるようになる。

いくつかの例では、曲げインジケータ９００は、カテーテルに沿って検出された最小限の（minimum）曲げ半径又は最小の（smallest）曲げ半径の視覚的及び／又は英数字表現を表示し得る。最小限の曲げ半径が閾値を下回るときに、曲げインジケータ９００は、英数字値を表示する及び／又は他に外観を変化させることにより、所定の閾値に違反したことを臨床医に警告することができる。いくつかの実施形態では、閾値は、ツールをカテーテルに通すことができるかどうかに基づいて決定され得る。いくつかの実施形態では、閾値は、カテーテルの座屈及び／又は損傷が生じ得る半径に基づいて決定され得る。閾値は、手動で選択され、自動的に決定され、カテーテル及び／又はツールのタイプに基づいて決定され、及び／又は一般的な経験則を使用して設定され得る。図９に示されるように、検出された最小限の曲げ半径が閾値未満である場合に、曲げインジケータ９００は、最小限の曲げ半径のリアルタイム値を示す数字９２０を含み、曲げインジケータ９００の部分は、図９に示されるように赤等の異なる色に変わる。いくつかの実施形態では、赤色部分の位置は、１つのモータによってカテーテルのそのセクションのカテーテル引張ワイヤーに加えられた力の大きさを反映し得る。例えば、図９において、左上の引張ワイヤーは、概略的な曲げ表現９１０に現れる赤色楔形によって示されるように、より強く引っ張られている。いくつかの例では、曲げインジケータ９００は、最小限の曲げ半径が閾値に近づいている、又はその閾値を超えているかどうかに基づいて色を動的に変化させる外側リング９３０を含み得る。いくつかの例では、動的変化は、曲げインジケータ９００の部分の透明度、質感、線幅、及び／又は色等の外観の変化によって表すことができる。曲げインジケータの様々な例、及び曲げ以外の監視パラメータの関連インジケータは、米国仮特許出願第６２／３５７，２１７号にさらに記載されており、この文献は、上記で参照により組み込まれている。

図１０は、いくつかの実施形態によるグローバル解剖学的モデル１０００の概略図である。図５Ｂ～図５Ｄと一致するいくつかの実施形態によれば、グローバル解剖学的モデル１０００は、グローバル解剖学的モデル５１３及び／又は５１４のうちの１つ又は複数に対応し得る。しかしながら、グローバル解剖学的モデル１０００は、グラフィカル・ユーザインターフェイス５００以外のコンテキストで、スタンドアロンビューとして及び／又はグラフィカル・ユーザインターフェイス５００に示されるビュー以外のビューと組み合わせて表示され得ることを理解されたい。

グローバル解剖学的モデル１０００は、解剖学的通路の３Ｄモデル１０１０を表示する。いくつかの例では、３Ｄモデル１０１０は、解剖学的構造の関連部分（この場合には、肺）の境界１０２０によって取り囲まれ得る。例えば、境界１０２０は、半透明の塗りつぶし及び／又はワイヤグリッドを使用して表示され得る。図１０に示されるように、境界１０２０は水平方向のワイヤグリッドとして表示される。境界１０２０の外観（例えば、色、質感、ハッシュマークの間隔等）は、潜在的な危険部を示すために変化し得る。図１０に示されるように、危険部１０２５は、標的位置１０３０付近の境界１０２０の部分に対応し、この部分は、標的位置１０３０で介入ステップをナビゲート及び／又は実行するときに肺の胸膜を穿刺する危険性を臨床医に警告するために赤色に着色される。いくつかの例では、不確実性ゾーン１０３５は、標的位置１０３０の周りに、例えば図１０に示されるように半透明の球体として、又は別の例では別の色で表示され得る。不確実性ゾーン１０３５のサイズは、解剖学的構造に対する標的の位置合せ位置、標的の位置、標的にアクセスする際の予想される困難性等の不確実性を含む１つ又は複数の要因に基づいて固定及び／又は決定され得る。臨床医は、不確実性ゾーン１０３５を使用して、標的の推定中心から異なる距離で生検等の介入ステップを実行することができる。例えば、不確実性ゾーン１０３５が（例えば、位置合せの不確実性が大きいため）大きい場合に、臨床医は、病変部を成功裏にサンプリングする可能性を高めるために採取する場合よりも、生検サンプルを互いに遠く離れた位置で採取するように勧められる場合がある。

いくつかの実施形態では、グローバル解剖学的モデル１０００は、形状感知データ及び／又は標的位置１０５０への計画されたルート１０５０に基づいて、カテーテル１０４０の仮想画像をさらに含み得る。図１０に示されるように、カテーテル１０４０は緑色の線で示されており、計画ルート１０５０は青色の線で示されている。いくつかの例では、カテーテル１０４０の１つ又は複数の属性（例えば、色、線の種類、質感、サイズ等）は、曲げ半径、温度、歪み等のカテーテル１０４０に関連する測定データに基づいて変化し得る。向きアイコン１０６０が右上にあり、この例では、グローバル解剖学的モデル１０１０を正面の視点から見ていることを示している。グローバル解剖学的モデルの様々な例は、米国仮特許出願第６２／３５７，２１７号及び米国仮特許出願第６２／３５７，２５８号にさらに記載されており、これらの文献は、上記で参照により組み込まれている。

図１１Ａ～図１１Ｃは、いくつかの実施形態による、処置中の３つの異なる時点及び／又は解剖学的構造の異なるカテーテル位置での縮小した解剖学的モデル１１００の概略図である。図５Ｂ～図５Ｄと一致するいくつかの実施形態によれば、縮小した解剖学的モデル１１００は、縮小した解剖学的モデル５２２に対応し得る。しかしながら、縮小した解剖学的モデル１１００は、グラフィカル・ユーザインターフェイス５００以外のコンテキストで、スタンドアロンビューとして及び／又はグラフィカル・ユーザインターフェイス５００に示されるビュー以外のビューと組み合わせて表示され得ることを理解されたい。

縮小した解剖学的モデル１１００は、標的位置への計画されたルートの１つ又は複数の特徴を表示する。図１１Ａ～図１１Ｃに示されるように、特徴には、簡略化されたルート経路１１１０、通路１１１２の幅、分岐通路１１１４の位置、代替ルートインジケータ１１１５、標的位置１１１６、危険位置１１１８、及び挿入軌跡１１２０が含まれる。特徴は、計画段階中にルートを決定するために使用される完全な３Ｄ解剖学的モデル等の、より大きな解剖学的モデルから抽出される。いくつかの例では、縮小した解剖学的モデル１１００は、より大きな解剖学的モデルから様々な詳細を除外し得る。

いくつかの例では、縮小した解剖学的モデル１１００は、線形解剖学的表現（例えば、モデル）として表示され、計画されたルート及び／又は解剖学的構造の３Ｄ態様が、細長い領域に収まるよう縮小され（直線化、平坦化、切取り（clipped）、サイズ変更、簡略化等され）得る。そのような実施形態に一致して、簡略化されたルート経路１１１０は直線として表され得る。通路１１１２の幅は、簡略化されたルート経路１１１０を中心とする、垂直方向に間隔を空けた１対の水平線を使用して示される。いくつかの例では、通路１１１２の幅は、垂直方向に間隔を空けた線が分岐部の世代と一般に相関する階層化された間隔を有するように、最も近い階層化レベルに丸められ得る。分岐通路１１１４の位置は、通路１１１２から分岐する、水平方向に間隔を空けた１対の垂直線を使用して、簡略化されたルート経路１１１０に対して示される。いくつかの例では、分岐通路１１１４の完全分岐構造（例えば、様々なサブ分岐部及び／又は３Ｄ形状の分岐部）は、縮小した解剖学的モデル１１００から省略され得る。例えば、分岐通路１１１４は、通路１１１２と交差する位置の近くで切り取られた剪定（pruned）分岐部として表示され得る。分岐通路が標的位置１１１６への代替ルートを提供する場合に、通路は、代替ルートインジケータ１１１５を使用してラベル付けされ得る。代替ルートの完全な３Ｄ経路を示すのではなく、代替ルートインジケータ１１１５は、垂直方向の点線等の代替ルートが利用可能であるという簡略化された指標を含み得る。一例では、臨床医は、代替ルートインジケータ１１１５を選択又はクリックすることができる。それに応じて、縮小した解剖学的モデル１１００を更新して、最初に表示されたルートの代わりに、代替ルートを表示することができる。別の例では、臨床医が代替ルートに対応する分岐部を通過し始めるときに、縮小した解剖学的モデル１１００は、代替ルートを表示するために自動的に更新され得る。

通路１１１２の管腔を通る器具の穿刺軌跡を表す挿入軌跡１１２０は、簡略化されたルート経路１１１０の終了部を標的位置１１１６に接続する点線として示される。危険部（例えば、血管、大きな水疱、心臓等の臓器、及び／又は肺の胸膜）が標的位置１１１６の後ろに及び／又は他に近傍に位置する場合に、挿入軌跡１１２０は、標的位置１１１６を過ぎて延びた状態の、標的位置１１１６と危険部１１１８との間の間隔を示すことができ、この例では斜線で表示されている。いくつかの例では、簡略化されたルート経路１１１０、分岐通路１１１４、代替ルートインジケータ１１１５、標的位置１１１６、危険部１１１８、及び／又は挿入軌跡１１２０を含む様々な特徴は、対照的な色、透明度、質感、及び／又は線幅で表示され得る。一般に、縮小した解剖学的モデル１１００は、一度に１つのルート及び標的の位置を示す。医療処置に複数の標的位置が含まれる場合に、図１１Ｃに示されるように、標的アイコン１１２２を使用して、（追加の標的位置に到達可能である）対応する分岐部にラベルを付けることにより、追加の標的位置をマークすることができる。

縮小した解剖学的モデル１１００は、簡略化されたルート経路１１１０に沿ったカテーテル１１３０の進捗状況を反映するために継続的に更新される。例えば、カテーテル１１３０は、緑色等の対照的な色又は陰影で、簡略化されたルート経路１１１０上に重ねてもよい。異常が検出されるときに、様々なインジケータ及び／又は警告が表示され得る。例えば、カテーテル１１３０が間違った方向転換を行うと、図１１Ｂに示されるように、方向転換誤りインジケータ１１４２が現れ得る。いくつかの例では、過度の曲げが検出されたときに、曲げインジケータ１１４４が現れ得る。曲げインジケータ１１４４は、曲げ半径を表す表示値を含み得る。いくつかの例では、カテーテル１１３０の外観は、例えば、緑色の実線から赤色の点線に変更することにより、きつい曲げ半径に対して注意を引くように修正することができる。いくつかの例では、１つ又は複数のブックマーク１１５０をルートに沿って配置して、特定の関心のある位置及び／又は時間（例えば、臨床医がスナップショットを取り込んだ位置及び／又は他に後で検査のために関心のある特徴を観察した位置）を示すことができる。例えば、ブックマーク１１５０は、カテーテル１１３０に重ねられたブラケットとして示してもよい。

いくつかの例では、縮小した解剖学的モデル１１００は、グラフィカル・ユーザインターフェイスの幾何学的に制約された領域内に表示され得る。例えば、幾何学的に制約された領域は、水平方向に細長い領域、垂直方向に細長い領域、「Ｌ」字形状領域、及び／又は不規則な形状を有する様々な他の領域に対応し得る。縮小した解剖学的モデル１１００を幾何学的に制約された領域に表示する能力は、縮小した解剖学的モデル１１００とグラフィカル・ユーザインターフェイスの他のビューとの緊密なパッキングに対応し得る。同様に、縮小した解剖学的モデル１１００を幾何学的に制約された領域に適合させる能力は、細長いディスプレイ画面等の不規則な形状のディスプレイ画面に対応し得る。

さらに、縮小した解剖学的モデル１１００は、医療処置に関連する情報への迅速で整理されたアクセスを臨床医に提供し得る。例えば、縮小した解剖学的モデル１１００は、より詳細な解剖学的モデルから抽出された医療処置に関連する情報の選択されたサブセットを表示し得る。いくつかの例では、縮小した解剖学的モデル１１００は、異なる医療処置に亘って一貫した外観を維持し得る。例えば、標的位置１１１６は、標的の実際の３Ｄ位置及び／又は標的への実際の３Ｄルートに関係なく、実質的に同じ場所（例えば、縮小した解剖学的モデル１１００の右端部分）に現れ得る。縮小した解剖学的モデル１１００の一貫した外観により、臨床医は、異なる医療処置及び／又は医療処置内の異なるルートに亘って縮小した解剖学的モデル１１００に表示される情報を検索及び／又は理解する時間を短縮することができる。

図１２Ａ～図１２Ｂは、いくつかの実施形態による、処置中の２つの異なる時点及び／又は解剖学的構造の異なるカテーテル位置でのライブカメラフィード１２００の概略図である。図５Ａ～図５と一致するいくつかの実施形態によれば、ライブカメラフィード１２００は、ライブカメラフィード５３１に対応し得る。しかしながら、ライブカメラフィード１２００は、グラフィカル・ユーザインターフェイス５００以外のコンテキストで、スタンドアロンビューとして及び／又はグラフィカル・ユーザインターフェイス５００に示されるビュー以外のビューと組み合わせて表示され得ることを理解されたい。

ライブカメラフィード１２００は、カテーテルの先端部にある内視鏡等のカメラからの画像を表示する。いくつかの例では、補足ガイダンス情報１２１０がカメラ画像に重ねられ（オーバーレイされ）得る。例えば、補足ガイダンス情報１２１０は、画像処理技術を使用して画像内の特徴を識別することにより、及び／又はカテーテルからの形状データを使用して解剖学的構造におけるカメラの位置を決定すること等により、生成され得る。図１２Ａ～図１２Ｂに示されるように、補足ガイダンス情報１２１０は、矢印付きの円を含むレチクル（reticle）を使用して表示される。カメラが分岐点に近づくと、矢印は、計画されたルートに対応する分岐部を指す。いくつかの例では、矢印は、カメラが分岐点に近づくと表示され、それ以外の場合は非表示にされ得る。いくつかの例では、レチクルを色分けして、どの分枝部に向けて操縦するか、及び／又はどの分岐部から離れるように操縦するかを示すことができる。例えば、円の赤い部分は、カテーテルを表示された分岐部の先に（down）ナビゲートすべきではないことを示してもよい。別の例では、色分けされた部分のサイズは、カテーテルが（経路上にない）気道にあるときに赤で塗りつぶされた状態の円を含む、計画されたルートから標的への逸脱の程度を示してもよい。

図１３Ａ～図１３Ｄは、いくつかの実施形態による４つの異なる時点での仮想先端ビュー１３００の概略図である。図５Ｂ～図５Ｄと一致するいくつかの実施形態によれば、仮想先端ビュー１３００は、仮想先端ビュー５３７に対応し得る。しかしながら、仮想先端ビュー１３００は、グラフィカル・ユーザインターフェイス５００以外のコンテキストで、スタンドアロンビューとして及び／又はグラフィカル・ユーザインターフェイス５００に示されるビュー以外のビューと組み合わせて表示され得ることを理解されたい。

仮想先端ビュー１３００は、解剖学的構造の３Ｄモデルに基づいて生成される。解剖学的構造に位置合わせされた３Ｄモデルでは、３Ｄモデル内のカテーテルの位置は、リアルタイム形状感知に基づいて決定され得る。次に、カテーテルの先端部の視点（すなわち、先端方向に見た視点）から３Ｄモデルをレンダリングすることにより、仮想先端ビュー１３００が生成される。

いくつかの例では、レンダリングされた３Ｄモデル画像は、補足ガイダンス情報１３１０を含み得る。補足ガイダンス情報１２１０と同様に、補足ガイダンス情報１３１０は、分岐部をナビゲートするのを助ける様々な形態の１つ又は複数の方向インジケータを含み得る。例えば、正しい分岐部は、その先に駆動すべき分岐部を点灯する（又は他に外観を変える）ことによって示され、どの分岐部に駆動すべきかを示す線を提供し、図１２Ａ～図１２Ｂと同様のレチクルを表示等する。別の例では、ビューは、ビューの中心にレチクルを含んでおり、カテーテルの方向を正確に狙う、例えばそのカテーテルを標的の中心に位置合わせるのを助けることができる。図１３Ａに示される例では、正しい分枝部の先に選択的に延びる等高線を使用して、その先に駆動すべき分岐部が強調表示されている。いくつかの実施形態では、遮断インジケータ（例えば、停止標識、立入禁止標識等）が、不正確な分岐部の上に現れ得る。さらに、仮想先端ビュー１３００は、標的距離インジケータ１３２０及び危険距離インジケータ１３３０を含むことができる。標的距離インジケータ１３２０は、カテーテルの先端部から標的までの距離を提供することができる。危険距離インジケータ１３３０は、カテーテルの先端部から、胸膜、心臓、大きな水疱、及び／又は血管等の最も近い危険部までの距離を提供することができる。仮想先端ビューの様々な例は、米国仮特許出願第６２／３５７，２５８号にさらに記載されており、この文献は、上記で参照により組み込まれている。

カテーテルが標的から所定の閾値距離内に位置付けされるときに、仮想先端ビュー１３００の外観及び／又は構成は、標的に向かう方向ガイダンスを提供するように移行することができる。特に、標的は、カテーテルの先端部に対して通路壁内に埋め込まれてもよく、こうして、図１３Ａに示されるように見えない。図１３Ｂは、カテーテルの先端部が、標的インジケータ１３２０までの距離によって示されるように、標的まで閾値距離内に位置付けされるときの仮想先端ビューの例を表示する。この例では、３．１ｃｍは閾値内にあり、ここで仮想先端ビュー１３００が、標的が見えるように通路壁を透明（又は、半透明）として表示するように修正される。他の例では、閾値距離は、処置、ツールのタイプ、標的サイズ、標的位置等に基づいて変化する可能性がある。図１３Ｂに示されるように、標的は半固体球１３４０として示されるが、不確実性ゾーン１３４５は半透明球として示される。さらに、カテーテルが向いている方向を示す十字線１３５０を設けることができる。いくつかの例では、十字線１３５０は、カテーテルの中央管腔を通して挿入された場合に、生検針等の器具が穿刺される位置を示す。図１３Ｂに示されるように、十字線１３５０は、円及び円の中心に十字を含む。代替実施形態では、十字線１３５０は、中心に小さな点がある円のみを含むことがある。十字線１３５０は、ビューが画像の中心にあるカテーテルからの先端方向のビューを常に表示するように、ビューの中心に自動的に置かれ得る。一例では、十字線１３５０が常に表示されて、カテーテルの中心の前向きの方向を示す。代替例では、カテーテルが予め規定された閾値内で標的に近づくと、十字線１３５０が自動的に表示される。さらに別の例では、ユーザには、必要に応じて十字線１３５０を表示又は非表示にする入力を提供することができる。

図１３Ｃは、仮想先端ビュー１３００の代替例を示しており、この図は、図１３Ｃのビューに類似しており、標的１３４０、不確実性ゾーン１３４５、十字線１３５０を示し、さらに危険部１３６０のビューを提供する。図１３Ｃの例では、カテーテル１３７０の仮想画像も表示される。代替実施形態では、カテーテル画像１３７０は示されない。

図１３Ｄは、生検等の医療処置中に表示され得る仮想先端ビュー１３００の別の例を表示している。図１３Ｄに示される仮想先端ビュー１３００は、医療処置中に以前に実行された介入ステップの動的な表現を提供することを除いて、前述したものと同様であり得る。図１３Ｄに示されるように、一連の生検が行われた後に、仮想先端ビューは、ラベル１３８０を使用して各生検の様々な位置を示すために動的に更新することができる。これは、次の生検位置の選択する際にユーザを支援する。図１３Ｄの例は生検処置について説明しているが、仮想先端ビュー１３００を使用して、焼灼、化学療法、及び／又は他のタイプの診断処置等の治療処置を含むあらゆるタイプの処置の履歴的応用を示すことができることを理解されたい。いくつかの例では、ラベル１３８０に対応する追加のラベルは、図５Ｂに示されるグローバル解剖学的モデル５１３、５１４等の、グラフィカル・ユーザインターフェイス５００の様々な他のビューで更新され得る。

図１４は、いくつかの実施形態による、計画されたルートの終了部を超えてカテーテルが挿入されるシナリオ中のビュー１４００のセットの概略図である。ビュー１４００は、縮小した解剖学的ビュー１４１０、ライブカメラフィード１４２０、及び仮想先端ビュー１４３０を含む。これらは、一般に、図５～図１３に示された同様のラベル付きビューに対応する。ビュー１４００は、カテーテルがルートの終了部を越えて挿入され、引き抜くべきであることを臨床医に警告するための様々な手法を示している。縮小した解剖学的ビュー１４１０では、カテーテルの先端部に逆転（reverse）インジケータ１４１５が現れる。ライブカメラフィード１４２０では、レチクル１４２５が、画像に表示される分岐部がどれも正しくないことを示すために完全に赤になる。仮想先端ビュー１４３０では、等高線が消え、逆転インジケータ１４３５が現れる。これらの警告手段は単なる例示であり、カテーテルがルートの終了部を越えて挿入されたことを臨床医に警告するために、他の多くの信号通知技術を使用してもよいことを理解されたい。

図１５Ａ～図１５Ｃは、いくつかの実施形態による複数のモードの遠隔画像ビュー１５００の概略図である。図５Ｄと一致するいくつかの実施形態によれば、遠隔画像ビュー１５００は、遠隔画像ビュー５３８に対応し得る。しかしながら、遠隔画像ビュー１５００は、グラフィカル・ユーザインターフェイス５００以外のコンテキストで、スタンドアロンビューとして及び／又はグラフィカル・ユーザインターフェイス５００に示されるビュー以外のビューと組み合わせて表示され得ることを理解されたい。

図１５Ａは、ライブモードの遠隔画像ビュー１５００を示している。ライブモードでは、遠隔画像ビュー１５００は、解剖学的構造の関連部分（例えば、肺）の蛍光透視画像等のライブ遠隔画像１５１０を表示する。ライブ遠隔画像１５１０を調整して、ズームイン、ズームアウト、画像のビューのパン等を行うことができる。臨床医は、リモートコントローラを介して入力を提供するか、或いはマウス又はスクロールボールを使用して、蛍光透視ビューのライブ画像をドラッグすることができる。さらに、システムが機械的に調整可能な蛍光透視アームに接続される場合に、システムは、蛍光透視アームを回転させて、おそらく標的又はカテーテルのより良い視野を提供する代替ライブ遠隔画像１５１０を提供することができる。加えて、遠隔画像ビュー１５００は、内視鏡及び／又はＥＢＵＳプローブによって生成された画像等の、カテーテルの先端部からのライブプローブ画像１５２０を表示する。臨床医は、ライブ遠隔画像１５１０及び／又はライブプローブ画像１５２０を監視しながら、カテーテルの位置を調整することができる。ライブモード中の様々な時点で、臨床医は、遠隔画像ビュー１５００に表示される１つ又は複数の画像のスナップショットを取り込んで保存することができる。こうして、カテーテルを標的位置に配置及び／又は位置合わせしようとしている間にプローブが再位置付けされるときに、一連のスナップショットが経時的に保存され得る。位置合せに満足したら、臨床医は、カテーテルシステムからプローブを取り外し、生検針等の介入ステップを実行するためのツールと交換することができる。いくつかの例では、ツールはイメージング機能を含まない可能性があるため、臨床医は、もはやライブプローブ画像１５２０を監視できなくなる。従って、ライブプローブ画像がもはや利用できなくなった場合に、保存されたスナップショットのうちの１つ又は複数を基準（reference：参照）として使用することができる。

図１５Ｂは、基準モードの遠隔画像ビュー１５００を示している。いくつかの例では、遠隔画像ビュー１５００は、どのスナップショットが基準として使用されているかを示す基準選択インジケータ１５３０を含む。図１５Ａ～図１５Ｂに示されるように、基準選択インジケータ１５３０は一連のドットを含む。左端のドットが強調表示されるときに、遠隔画像ビュー１５００はライブモードになる。右側のドットのうちの１つを選択すると、遠隔画像ビュー１５００が基準モードになっていることを示す。各ドットは、保存された異なるスナップショットに対応する。これに関して、臨床医は、保存されたスナップショットをスクロールして、基準として１つを選択することができる。基準が選択されると、ライブプローブ画像１５２０は、保存されたスナップショットから以前に取り込まれたプローブ画像１５２２に置き換えられる。さらに、保存されたスナップショットからの以前に取り込まれた遠隔画像１５１２は、ライブ遠隔ビューにオーバーレイされる。図１５Ｂに示されるように、以前に取り込まれた遠隔画像１５１２に含まれるカテーテル画像１５１４は、グレースケールライブ遠隔ビュー１５１０に含まれるカテーテル画像１５１６に対して青い「影」として現れる。これに関して、臨床医は、以前に取り込まれた遠隔画像１５１２とライブ遠隔画像１５１０との間の差を観察することができる。例えば、図１５Ｂに示されるように、臨床医は、「影」（カテーテル画像１５１４）がカテーテル（カテーテル画像１５１６）のリアルタイム位置からオフセットされているため、カテーテルが基準に対して下向きにシフトしたと判定することができる。臨床医がカテーテルの位置が基準の位置に一致することを望む限り、臨床医は、ライブ遠隔画像１５１０が以前に取り込まれた遠隔画像１５１２に一致するまで、カテーテルを上向きに操縦し続けることができる。

図１５Ｃは、タイムライン（timeline：時系列）モードの遠隔画像ビュー１５００を示している。基準選択中にスナップショットをスクロールするために基準選択インジケータ１５３０を表示する代わりに、及び／又は基準選択インジケータ１５３０を表示することに加えて、タイムラインモードの遠隔画像ビュー１５００は、連続的及び／又は定期的に保存されたスナップショットの間でスクロールするためのタイムライン１５４０を含み得る。これに関して、臨床医は、医療処置を巻き戻して、所望の基準を決定することができる。図１５Ｃに示されるように、選択された時間が現在の時間（すなわち、リアルタイム）である場合に、遠隔画像ビュー１５００の構成は、図１５Ａに示されるライブモードと同様である。臨床医がタイムライン１５４０を使用して以前の時間に戻るようスクロールするときに、遠隔画像ビュー１５００は、図１５Ｂに示される基準モードに類似した構成に移行する。

図１５Ａを再び参照すると、ライブ遠隔画像１５１０は、ズームアウト画像１５５０の一部に対応し得る。臨床医は、（ライブ遠隔画像１５１０に表示される部分を表す）ズームアウト画像１５５０のボックス１５５５を描画、サイズ変更、及び／又は移動することにより、ライブ遠隔画像１５１０に表示されるズームアウト画像１５５０の一部を選択し得る。臨床医は、マウスクリック、ジェスチャ、多指ジェスチャ等を使用して選択を行うことができる。これらの選択方法は、遠隔画像ビュー１５００を表示するタッチスクリーン、外部タッチスクリーン、及び／又は別の適切な入力装置に適用することができる。様々なインジケータも遠隔画像ビュー１５００に表示し得る。図１５Ａ～図１５Ｃに示されるように、インジケータは、ライブ遠隔画像１５５０上のタイマー及び蛍光透視角インジケータ、及びライブプローブ画像１５２０上の（及び／又は、タイムライン１５４０上の）タイムスタンプを含む。

臨床医は、特徴をタグ付けするため及び／又は経時的な位置のずれを検出するために、ライブ遠隔画像１５１０の一部の上にマーカー１５６０を配置してもよい。図１５Ａ及び図１５Ｃに示される例では、臨床医は、カテーテル内に挿入されたプローブを使用して、カテーテルを標的位置に位置合わせすることができる。カテーテルが位置合わせされるときに、臨床医は、マーカー１５６０をカテーテルの先端部の上に配置してもよい。その後、プローブをカテーテルから取り外し、生検針等の介入ステップを実行するためのツールと交換することができる。いくつかの例では、ツールはイメージング機能を含まない可能性があるため、臨床医は、もはやライブプローブビュー１５１０を監視して位置合せを達成できなくなる。しかしながら、プローブをツールに交換するときに蛍光透視画像が移動しないと仮定すると、臨床医は、マーカー１５６０を使用して、カテーテルが実質的に同じ位置にあり、こうして標的位置と位置合わせされたままであることを確認し得る。

いくつかの例では、臨床医が時間を開始してからの経過時間を示すために、タイマー１５７０を表示させてもよい。タイマー１５７０は、例えば、息止めの持続時間、処置の持続時間、又はその他を追跡するために使用され得る。タイマー１５７０は、特定のイベント（息止めの開始及び停止の検出等）が測定されたときに、医師が手動で及び／又はシステムによって自動的に開始及び／又は停止することができる。タイマー１５７０は、経過時間が所定の閾値（例えば、１分）を超える等の危険部な状態について臨床医に警告するために、外観（例えば、色、フォント、サイズ、質感等）を変更してもよい。いくつかの例では、ライブ遠隔画像１５１０の視点を示すために向きアイコン１５８０を表示することができる。蛍光透視画像の場合に、向きアイコン１５８０は、蛍光透視撮像装置の角度設定を示し得る。

図１６は、いくつかの実施形態による、グラフィカル・ユーザインターフェイス４００及び／又は５００等のグラフィカル・ユーザインターフェイスを表示するための２画面ディスプレイ１６００の概略図である。いくつかの実施形態では、２画面ディスプレイ１６００は表示システム１１０に含まれ得る。図１６に示されるように、２画面ディスプレイ１６００は、上部画面１６１０及び下部画面１６２０に垂直方向に分割される。上部画面１６１０及び下部画面１６２０はほぼ同じサイズであり、それによって２画面ディスプレイ１６００は、垂直分割線に沿って折り畳むことができる。上部画面１６１０は、１つ又は複数のグローバルビュー１６１２及び１つ又は複数のコンパクトビュー１６１４を表示し、下部画面１６２０は、１つ又は複数のローカルビュー１６２２を表示する。これらのビューは、図４～図５Ｄに示される同様にラベル付けされたビューに対応する。図１６に示される例では、グラフィカル・ユーザインターフェイスはパフォーマンスモードであるので、ビューは一般に図５Ｄのビューに対応する。しかしながら、２画面ディスプレイ１６００は、図５Ａに示されるような位置合せモードで、図５Ｂ～図５Ｃに示されるようなナビゲーションモード等で、グラフィカル・ユーザインターフェイスをレンダリングするためにも使用され得ることを理解されたい。一例では、スクリーン１６１０及び／又は１６２０の一方又は両方は、回転ビュー、ズーム、パン、ビュー同士の間の切替え等を含むビューを変更するためにユーザが操作できるタッチスクリーンであってもよい。代替例では、図１６のスクリーンが見るために用意されており、別のタッチスクリーン及び／又はユーザ入力装置が、ビューを変更するために使用され得る。

図１７は、いくつかの実施形態による医療処置を監視する方法１７００の概略図である。図１～図１６と一致するいくつかの実施形態によれば、方法１７００を使用して、グラフィカル・ユーザインターフェイス５００を、位置合せモード、ナビゲーションモード、及びパフォーマンスモードを含む複数のモードで動作させることができる。

プロセス１７１０において、グラフィカル・ユーザインターフェイスの位置合せモードで、且つ解剖学的モデルを患者の解剖学的構造に位置合わせしている間に、位置合せ進捗情報がグラフィカル・ユーザインターフェイスを介して表示される。いくつかの実施形態では、図５Ａに示されるように、グラフィカル・ユーザインターフェイスの位置合せモードは、グラフィカル・ユーザインターフェイス５００の位置合せモードに対応し得る。いくつかの実施形態では、位置合せ進捗情報は、動的な点群ビュー６００等の動的な点群ビューを使用して表示され得る。いくつかの実施形態では、位置合せ進捗情報は、動的な位置合せガイダンスビュー７００等の動的な位置合せガイダンスビューを使用して表示され得る。

プロセス１７２０において、解剖学的モデルが患者の身体に位置合わせされると、グラフィカル・ユーザインターフェイスは、位置合せモードからナビゲーションモードに移行する。いくつかの実施形態では、位置合せが完了したことを検出したことに応答して、グラフィカル・ユーザインターフェイスは自動的に移行してもよい。いくつかの実施形態では、臨床医は、グラフィカル・ユーザインターフェイスを位置合せモードからナビゲーションモードに手動で移行させてもよい。例えば、臨床医は、グラフィカル・ユーザインターフェイスの位置合せモードで表示されるボタンをクリックしてもよい。

プロセス１７３０において、ナビゲーションモードにおいて、且つ細長い装置を患者の解剖学的構造を介して標的位置までナビゲーションする間に、ナビゲーション進捗情報が、グラフィカル・ユーザインターフェイスを介して表示される。いくつかの実施形態では、図５Ｂに示されるように、グラフィカル・ユーザインターフェイスのナビゲーションモードは、グラフィカル・ユーザインターフェイス５００のナビゲーションモードに対応し得る。いくつかの実施形態では、ナビゲーション進捗情報は、グローバル解剖モデル１０００等のグローバル解剖モデルを使用して表示してもよい。いくつかの実施形態では、ナビゲーション進捗情報は、縮小した解剖学的モデル１１００等の縮小した解剖学的モデルを使用して表示してもよい。いくつかの実施形態において、ナビゲーション進捗情報は、ライブカメラフィード１２００等の補足ガイダンス情報によって増強されるライブカメラフィードを使用して表示してもよい。いくつかの実施形態において、ナビゲーション進捗情報は、仮想先端ビュー１３００等の、補足ガイダンス情報によって増強される仮想先端ビューを使用して表示してもよい。

プロセス１７４０において、細長い装置が標的位置の近傍にあるときに、グラフィカル・ユーザインターフェイスは、ナビゲーションモードからパフォーマンスモードに移行する。いくつかの実施形態では、細長い装置が標的位置の閾値距離内にあることを検出したことに応答して、グラフィカル・ユーザインターフェイスは自動的に移行してもよい。いくつかの実施形態では、臨床医は、グラフィカル・ユーザインターフェイスをナビゲーションモードからパフォーマンスモードに手動で移行させてもよい。例えば、臨床医は、グラフィカル・ユーザインターフェイスのナビゲーションモードで表示されるボタンをクリックしてもよい。

プロセス１７５０において、パフォーマンスモードにおいて、且つ標的位置での介入ステップの実行中に、パフォーマンス進捗情報が、グラフィカル・ユーザインターフェイスを介して表示される。いくつかの実施形態では、図５Ｄに示されるように、グラフィカル・ユーザインターフェイスのパフォーマンスモードは、グラフィカル・ユーザインターフェイス５００のパフォーマンスモードに対応し得る。いくつかの実施形態では、グローバル解剖学的モデル、縮小した解剖学的モデル、及び／又は仮想先端ビューを含む、プロセス１７３０で表示されるものと同様の１つ又は複数のビューを使用してパフォーマンス進捗情報を表示してもよい。いくつかの実施形態では、パフォーマンス進捗情報は、遠隔画像ビュー１５００等の遠隔画像ビューを使用して表示してもよい。いくつかの実施形態では、１つ又は複数のプローブは、細長い装置が標的位置にナビゲートされた後であって医療処置を行う前に、細長い装置に挿入され得る。内視鏡含む１つ又は複数のプローブ及びＥＢＵＳプローブ等を使用して、標的位置に対する細長い装置の位置合せを微調整し、及び／又は１つ又は複数の基準画像を取り込むことができる。その後、１つ又は複数のプローブを取り外して、生検針等の介入ステップを実行するためのツールと交換することができる。介入ステップを実行するためのツールが細長い装置内に挿入されるときに、１つ又は複数の基準画像を使用して、細長い装置が標的位置に位置合わせされたままであることを確認することができる。臨床医は、１つ又は複数の基準画像をスクロールして、どの基準画像を使用するかを選択することができる。基準画像が選択されると、ライブ遠隔画像と基準画像の違いを強調表示するために差分画像を表示することができる。この違いに基づいて、臨床医は、細長い装置の位置合せを調整して、ライブ遠隔画像を基準画像と一致させることができる。位置合せが満足のいくものであれば、介入ステップを実行することができる。

いくつかの実施形態では、方法１７００はプロセス１７５０の後に終了され得る。いくつかの実施形態では、方法１７００は、プロセス１７３０に戻って、細長い装置を１つ又は複数の追加の標的位置にナビゲートしてもよい。他の実施形態では、方法１７００は、プロセス１７１０に戻って、位置合せを繰り返し及び／又は向上させようと試みることができる。方法１７００の任意のプロセスにおいて、グラフィカル・ユーザインターフェイスは、検出された異常について臨床医に警告することができ、その場合に、臨床医は、異常を修正し、医療処置を終了し、前のステップに戻り、及び／又は異常にもかかわらず続行することができる。

図１８は、いくつかの実施形態による、グラフィカル・ユーザインターフェイスを使用して医療処置を監視する方法１８００の概略図である。図１～図１６と一致するいくつかの実施形態によれば、方法１８００を使用して、縮小した解剖学的モデル５２２及び／又は１１００を含む、グラフィカル・ユーザインターフェイス５００の１つ又は複数のビューを生成及び／又は表示することができる。

プロセス１８１０において、患者の解剖学的構造内の標的位置へのルートが受信される。いくつかの実施形態では、ルートは、医療処置の計画段階中に決定され得る。その後、ルートは、標的位置で医療処置を行うことができる医療器具システム２００等の医療器具システムに転送してもよい。いくつかの例では、ルートは、肺の気道を通り肺の標的位置までの経路を規定し得る。いくつかの例では、標的位置は、病変部、結節部、腫瘍部等のうちの１つ又は複数を含み得る。

プロセス１８２０において、ルートの１つ又は複数の特徴が、第１の解剖学的モデルから抽出されるか、又は第１の解剖学的モデルに基づいて決定される。いくつかの実施形態では、第１の解剖学的モデルは、患者の解剖学的構造の関連部分における既知の通路の完全なモデルを含み得る。例えば、第１の解剖学的モデルは、医療処置の計画中にルートを決定するために使用された肺気道のモデルを含み得る。いくつかの例では、第１の解剖学的モデルは、患者の解剖学的構造に位置合わせされ且つグローバル解剖学的モデルビュー１０００等のグローバル解剖学的モデルビューで表示される解剖学的モデルを含み得る。いくつかの例では、抽出された特徴は、ルートの直線表現等のルートの簡略化された経路を含み得る。

いくつかの例では、抽出された特徴は、ルートに沿ってカテーテル等の医療器具をナビゲートするときに臨床医が遭遇すると予想される目印（landmark）の特徴を含み得る。いくつかの例では、目印の特徴には、ルートから分岐する解剖学的通路の簡略化されたマップ（例えば、ルートを通過するときに遭遇する分岐点のセット）が含まれ得る。例えば、簡略化されたマップは、通路の完全な分岐構造ではなく、ルートから分岐する解剖学的通路の位置を示し得る。位置は、（図１１Ａ～図１１Ｃに示されるように）切り取られた分岐部、ドット、ハッシュマーク等の分岐部の位置を示す注釈を使用して示すことができる。いくつかの例では、簡略化されたマップは、対応する分岐通路を介して１つ又は複数の第２の標的位置に到達可能なときの標的アイコンを含むことができる。他の目印となる特徴には、ルートに沿って遭遇する病変部、結節部、血管、変色部、及び／又は他の様々な注目すべき特徴が含まれ得る。

いくつかの実施形態では、抽出された特徴には、ルートに沿った通路の幅が含まれ得る。いくつかの例では、幅は階層形式を使用して表され得る。例えば、幅は、最も近い階層レベルに丸められてもよく、及び／又は所与の位置での通路の分岐世代に基づいて近似してもよい。いくつかの実施形態では、抽出された特徴には、標的位置及び／又は標的位置の近傍における１つ又は複数の危険部の位置が含まれ得る。いくつかの例では、抽出された特徴には、ルートの終了部から標的位置までの挿入軌跡（例えば、挿入角度）が含まれ得る。

プロセス１８３０において、ルートの１つ又は複数の抽出された特徴に基づいて、縮小した解剖学的モデルが生成される。いくつかの例では、縮小した解剖学的モデルは、第１の解剖学的モデルの最も関連性のある特徴が含まれる一方、関連性の低い様々な詳細が除外されるため、第１の解剖学的モデルよりも大幅に簡略化、小さく、及び／又は明確にされ得る。いくつかの例では、縮小した解剖学的モデルの生成中に、抽出された特徴を、平坦化、直線化、クリップ化、簡略化等してもよい。

プロセス１８４０において、医療処置中に医療器具に関連するリアルタイムの位置情報が受信される。いくつかの実施形態によれば、医療装置は、形状センサ等の位置特定センサを有する操縦可能なカテーテルを含み得る。その結果、リアルタイムの位置情報は、形状センサからの形状データを含み得る。温度データ、歪みデータ等の医療器具及び／又は医療処置に関連する様々な他のリアルタイム情報もプロセス１８４０において受信され得る。リアルタイムの位置情報を受信することは、リアルタイムの位置情報における１つ又は複数の異常を決定することも含み得る。例えば、カテーテルの過度の曲げ、過熱、過度の駆動力等がプロセス１８４０において判定され得る。

プロセス１８５０において、リアルタイムの位置情報が、縮小した解剖学的モデルに（例えば、マッピングを介して）関連付けられる。いくつかの例では、リアルタイムの位置情報を縮小した解剖学的モデルにマッピングすることは、医療器具が簡略化されたルート経路に沿ってどれだけ延びるかを決定することを含み得る。いくつかの例では、プロセス１８５０において、間違った方向転換及び／又は簡略化されたルート経路の終了部を超えて延びること等の１つ又は複数の異常が判定され得る。

プロセス１８６０において、リアルタイムの位置情報を有する縮小した解剖学的モデルが動的に表示される。図１１に一致する例では、表示は、縮小した解剖学的モデル１１００に対応し得る。縮小した解剖学的モデルの表示サイズは、異なる方法で設定され、例えば常に利用可能な画面スペースの全幅に収まるように調整され、及び／又は経路の物理的な長さと相関するサイズに調整され得る（つまり、長い経路は短い経路よりも大きなビューで表示され得る）。プロセス１８４０及び／又は１８１５で判定された異常等の異常がリアルタイム進捗情報で検出された場合に、ディスプレイは、臨床医に異常を警告するための１つ又は複数のインジケータを含み得る。いくつかの例では、異常によって医療装置が誤った通路のその先に操縦される場合に、１つ又は複数のインジケータは、方向転換誤りインジケータを含み得る。異常によって器具がルートの終了部を超えて駆動される場合に、１つ又は複数のインジケータは、逆転インジケータを含み得る。異常によってきつい曲げ半径が含まれる場合に、１つ又は複数のインジケータは、過度の曲げインジケータを含む可能性があり、及び／又は縮小した解剖学的モデルに示されるように医療装置の外観（例えば、色、線のスタイル等）を変更する可能性がある。プロセス１８６０の後に、方法１８００は、プロセス１８４０に戻り、縮小した解剖学的モデルに関するリアルタイムの位置情報を連続的に受信し、マッピングし、動的に表示することができる。

図１９は、いくつかの実施形態による、グラフィカル・ユーザインターフェイスを使用して患者の解剖学的構造を表示する方法１９００の概略図である。図１～図１６と一致するいくつかの実施形態によれば、方法１９００を使用して、縮小した解剖学的モデル５２２及び／又は１１００を含む、グラフィカル・ユーザインターフェイス５００及び／又はその一部の１つ又は複数のビューを生成及び／又は表示することができる。

プロセス１９１０において、患者の解剖学的構造内の複数の通路の３Ｄモデルと、複数の通路内の標的位置へのルートとを含む第１の解剖学的構造が受信される。いくつかの例では、患者の解剖学的構造は、肺に対応し得る。そのような例と一致して、複数の通路は、肺の気道に対応し得る。いくつかの例では、標的位置は、病変部、結節部、腫瘍部等を含み得る。

プロセス１９２０において、複数の通路のサブセットに基づいて、縮小した解剖学的モデルが生成される。通路のサブセットには、ルートに直接的に接続されるパス通路（path passageway）が含まれる。すなわち、パス通路は、ルートを通過するときにカテーテル等の医療器具が遭遇する（例えば、通過及び／又は進入する）通路のサブセットを含む。

プロセス１９３０において、縮小した解剖学的モデルは、線形解剖学的モデルとして表示される。いくつかの例では、パス通路の幅は、段階的間隔（tiered separation）を有する垂直方向に間隔を空けたラインを使用して表され得る。例えば、より高い分岐世代を有するパス通路のために、段階的間隔を階層化することができる（すなわち、垂直方向に間隔を空けたラインが互いに近づけられる）。例えば、肺の場合に、気管に近いパス通路は分岐世代が低く、従って、垂直方向に間隔を空けた間隔が広いラインを使用して描かれるが、ルートの終了部近くのパス通路（例えば、ルートに沿って複数の分岐部を通過した後）は、分岐世代が高く、従って、気管に近いルートの通路に対して１回以上階層化され得る。いくつかの例では、パス通路から外れた分岐部の位置を線形解剖学的モデルで表すことができる。分岐した通路はルートに直接的に接続されていない場合があるため、分岐部は、完全な分岐構造（例えば、様々なサブ分岐部）を表すことなく、切り取られた分岐部として表すことができる。

図２０は、いくつかの実施形態による、グラフィカル・ユーザインターフェイスを使用して患者の解剖学的構造内の標的を表示するための方法２０００の概略図である。図１～図１６と一致するいくつかの実施形態によれば、方法２０００を使用して、仮想内視鏡ビュー１３００を含む、グラフィカル・ユーザインターフェイス５００及び／又はその一部の１つ又は複数のビューを生成及び／又は表示することができる。

プロセス２０１０において、患者の解剖学的構造のモデルを含む解剖学的モデルが受信される。例えば、解剖学的モデルは、肺の気道のモデルを含む患者の肺の３Ｄモデルであり得る。プロセス２０２０において、解剖学的モデルに対して標的が決定される。例えば、標的は、病変部、腫瘍部、結節部等の所定のサイズ及び／又は位置を含み得る。プロセス２０３０において、標的を取り囲む不確実性ゾーンが決定される。いくつかの例では、不確実性ゾーンは、解剖学的モデルを患者の解剖学的構造に位置合わせすることに関連する位置合せの不確実性に基づいて決定され得る。いくつかの例では、標的のサイズに基づいて不確実性ゾーンが決定され得る。いくつかの例では、不確実性ゾーンは、標的にアクセスするために予想される困難性に基づいて決定され得る（すなわち、到達困難な標的は、より大きな不確実性の影響を受け得る）。プロセス２０４０において、標的及び標的を取り囲む不確実性ゾーンが、解剖学的モデルに対して表示される。標的及び／又は不確実性ゾーンが解剖学的モデルの通路の外側にある場合等のいくつかの例では、解剖学的モデルの通路は半透明になる方法でレンダリングされ、それによって標的及び不確実性ゾーンが、通路の壁を通して見えるようになる。

制御ユニット１３０等の制御ユニットのいくつかの例は、実行可能コードを含む非一時的な有形の機械可読媒体を含み、実行可能コードが１つ又は複数のプロセッサ（例えば、プロセッサ１４０）によって実行されると、１つ又は複数のプロセッサに、方法１７００～２０００のプロセスを実行させ、及び／又はグラフィカル・ユーザインターフェイス４００及び／又は５００をレンダリングさせ得る。方法１７００～２０００のプロセス及び／又はグラフィカル・ユーザインターフェイス４００及び／又は５００をレンダリングするための命令を含み得る機械可読媒体のいくつかの一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、ＣＤ－ＲＯＭ、他の光媒体、パンチカード、紙テープ、孔パターンを有する他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、他のメモリチップ又はカートリッジ、及び／又はプロセッサ又はコンピュータが読み出しに適した他の媒体である。

例示的な実施形態を示して説明したが、前述した開示には広範囲の修正、変更、及び置換が企図され、場合によっては、実施形態のいくつかの特徴は、他の特徴の対応する使用なしに使用され得る。当業者は、多くの変形、代替、及び修正を認識するであろう。こうして、本発明の範囲は、添付の特許請求の範囲によってのみ限定すべきであり、特許請求の範囲は、本明細書に開示される実施形態の範囲と一致する形態で広く解釈することが適切である。

Claims (14)

1. 医療装置であって、当該医療装置は、
   可撓性本体を含む細長い装置と、
   該可撓性本体の少なくとも一部に沿って配置された追跡システムと、
   該追跡システムに通信可能に結合された１つ又は複数のプロセッサと、を含み、
   該１つ又は複数のプロセッサは、
   解剖学的構造における標的位置へのルートを受信すること、
   画像化技術を使用して取得した解剖学的モデル及び該解剖学的モデル内の前記ルートに基づいて、該ルートの１つ又は複数の特徴を決定することであって、該決定することは、前記解剖学的モデルにおいて、前記ルートに沿った前記解剖学的構造の分岐の世代に相関する複数の階層を特定するとともに、該複数の階層のうちの１つ又は複数の階層において前記ルートから外れる複数の分岐通路を特定し、前記解剖学的モデルに含まれる少なくとも前記複数の階層の通路幅を決定することを含む、こと、
   前記ルートの前記１つ又は複数の特徴に基づいて、細長く、直線的に縮約した解剖学的表現を生成することであって、該細長く、直線的に縮約した解剖学的表現には、前記ルートに沿った前記複数の階層のうちの各階層のそれぞれの前記通路幅が含まれ、各階層のそれぞれの前記通路幅は各階層の長さに沿って一致している、こと、
   前記追跡システムからリアルタイムの位置情報を受信すること、
   前記リアルタイムの位置情報を前記細長く、直線的に縮約した解剖学的表現に関連付けること、及び
   前記細長く、直線的に縮約した解剖学的表現を、前記関連付けられたリアルタイムの位置情報とともに動的に表示すること、を行うように構成される、
   医療装置。
2. 前記ルートの前記１つ又は複数の特徴には、前記ルートに沿った分岐部の位置が含まれ、該分岐部には、前記分岐部の完全な分岐構造を有さない、切り取られた（clipped）分岐部が含まれる、請求項１に記載の医療装置。
3. 前記標的位置への代替ルートを表す代替ルートインジケータが表示される、請求項２に記載の医療装置。
4. 前記ルートの前記１つ又は複数の特徴には、前記ルートに関連する危険部が含まれる、請求項１に記載の医療装置。
5. 前記リアルタイムの位置情報を動的に表示することは、異常が検出されたときに、１つ又は複数のインジケータを表示することを含み、前記１つ又は複数のインジケータは、方向転換誤りインジケータ、逆転インジケータ、及び過度の曲げインジケータのうちの１つ又は複数を含む、請求項１に記載の医療装置。
6. 解剖学的構造を表示する方法であって、当該方法は、
   グラフィカル・ユーザインターフェイスを提供するステップと、
   （ｉ）前記解剖学的構造内の複数の通路から構成される３Ｄ表現を含む解剖学的モデルと、（ｉｉ）前記解剖学的モデルにおける前記複数の通路内の標的位置へのルートとを受信するステップであって、前記解剖学的モデルは画像化技術を使用して取得される、ステップと、
   （ｉ）前記解剖学的モデル及び（ｉｉ）前記標的位置への前記ルートに基づいて、該ルートの１つ又は複数の特徴を決定するステップであって、該決定するステップには、前記解剖学的モデルにおいて、前記ルートに沿った前記解剖学的構造の分岐の世代に相関する複数の階層を特定するとともに、前記複数の階層のうちの１つ又は複数の階層において前記ルートから外れる複数の分岐通路を特定し、前記解剖学的モデルに含まれる少なくとも前記複数の階層の通路幅を決定するステップが含まれる、ステップと、
   前記ルートの前記１つ又は複数の特徴に基づいて、細長く、直線的に縮約した解剖学的表現を生成するステップと、
   前記細長く、直線的に縮約した解剖学的表現を表示するステップと、を含み、
   前記複数の通路のサブセットには前記ルートに接続される分岐通路が含まれ、前記細長く、直線的に縮約した解剖学的表現には、前記ルートに沿った前記複数の階層のうちの各階層のそれぞれの前記通路幅が含まれ、各階層のそれぞれの前記通路幅は各階層の長さに沿って一致している、
   方法。
7. 前記解剖学的構造は肺に対応し、前記解剖学的構造内の前記複数の通路は前記肺の気道に対応する、請求項６に記載の方法。
8. 前記標的位置には、病変部、結節部、及び腫瘍部のうちの１つ又は複数が含まれる、請求項６に記載の方法。
9. 前記ルートから外れた分岐部の位置が前記細長く、直線的に縮約した解剖学的表現に含まれる、請求項６に記載の方法。
10. 前記標的位置への代替ルートを表す代替ルートインジケータを表示するステップをさらに含む、請求項６に記載の方法。
11. 前記標的位置までの挿入軌跡を表示するステップをさらに含む、請求項６に記載の方法。
12. 前記ルートに関連する危険部を識別し、前記挿入軌跡に対して前記危険部の位置を表示するステップをさらに含む、請求項１１に記載の方法。
13. 前記ルートの通過中に、器具に関連付けられたリアルタイムの位置情報を受信するステップと、
    前記リアルタイムの位置情報を前記細長く、直線的に縮約した解剖学的表現にマッピングするステップと、
    前記リアルタイムの位置情報を前記細長く、直線的に縮約した解剖学的表現とともに動的に表示するステップと、をさらに含む、請求項６に記載の方法。
14. 前記リアルタイムの位置情報を動的に表示するステップは、異常が検出されたときに、１つ又は複数のインジケータを表示するステップを含む、請求項１３に記載の方法。
    

Images