JP6828047B2 - 画像誘導手術における透視撮像システムの姿勢推定及び較正のシステム及び方法 - Google Patents

Description

関連出願
本特許出願は、２０１６年２月１２日に出願された、”SYSTEMS AND METHODS OF POSE ESTIMATION AND CALIBRATION OF
PERSPECTIVE IMAGING SYSTEM IN IMAGE GUIDED SURGERY”という表題の米国仮特許出願第６２／２９４，８４５号、及び２０１６年２月１２日に出願された、”SYSTEMS AND METHODS OF POSE ESTIMATION AND CALIBRATION OF
PERSPECTIVE IMAGING SYSTEM IN IMAGE GUIDED SURGERY”という表題の米国仮特許出願第６２／２９４，８５７号の優先権及び出願日の利益を主張するものであり、これら両文献は、その全体が参照により本明細書に組み込まれる。

本開示は、画像誘導処置を実施するためのシステム及び方法を対象にしており、より具体的には、透視撮像システムの姿勢推定、較正、及び画像誘導処置中のツールナビゲーションの精度を向上させるようなリアルタイム・トモシンセシスのためのシステム及び方法を対象にする。

低侵襲性医療技術は、医療処置中に損傷を受ける組織の量を減らし、それにより患者の回復時間、不快感、及び有害な副作用を低減させることを意図している。そのような低侵襲性技術は、患者の解剖学的構造の自然オリフィスを介して、或いは１つ又は複数の外科的切開部を介して行うことができる。これらの自然オリフィス又は切開部を介して、臨床医は、（手術用、診断用、治療用、又は生検用器具を含む）低侵襲性医療器具を挿入して標的組織位置に到達させることができる。標的組織位置に到達させるのを支援するために、医療器具の位置及び動きを、患者の解剖学的構造の手術前又は手術中の画像と位置合わせすることができる。画像に位置合わせされた画像誘導器具を用いて、器具は、肺、結腸、腸、腎臓、心臓、循環器系等の解剖学系の自然又は外科的に形成された通路をナビゲートされ得る。いくつかの画像誘導器具は、細長い可撓性器具の形状及びこの器具の先端部の姿勢に関する情報を提供する光ファイバ形状センサを含むことができる。いくつかの実施形態では、透視撮像システムが手術中に使用され、処置中に標的及び／又は器具の位置を特定するのを支援する。撮像データによって医療器具の位置を正確に特定するのを支援するために、撮像システムを手術環境の座標系に正確に位置合わせしなければならない。手術環境に対する撮像システムの姿勢推定及び較正に関連するエラーを最小化するためのシステム及び方法が、医療器具を手術環境内でより確実に位置特定し且つナビゲートするために、必要とされる。

本発明の実施形態は、詳細な説明に続く特許請求の範囲によって要約される。

一実施形態では、コンピュータシステムによって実行される方法は、第１組のパラメータを有する蛍光透視撮像装置から、手術座標空間内の第１の基準マーカの第１の蛍光透視画像データを受信するステップを含む。この方法は、手術座標空間内の第１の基準マーカの構成を受信するステップも含む。この方法は、第１の蛍光透視画像データ及び第１の基準マーカの構成に基づいて、手術座標空間内の蛍光透視撮像装置の第２組のパラメータを決定するステップを含む。一態様では、第２組のパラメータを決定するステップは、第１の蛍光透視画像データ及び第１の基準マーカの構成から手術座標空間における基準マーカの較正モデルを作成するステップを含む。

別の実施形態では、コンピュータ支援医療システムは、１つ又は複数のプロセッサと、手術座標空間内に既知の構成で位置付けされた第１の基準マーカとを有する。基準マーカは形状センサを含む。１つ又は複数のプロセッサは、蛍光透視撮像装置から、手術座標空間内に既知の構成で位置付けされた第１の基準マーカの第１の蛍光透視画像データを受信することと、形状センサから形状情報を受信することと、を含む段階を実行する。この段階はまた、形状情報から手術座標空間内の第１の基準マーカの既知の構成を決定することと、第１の蛍光透視画像データから手術座標空間内の基準マーカの較正モデルを決定することとを含む。この段階は、第１の蛍光透視画像データに基づいて、手術座標空間における蛍光透視撮像装置の姿勢を決定することをさらに含む。

別の実施形態では、コンピュータ支援医療システムは、手術座標空間の全走査範囲を有する蛍光透視撮像装置と、１つ又は複数のプロセッサとを含み、１つ又は複数のプロセッサは、段階を実行するよう構成される。一態様では、この段階は、蛍光透視撮像装置から患者の解剖学的構造の第１の蛍光透視画像データセットを受信することと、全走査範囲よりも実質的に小さい制限範囲で動作する蛍光透視撮像装置から患者の解剖学的構造の少なくとも１つの追加の蛍光透視画像データセットを受信することを含む。この段階はまた、第１の蛍光透視画像データセット及び少なくとも１つの追加の蛍光透視画像データセットから第１の平面断層画像を構築することも含む。

別の実施形態では、局所的な（localized）トモシンセシスの方法は、患者の解剖学的構造の第１の蛍光透視画像データセットを受信するステップを含み、第１の蛍光透視画像データセットは、蛍光透視撮像装置の全走査範囲から取得される。この方法はまた、全走査範囲よりも実質的に小さい制限範囲で動作する蛍光透視撮像装置から患者の解剖学的構造の少なくとも１つの追加の蛍光透視画像データセットを受信するステップも含む。この方法はまた、第１の蛍光透視画像データセット及び少なくとも１つの追加の蛍光透視画像データセットから第１の平面の断層画像を構築するステップも含む。一態様では、この方法はまた、第１の平面の断層画像に基づいて、全走査範囲よりも実質的に小さい第２の制限領域内で蛍光透視撮像装置を動作させるステップも含む。一態様では、この方法はまた、蛍光透視撮像装置が第２の制限領域内にある間に受信された蛍光透視画像データセットから第２の平面断層画像を構築するステップも含む。

別の実施形態では、局所的なトモシンセシスの方法は、蛍光透視撮像装置を制限範囲内の第１の位置に移動させるステップを含み、蛍光透視撮像装置は全走査範囲を有し、制限範囲は全走査範囲よりも実質的に小さい。この方法はまた、第１の位置から患者の解剖学的構造の第１の蛍光透視画像を取得するステップと、蛍光透視撮像装置を制限範囲内の複数の追加の位置に移動させるステップと、複数の追加の位置のそれぞれからの蛍光透視画像を取得するステップと、第１の蛍光透視画像及び複数の追加の位置のそれぞれから得られた蛍光透視画像から第１の平面断層撮影画像を構築するステップを含む。

前述した一般的な説明及び以下の詳細な説明は両方とも、本質的に例示的且つ説明的なものであり、本開示の範囲を限定することなく本開示の理解を与えることを意図していることを理解されたい。その点で、本開示の追加の態様、特徴、及び利点は、以下の詳細な説明から当業者に明らかになるであろう。

本開示の実施形態による遠隔操作医療システムの図である。 本開示の態様を利用する医療器具システムを示す図である。 本開示の実施形態による、延長された医療ツールを含む図２Ａの医療器具システムの先端部を示す図である。 人の肺内に位置付けされた図２Ａの医療器具システムの先端部を示す図である。 本開示の実施形態による、画像誘導外科的処置においてガイダンスを提供するために使用される方法を示すフローチャートである。 本開示の実施形態による挿入アセンブリに取り付けられた医療器具及び光追跡システムを含む患者座標空間の側面図である。 図５に示される患者座標空間の異なる側面図であり、本開示の実施形態による、患者及び外部追跡システムに対して第１の位置に位置する蛍光透視撮像システムのＣ字型アームを含む。 図６Ａに示される患者座標空間の側面図であり、本開示の実施形態による、患者及び外部追跡システムに対して第２の位置に位置する透視撮像システムのＣ字型アームを含む。 本開示の様々な実施形態による例示的な基準マーカを示し、１組の特有のマーカ要素を含む例示的な基準マーカを示す。 格子状パターンを含む基準マーカを示す図である。 市松模様パターンを含む基準マーカを示す図である。 本開示の様々な実施形態によるいくつかの例示的な判別可能な基準マーカを示す図である。 本開示の様々な実施形態によるいくつかの例示的な判別可能な基準マーカを示す図である。 本開示の様々な実施形態によるいくつかの例示的な判別可能な基準マーカを示す図である。 本開示の様々な実施形態によるいくつかの例示的な判別可能な基準マーカを示す図である。 本開示の様々な実施形態によるいくつかの例示的な判別可能な基準マーカを示す図である。 本開示の実施形態による、不均一な直線状パターンで配置されたマーカ要素を有する基準マーカを示す図である。 本開示の実施形態による、不均一な直線状パターンで配置されたマーカ要素を有する基準マーカを示す図である。 クロス比及び射影不変性の原理を示す図である。 透視撮像装置が２つの異なる位置から静止した基準マーカを撮像する画像誘導外科的処置における射影不変性の原理を示す図である。 静止した透視撮像装置が２つの異なる位置に配置された基準マーカを撮像する画像誘導外科的処置における射影不変性の原理を示す図である。 本開示の一実施形態による画像誘導医療処置の一部のフローチャートを示す。 手術環境の面から見た患者の解剖学的構造及びトモシンセシスの構成を示す図である。 直交面から見た図１４の患者の解剖学的構造及びトモシンセシスの構成を示す図である。 本開示の一実施形態による画像誘導医療処置のフローチャートを示す。

本開示の態様は、添付図面と併せて理解するときに以下の詳細な説明から最もよく理解される。業界の一般的な慣例に従って、様々な特徴を一定の縮尺で描いていないことを強調しておく。実際に、様々な特徴の寸法は、説明を明瞭にするために適宜増減され得る。さらに、本開示は、様々な例において参照符号及び／又は文字を繰り返し得る。この繰返しは、簡潔さ及び明瞭さを目的とするものであり、その繰返し自体が議論される様々な実施形態及び／又は構成の間の関係を規定するものではない。

本発明の態様の以下の詳細な説明では、開示される実施形態の完全な理解を与えるために、多数の特定の詳細が記載される。しかしながら、当業者には、本開示の実施形態がこれらの特定の詳細なしに実施し得ることは明らかであろう。他の例では、本発明の実施形態の態様を不必要に不明瞭にしないために、周知の方法、手順、構成要素、及び回路を詳細に説明していない。また、不必要な説明の繰り返しを避けるために、１つの例示的な実施形態に従って説明される１つ又は複数の構成要素又は動作は、他の例示的な実施形態から適用可能であるものとして、使用又は省略され得る。

以下の実施形態は、３次元空間内の状態の観点から、様々な器具及び器具の部分について説明する。本明細書で使用される場合に、用語「位置」は、３次元空間（例えば、デカルト座標Ｘ，Ｙ，Ｚに沿った並進３自由度）における対象物又は対象物の一部の位置を指す。本明細書で使用される場合に、用語「向き」は、対象物又は対象物の一部の回転配置（例えば、ロール、ピッチ、及びヨーの回転３自由度）を指す。本明細書で使用される場合に、用語「姿勢」は、少なくとも１つの並進自由度における対象物又は対象物の一部の位置、及び少なくとも１つの回転自由度におけるその対象物又は対象物の一部の向き（合計６つの自由度まで）を指す。本明細書で使用される場合に、用語「形状」は、対象物に沿って測定された１組の姿勢、位置、又は向きを指す。

図面の図１を参照すると、例えば手術、診断、治療、又は生検処置で使用する遠隔操作医療システムが、全体的に遠隔操作医療システム１００として示される。図１に示されるように、遠隔操作システム１００は、一般に、患者Ｐに対して様々な処置を行う際に医療器具システム１０４を操作するための遠隔操作可能なマニピュレータセンブリ１０２を含む。遠隔操作可能なマニピュレータセンブリ１０２は、「遠隔操作可能なアセンブリ１０２」又は「マニピュレータアセンブリ１０２」とも呼ばれる。医療器具システム１０４は、「医療器具１０４」とも呼ばれる。このアセンブリ１０２は、手術台Ｏに又はその近くに取り付けられる。オペレータ入力システム１０６（「マスターアセンブリ１０６」とも呼ばれる）によって、臨床医又は外科医Ｓが、介入部位を確認し、マニピュレータアセンブリ１０２を制御することができる。

オペレータ入力システム１０６は、通常手術台Ｏと同じ部屋に位置する外科医コンソールに配置することができる。しかしながら、外科医Ｓは、患者Ｐとは異なる部屋に又は完全に異なる建物内に位置する可能性があることを理解されたい。オペレータ入力アセンブリ１０６は、一般に、マニピュレータアセンブリ１０２を制御するための１つ又は複数の制御装置を含む。制御装置は、ジョイスティック、トラックボール、データグローブ、トリガーガン、手動式制御装置、音声認識装置、身体モーションセンサ又は存在センサ等の多数の様々な入力装置を含むことができる。いくつかの実施形態では、制御装置には、関連する医療器具１０４と同じ自由度が与えられ、テレプレゼンス、すなわち制御装置が器具１０４と一体であるという知覚を外科医に与えるので、外科医は器具１０４を直接的に制御しているという強い感覚を有することになる。他の実施形態では、制御装置は、関連する医療器具１０４よりも多い又は少ない自由度を有してもよく、依然として外科医にテレプレゼンスを提供することができる。いくつかの実施形態では、制御装置は、６自由度で動く手動入力装置であり、（例えば、把持顎部を閉じる、電極に電位を印加する、又は薬物療法を送達する等のために）器具を作動させるための作動可能ハンドルも含むことができる。

遠隔操作可能なアセンブリ１０２は、医療器具システム１０４をサポートしており、１つ又は複数の非サーボ制御リンク（例えば、手動で位置付けされ、適所にロックされる１つ又は複数のリンク、一般にセットアップ構造と呼ばれる）及び遠隔操作可能なマニピュレータの運動学的構造を含むことができる。遠隔操作可能なアセンブリ１０２は、制御システム（例えば、制御システム１１２）からのコマンドに応答して、医療器具システム１０４上の入力部を駆動させる複数のアクチュエータ又はモータを含む。モータが駆動システムを含み、医療器具に結合されたときに、システム１０４が、医療器具を自然に又は外科的に形成された解剖学的オリフィス内に進めることができる。他の電動駆動システムは、医療器具の先端部を複数の自由度で動かすことができ、その複数の自由度は、３つの直線自由度（例えば、Ｘ，Ｙ，Ｚデカルト軸に沿った直線運動）、及び３つの回転自由度（例えば、Ｘ，Ｙ，Ｚデカルト軸の周りの回転）を含むことができる。さらに、モータを使用して、器具の関節運動可能なエンドエフェクタを作動させ、生検装置の顎部等で組織を把持することができる。レゾルバ（resolver）、エンコーダ、ポテンショメータ、及び他の機構等のモータの位置センサは、モータシャフトの回転及び向きを表すセンサデータを遠隔操作可能なアセンブリに提供することができる。この位置センサデータを使用して、モータによって操作される対象物の動きを決定することができる。

遠隔操作可能な医療システム１００は、遠隔操作可能なアセンブリの器具に関する情報を受信するための１つ又は複数のサブシステムを含むセンサシステム１０８も有する。そのようなサブシステムは、位置／位置特定センサシステム（例えば、電磁（EM）センサシステム）；器具システム１０４の可撓性本体に沿ったカテーテル・チップ及び／又は１つ又は複数のセグメントの位置、向き、速さ、速度、姿勢、及び／又は形状を決定するための形状センサシステム；及び／又はカテーテルシステムの先端部から画像を取り込むための視覚化システムを含むことができる。

視覚化システム（例えば、図２Ａの視覚化システム２３１）は、手術部位の同時(concurrent)又はリアルタイムの画像を記録し、この画像を臨床医又は外科医Ｓに提供する視野スコープ(viewing scope)アセンブリを含むことができる。同時画像は、例えば、手術部位の外部に位置付けされた透視（perspective）撮像システムによって取り込まれた２次元又は３次元画像であってもよい。いくつかの実施形態では、透視撮像システムは、非限定的な例として、蛍光透視撮像装置、Ｘ線撮像装置、又は光学カメラ等の２次元画像を形成する撮像装置を含む。追加的に又は代替的に、同時画像は、例えば、手術部位内に位置付けされた内視鏡によって取り込まれた２次元又は３次元画像であってもよい。この実施形態では、視覚化システムは、医療器具１０４に一体的に又は取外し可能に結合され得る内視鏡要素を含む。しかしながら、代替実施形態では、別個のマニピュレータアセンブリに取り付けられた別個の内視鏡を医療器具と一緒に用いて、手術部位を撮像することができる。視覚化システムは、１つ又は複数のコンピュータプロセッサと相互作用するか、又は他にそのプロセッサによって実行されるハードウェア、ファームウェア、ソフトウェア、又はこれらの組合せとして実装してもよく、視覚化システムは、制御システム１１２（後述）のプロセッサを含むことができる。制御システム１１２のプロセッサは、本明細書に開示されるプロセスに対応する命令を含む命令を実行することができる。

遠隔操作可能な医療システム１００は、センサシステム１０８のサブシステムによって生成された手術部位及び医療器具システム（複数可）１０４の画像又は表現を表示するための表示システム１１０も含む。表示システム１１０及びオペレータ入力システム１０６は、オペレータがテレプレゼンスの知覚によって医療器具システム１０４及びオペレータ入力システム１０６を制御できるように向き合わせしてもよい。

表示システム１１０は、視覚化システムによって取り込まれた手術部位及び医療器具の画像を表示することもできる。表示システム１１０及び制御装置は、内視鏡アセンブリ内の撮像装置と医療器具との相対位置が外科医の目や手の相対位置と同様となるように向き合せされ、それによってオペレータが、あたかも実質的に真の存在下で作業空間を見ているかのように医療器具１０４及びハンド・コントロールを操作することができる。真の存在とは、提示される画像が、器具１０４を物理的に操作しているオペレータの視点をシミュレートしている真の視点画像であることを意味する。

代替的に又は追加的に、表示システム１１０は、コンピュータ断層撮影（CT）、磁気共鳴画像法（MRI）、蛍光透視法、サーモグラフィ、超音波、光コヒーレンストモグラフィ（OCT）、熱イメージング、インピーダンスイメージング、レーザーイメージング、又はナノチューブＸ線イメージング等の撮像技術からの画像データを用いて手術前に又は手術中に記録された手術部位の画像を提示することができる。手術前又は手術中の画像データは、２次元、３次元、又は４次元画像（例えば、時間ベース又は速度ベースの情報を含む）、或いは手術前又は手術中の画像データセットから形成されたモデルからの画像として提示することができる。

いくつかの実施形態では、大抵の場合に画像誘導外科的処置の目的のために、表示システム１１０は、医療器具１０４の実際の位置が手術前又は同時画像／モデルに位置合わせ（すなわち、動的に参照）され、器具１０４のチップ位置の視点からの内部手術部位の仮想画像を臨床医又は外科医Ｓに提示する仮想ナビゲーション画像を表示することができる。外科医が医療器具を制御するのを支援するために、器具１０４のチップの画像或いは他のグラフィカルインジケータ又は英数字インジケータを仮想画像に重ね合わせてもよい。あるいはまた、器具１０４は、仮想画像内で見えないことがある。

他の実施形態では、表示システム１１０は、医療器具の実際の位置が手術前画像又は同時画像に位置合わせされ、外部視点からの手術部位内の医療器具の仮想画像を臨床医又は外科医Ｓに提示する仮想ナビゲーション画像を表示することができる。外科医が器具１０４を制御するのを支援するために、医療器具の一部の画像或いは他のグラフィカルインジケータ又は英数字インジケータを仮想画像に重ね合わせてもよい。

遠隔操作可能な医療システム１００は、制御システム１１２も含む。制御システム２０は、少なくとも１つのメモリ及び少なくとも１つのプロセッサ（図示せず）を含み、典型的には医療器具システム１０４と、オペレータ入力システム１０６と、センサシステム１０８と、表示システム１１０との間で制御を行うための複数のプロセッサを含む。制御システム１１２は、本明細書に開示される態様に従って説明される方法の一部又は全てを実施するようにプログラムされた命令（例えば、命令を記憶するコンピュータ可読媒体）も含み、この命令には、病理学的情報を表示システム１１０に提供する命令も含む。制御システム１１２が、図１の簡略図に単一のブロックとして示されているが、このシステムは、オプションで、処理の一部が遠隔操作可能なアセンブリ１０２で又はこのアセンブリ１０２に隣接して実行され、処理の別の部分がオペレータ入力システム１０６等で実行される２つ以上のデータ処理回路を含むこともできる。多種多様の集中型又は分散型データ処理アーキテクチャを使用してもよい。同様に、プログラムされた命令は、多数の別個のプログラムやサブルーチンとして実装してもよく、又はそれら命令は、本明細書に記載される遠隔操作可能なシステムの多数の他の態様に組み込んでもよい。一実施形態では、制御システム１１２は、ブルートゥース（登録商標）、ＩｒＤＡ、ホームＲＦ、ＩＥＥＥ８０２．１１、ＤＥＣＴ、及び無線テレメトリ等の無線通信プロトコルをサポートする。

いくつかの実施形態では、制御システム１１２は、医療器具システム１０４から力及び／又はトルクフィードバックを受け取る１つ又は複数のサーボコントローラを含むことができる。フィードバックに応答して、サーボコントローラは、オペレータ入力システム１６に信号を送信する。サーボコントローラ（複数可）は、遠隔操作可能なアセンブリ１０２に命令する信号を送信して、医療器具システム（複数可）１０４を移動させ、このシステム１０４を、患者の身体の開口部を介してこの身体の内部手術部位に延ばすこともできる。任意の適切な従来の又は専用のサーボコントローラを使用してもよい。サーボコントローラは、遠隔操作可能なアセンブリ１０２とは別にしてもよく、又は一体化してもよい。いくつかの実施形態では、サーボコントローラ及び遠隔操作可能なアセンブリは、患者の身体に隣接して位置付けされた遠隔操作可能なアームカートの一部として提供される。

制御システム１１２は、画像誘導外科的処置で使用される場合に、医療器具システム（複数可）１０４にナビゲーション支援を提供する仮想視覚化システムをさらに含むことができる。仮想視覚化システムを使用する仮想ナビゲーションは、解剖学的通路の手術前又は手術中に取得したデータセットを参照することに基づく。より具体的には、仮想視覚化システムは、コンピュータ断層撮影（CT）、磁気共鳴画像法（MRI）、蛍光透視法、サーモグラフィ、超音波、光コヒーレンストモグラフィ（OCT）、熱イメージング、インピーダンスイメージング、レーザーイメージング、ナノチューブＸ線イメージング等の撮像技術を使用して撮像された手術部位の画像を処理する。ソフトウェアのみ又は手動入力と組み合わされたソフトウェアが、記録された画像を、部分的又は全体的な解剖学的臓器又は解剖学的領域のセグメント化された２次元又は３次元の合成表現に変換するために使用される。画像データセットは、この合成表現に関連付けられる。合成表現及び画像データセットは、通路の様々な位置及び形状、並びにそれらの接続性を表す。合成表現を生成するために使用される画像は、臨床診断中に、手術前に又は手術中に記録してもよい。代替実施形態では、仮想視覚化システムは、標準的な表現（すなわち、患者固有ではない）、又は標準的な表現及び患者固有データのハイブリッドを使用してもよい。合成表現及び合成表現によって生成された任意の仮想画像は、１つ又は複数の動作段階中（例えば、肺の吸気／呼気サイクル中）の変形可能な解剖学的領域の静的姿勢を表すことができる。

仮想ナビゲーション処置の間に、センサシステム１０８を使用して、患者の解剖学的構造に対する器具のおおよその位置を計算することができる。この位置を使用して、患者の解剖学的構造のマクロレベル（外部）の追跡画像と、患者の解剖学的構造の仮想的な内部画像との両方を生成することができる。仮想視覚化システムからの画像等の手術前に記録された外科的画像と一緒に医療器具を位置合わせして表示するために、電磁（ＥＭ）センサ、光ファイバセンサ、又は他のセンサを使用する様々なシステムが知られている。例えば、米国特許出願第１３／１０７，５６２号（２０１１年５月１３日出願）（”Medical System Providing Dynamic Registration of a Model of an
Anatomical Structure for Image-Guided Surgery”を開示する）は、そのようなシステムの１つを開示しており、この文献は、その全体が参照により本明細書に組み込まれる。

遠隔操作可能な医療システム１００は、照明システム、操縦制御システム、洗浄システム、及び／又は吸引システム等のオプションのオペレーション及びサポートシステム（図示せず）をさらに含むことができる。代替実施形態では、遠隔操作可能なシステムは、複数の遠隔操作可能なアセンブリ及び／又は複数のオペレータ入力システムを含んでもよい。マニピュレータアセンブリの正確な数は、数ある要因の中でも、外科的処置及び手術室内の空間的制約に依存するだろう。オペレータ入力システムを併置してもよく、又はそれら入力システムを別々の位置に配置してもよい。複数のオペレータ入力システムによって、複数のオペレータが１つ又は複数のマニピュレータアセンブリを種々の組合せで制御することが可能になる。

図２Ａは、医療器具システム２００を示しており、このシステム２００は、遠隔操作可能な医療システム１００を用いて行われる画像誘導医療処置において医療器具システム１０４として使用され得る。あるいはまた、医療器具システム２００は、非遠隔操作の診査的処置、又は内視鏡等の従来の手動操作の医療器具を伴う処置で使用することができる。追加的に又は代替的に、医療器具システム２００は、患者の解剖学的通路の位置に対応する１組のデータポイントを収集（すなわち、測定）するために使用してもよい。

器具システム２００は、器具ハウジング２０４に結合されるカテーテルシステム２０２を含む。カテーテルシステム２０２は、基端部２１７及び先端部２１８（チップ部分２１８とも呼ばれる）を有する細長い可撓性カテーテル本体２１６を含む。一実施形態では、可撓性本体２１６は、約３ｍｍの外径を有する。他の可撓性本体の外径は、これよりも大きくても小さくてもよい。カテーテルシステム２０２は、必要に応じて、先端部２１８におけるカテーテル・チップの及び／又は本体２１６に沿った１つ又は複数のセグメント２２４の、位置、向き、速さ、速度、姿勢、及び／又は形状を決定するための形状センサシステム２２２（形状センサ２２２とも呼ばれる）を含むことができる。先端部２１８と基端部２１７との間の本体２１６の全長を、複数のセグメント２２４に効果的に分割してもよい。器具システム２００が遠隔操作可能な医療システム１００の医療器具システム１０４である場合に、形状センサ２２２は、センサシステム１０８の構成要素であってもよい。器具システム２００が手動操作される又は他に非遠隔操作処置で使用される場合に、形状センサ２２２を追跡システム２３０に結合し、追跡システム２３０によって、この形状センサに問い合わせし、受信した形状データを処理することができる。

形状センサ２２２は、可撓性カテーテル本体２１６と整列した（例えば、内部チャネル（図示せず）内に設けられ又は外付けされた）光ファイバを含んでもよい。一実施形態では、光ファイバは、約２００μｍの直径を有する。他の実施形態では、この寸法は、それよりも大きくても小さくてもよい。形状センサシステム２２２の光ファイバは、カテーテルシステム２０２の形状を決定するための光ファイバの曲げセンサを形成する。１つの代替実施形態では、ファイバブラッグ回折格子（FBGs）を含む光ファイバが、１つ又は複数の次元における構造内の歪み測定を提供するために使用される。光ファイバの形状及び相対位置を３次元で監視するための様々なシステム及び方法が、米国特許出願第１１／１８０，３８９号（２００５年７月１３日出願）（”Fiber optic position and shape sensing device and method relating
thereto”を開示する）、米国特許出願第１２／０４７，０５６号（２００４年７月１６日出願）（”Fiber-optic
shape and relative position sensing”を開示する）、及び米国特許第６，３８９，１８７号（１９９８年６月１７日出願）（”Optical Fibre Bend Sensor”を開示する）に記載されており、これらの文献は、それら全体が参照により本明細書に組み込まれる。代替実施形態では、レイリー散乱、ラマン散乱、ブリルアン散乱、及び蛍光散乱等の他の歪み感知技術を用いるセンサが適している。他の代替実施形態では、他の技術を用いて、カテーテルの形状を決定してもよい。例えば、カテーテルの先端チップの姿勢の履歴を用いて、その時間間隔に亘った装置の形状を再構築することができる。別の例として、過去の姿勢、位置、又は向きデータは、呼吸等の交互に行われる動作サイクルに従った器具システムの既知の点として保存することができる。この保存データを使用して、カテーテルに関する形状情報を求めることができる。あるいはまた、カテーテルに沿って位置付けされた電磁（ＥＭ）センサ等の一連の位置センサを、形状感知のために使用することができる。あるいはまた、処置中に器具システム上のＥＭセンサ等の位置センサからの履歴データを使用して、特に解剖学的通路が略静止している場合には、器具の形状を表すことができる。あるいはまた、外部磁場により制御される位置又は向きを含む無線装置を、形状感知のために使用することができる。無線装置の位置の履歴を使用して、ナビゲートする通路の形状を決定することができる。

医療器具システムは、必要に応じて、位置センサシステム２２０を含んでもよい。位置センサシステム２２０は、電磁（EM）センサシステムの構成要素であってもよく、センサ２２０は、外部で発生した電磁場に曝される１つ又は複数の導電コイルを含む。そのような実施形態では、次に、位置センサシステム２２０を含むＥＭセンサシステム２２０の各コイルは、外部で発生した電磁場に対してコイルの位置及び向きに依存する特性を有する誘導電気信号を生成する。一実施形態では、ＥＭセンサシステムは、６つの自由度、例えば３つの位置座標Ｘ，Ｙ，Ｚ及び基点のピッチ、ヨー、及びロールを示す３つの方位角、或いは５つの自由度、例えば３つの位置座標Ｘ，Ｙ，Ｚ及び基点のピッチ及びヨーを示す２つの方位角を測定するように構成され且つ位置付けすることができる。ＥＭセンサシステムについての更なる説明は、米国特許第６，３８０，７３２号（１９９９年８月１１日出願）（”Six-Degree of Freedom Tracking System Having a Passive Transponder
on the Object Being Tracked”を開示する）に提供されており、この文献は、その全体が参照により本明細書に組み込まれる。いくつかの実施形態では、（患者の固定座標系における）形状センサのベースの位置に関する情報を一緒に含むセンサの形状によって、先端チップを含む形状センサ沿った様々な点の位置を計算できるので、形状センサは、位置センサとして機能することもできる。

追跡システム２３０は、位置センサシステム２２０及び形状センサシステム２２２を含み、先端部２１８の及び器具システム２００に沿った１つ又は複数のセグメント２２４の位置、向き、速さ、姿勢、及び／又は形状を決定することができる。追跡システム２３０は、制御システム１１６のプロセッサを含み得る１つ又は複数のコンピュータプロセッサと対話するか、又は他にそれらコンピュータプロセッサによって実行されるハードウェア、ファームウェア、ソフトウェア、又はこれらの組合せとして実装してもよい。

可撓性カテーテル本体２１６は、医療器具２２６を受容するようにサイズ決め及び成形されたチャネル２２１を含む。医療器具は、例えば、画像取込みプローブ、生検器具、レーザーアブレーション用ファイバ、或いは他の手術用、診断用、又は治療用ツールを含んでもよい。医療ツールは、メス、ブラント(blunt)ブレード、光ファイバ、又は電極等の単一の作動部材を有するエンドエフェクタを含んでもよい。他のエンドエフェクタは、例えば、鉗子、把持器、はさみ、又はクリップアプライアを含み得る。電気的に起動されるエンドエフェクタの例には、電気外科電極、トランスデューサ、センサ等が含まれる。様々な実施形態では、医療ツール２２６は、画像取込みプローブであり、このプローブは、表示するために視覚化システム２３１によって処理される画像（ビデオ画像を含む）を取り込むために、可撓性カテーテル本体２１６の先端部２１８に又はこの近くに立体視カメラ又はモノスコープカメラを含む先端部分を含む。画像取込みプローブは、取り込んだ画像データを送信するためにカメラに結合されたケーブルを含んでもよい。あるいはまた、画像取込み器具は、視覚化システムに結合するファイバスコープ等の光ファイバ束であってもよい。画像取込み器具は、単一スペクトル又はマルチスペクトルであってもよく、例えば１つ又は複数の可視スペクトル、赤外スペクトル、又は紫外スペクトルで画像データを取り込む。

医療器具２２６は、器具の基端部と先端部との間に延びるケーブル、リンク機構、又は他の作動制御装置（図示せず）を収容し、器具の先端部を制御可能に曲げることができる。操縦可能な器具は、米国特許第７，３１６，６８１号（２００５年１０月４日出願）（”Articulated Surgical Instrument for Performing Minimally Invasive
Surgery with Enhanced Dexterity and Sensitivity”を開示する）、及び米国特許出願第１２／２８６，６４４号（２００８年９月３０日出願）（”Passive Preload and Capstan Drive for Surgical Instruments”を開示する）に詳細に記載されており、これらの文献は、それら全体が参照により本明細書に組み込まれる。

可撓性カテーテル本体２１６は、ハウジング２０４と先端部２１８との間に延びるケーブル、リンク機構、又は他の操縦制御装置（図示せず）も収容し、例えば先端部の破線表現２１９によって示されるように、先端部２１８を制御可能に曲げることができる。操縦可能なカテーテルは、米国特許出願第１３／２７４，２０８号（２０１１年１０月１４日出願）（”Catheter with Removable Vision Probe”を開示する）に詳細に記載されており、この文献は、その全体が参照により本明細書に組み込まれる。器具システム２００が遠隔操作可能なアセンブリによって作動される実施形態では、ハウジング２０４は、遠隔操作可能なアセンブリの電動駆動要素に取外し可能に結合され、且つ電動駆動要素から電力を受け取る駆動入力部を含むことができる。器具システム２００が手動で操作される実施形態では、ハウジング２０４は、器具システムの動きを手動で制御するための把持機構、手動アクチュエータ、又は他の構成要素を含んでもよい。カテーテルシステムは、操縦可能であってもよく、あるいはまた、このシステムは、器具の曲げについてオペレータ制御の統合された機構の無い非操縦タイプ(non-steerable)であってもよい。追加的に又は代替的に、１つ又は複数の管腔が、可撓性本体２１６の壁内に規定され、その管腔を通って、医療器具が標的手術位置で展開され使用される。

様々な実施形態では、医療器具システム２００は、肺の検査、診断、生検、又は治療に使用するための、気管支鏡又は気管支カテーテル等の可撓性気管支用器具を含んでもよい。システム２００は、結腸、腸、腎臓、脳、心臓、循環系等を含む様々な解剖学系のいずれかにおいて、自然に又は外科的に形成された接続通路を介した他の組織のナビゲーション及び治療にも適している。

追跡システム２３０からの情報は、ナビゲーションシステム２３２に送られ、このシステム２３２では、その情報は視覚化システム２３１からの情報及び／又は手術前に取得されたモデルと組み合わされて、器具システム２００の制御に使用するために、外科医又は他のオペレータにリアルタイム位置情報を表示システム１１０上に提供することができる。制御システム１１６は、この位置情報を、器具システム２００を位置付けするためのフィードバックとして利用することができる。光ファイバセンサを使用して手術用器具と手術画像とを位置合わせして表示する様々なシステムが、米国特許出願第１３／１０７，５６２号（２０１１年５月１３日出願）（”Medical System Providing Dynamic Registration of a Model of an
Anatomical Structure for Image-Guided Surgery”を開示する）に提供されており、この文献は、その全体が参照により本明細書に組み込まれる。

光ファイバ形状センサは、それら形状センサが、領域内の金属物体に敏感ではなく、又は閉塞性撮像機器を必要とすることなく、先端チップの姿勢を含む器具の全体形状に関するデータを提供するので、位置特定（localization）センサとして特に有用である。しかしながら、光ファイバ形状センサを使用するときに、光ファイバの基端部での小さな位置及び向きのエラーは、センサの長さ（例えば、約１メートル）によって、センサの先端部に大きな蓄積された位置及び向きエラーを生成する可能性がある。これらのエラーを低減するためのシステム及び方法が、以下で説明され、処置中に手術座標系及び解剖学的モデルに対する光ファイバ、結果として医療器具をさらに正確に位置合わせするために使用することができる。

図２Ａの実施形態では、器具システム２００は、遠隔操作可能な医療システム１００内で遠隔操作される。代替実施形態では、遠隔操作可能なアセンブリ１０２を、直接的なオペレータ制御に置き換えてもよい。直接的な操作（オペレータ）の代替実施形態では、器具の手持ち式操作ために、様々なハンドル及びオペレータインターフェイスを含めることができる。

代替実施形態では、遠隔操作可能なシステムは、複数のスレーブマニピュレータアセンブリ及び／又は複数のマスターアセンブリを含むことができる。マニピュレータアセンブリの正確な数は、数ある要因の中でも、医療処置及び手術室内の空間的制約に依存するだろう。マスターアセンブリを併置してもよく、又はそれらアセンブリを別々の位置に配置してもよい。複数のマスターアセンブリにより、複数のオペレータが１つ又は複数のスレーブマニピュレータアセンブリを様々な組合せで制御することができる。

図２Ｂにより詳細に示されるように、手術、生検、焼灼、照明、洗浄、又は吸引等の処置のための医療ツール（複数可）２２８が、可撓性本体２１６のチャネル２２１を通して展開され、解剖学的構造内の標的位置で使用され得る。例えば、ツール２２８が生検器具である場合に、そのツールを用いて、解剖学的構造の標的位置からサンプル組織又は細胞のサンプルを取り出すことができる。医療ツール２２８は、可撓性本体２１６内の画像取込みプローブと共に使用してもよい。あるいはまた、ツール２２８自体が画像取込みプローブであってもよい。ツール２２８を、チャネル２２１の開口部から前進させて処置を行い、その後処置が完了すると、そのチャネル内に再び後退させることができる。医療ツール２２８は、カテーテル可撓性本体の基端部２１７から又は別のオプションの器具ポート（図示せず）からその可撓性本体に沿って取り出すことができる。

図３は、患者の解剖学的構造の解剖学的通路内に位置付けされたカテーテルシステム２０２を示す。この実施形態では、解剖学的通路は、人の肺２０１の気道である。代替実施形態では、カテーテルシステム２０２は、解剖学的構造の他の通路で使用してもよい。

図４は、画像誘導外科的処置で使用するための一般的な方法３００を示すフローチャートである。プロセス３０２において、手術前又は手術中の画像データを含む以前の画像データが、コンピュータ断層撮影（CT）、磁気共鳴画像法（MRI）、サーモグラフィ、超音波、光コヒーレンストモグラフィ（OCT）、熱イメージング、インピーダンスイメージング、レーザーイメージング、又はナノチューブＸ線イメージング等の撮像技術によって取得される。手術前又は手術中の画像データは、２次元、３次元、又は４次元画像（例えば、時間ベース又は速度ベースの情報を含む）に対応し得る。例えば、画像データは、図３の人の肺２０１を表してもよい。

プロセス３０４において、コンピュータソフトウェアのみ又は手動入力と組み合わされたコンピュータソフトウェアが、記録された画像を、部分的又は全体的な解剖学的臓器又は解剖学的領域のセグメント化された２次元又は３次元の合成表現又はモデルに変換するために使用される。合成表現及び画像データセットは、通路の様々な位置及び形状、並びにそれらの接続性を表す。より具体的には、セグメント化プロセス中に、画像は、色、密度、強度、及び質感等の特定の特徴又は計算された特性を共有するセグメント又は要素（例えば、画素又はボクセル）に区分けされる。このセグメント化プロセスは、得られた画像に基づいて標的の解剖学的構造のモデルを形成する２次元又は３次元の再構成をもたらす。モデルを表すために、セグメント化プロセスは、標的の解剖学的構造を表す１組のボクセルを描画し、次に、マーチングキューブ関数等の関数を適用して、ボクセルを取り囲む３Ｄ表面を生成することができる。メッシュ、ボリューム、又はボクセルマップを生成することによって、モデルを作成することができる。追加的に又は代替的に、モデルは、モデル化された通路の中心を通って延びる相互接続された線分又は点の集合を含む中心線モデルを含んでもよい。モデルが相互接続された線分の集合を含む中心線モデルを含む場合に、それらの線分をクラウド（cloud）又は点の集合に変換することができる。線分を変換することにより、相互接続された線分に対応する所望の量の点を手動又は自動的で選択することができる。

プロセス３０６において、解剖学的モデルデータ、医療処置を行うために使用される医療器具（例えば、器具システム２００）、及び患者の解剖学的構造は、患者に対する画像誘導外科的処置前に及び／又はその処置の過程中に共通の基準フレームに共に位置合わせされる。共通の基準フレームは、例えば、手術環境基準フレーム又は患者基準フレームであってもよい。プロセス３０６は、患者に対する医療器具の位置特定（localize）を含む。プロセス３０６は、解剖学的モデルを患者に対して位置合わせすることも含む。一般的に、位置合せは、剛体及び／又は非剛体変換の使用によって測定点とモデルの点とのマッチングを含む。測定点は、解剖学的構造内のランドマーク、処置中に走査され追跡される電磁コイル、又は形状センサシステムを使用して生成してもよい。測定点は、反復最近接点（ICP）法で使用するために生成してもよい。ＩＣＰ及び他の位置合せ技術は、両方とも２０１５年８月１４日に出願された米国仮特許出願第６２／２０５，４４０号及び米国仮特許出願第６２／２０５，４３３号に記載されており、これらの文献は、それらの全体が参照により本明細書に組み込まれる。プロセス３０８において、解剖学的モデルデータを使用して医療処置を行い、医療器具の動きを誘導することができる。

例えばＣＴを使用して取得された及び画像誘導外科的処置で使用される以前の画像データは、大抵の場合、多くの処置に適した細かい解剖学的詳細を提供する。しかしながら、以前の画像データは、位置合せエラーの影響を受け、且つ周期的又は非周期的な解剖学的運動に起因する変形、医療器具の存在及び医療器具による組織変形、以前の画像データを取得してから発生し得る患者の解剖学的構造に対する他の変化を含む解剖学的構造のリアルタイム構成を示していない。

画像誘導手術と共に使用される従来の位置合せ方法は、大抵の場合、電磁感知又はインピーダンス感知に基づいた技術の使用を含む。いくつかの例では、手術環境で使用される金属物体又は特定の電子装置は、感知データの質を損なう外乱を生成することがある。追加的に又は代替的に、蛍光透視撮像システム及び／又は光追跡システム等の透視撮像システムを使用して、位置合わせを行ってもよい。本明細書に記載されるいくつかの実施形態では、蛍光透視撮像システム及び／又は光追跡システムを使用して、手術環境の座標系内の医療器具及び患者の解剖学的構造の位置及び向きを決定することができる。提供される様々な例は、解剖学的構造内で行われる処置の使用について説明するが、代替実施形態では、本開示の装置及び方法は、解剖学的構造内で使用する必要はなく、むしろ、患者の解剖学的構造の外部で使用することもできる。

蛍光透視法は、Ｘ線を用いて撮像視野内の患者の解剖学的構造、医療器具、及び放射線不透過性基準マーカのリアルタイム動画を取得する撮像モダリティである。この説明では、基準マーカは、基準要素又は基準点と呼ばれることもある。従来のＸ線写真は、Ｘ線検出器の前に患者の一部を配置した後、短いＸ線パルスでその患者の一部を照射することによって得られたＸ線画像である。同様に、蛍光透視法は、Ｘ線を使用して、手術環境内に放射線不透過性医療器具、造影剤、及び／又は放射線不透過性基準マーカを含む、患者の内部のリアルタイム動画を取得する。蛍光透視システムは、位置の柔軟性を提供し、且つ手動又は自動制御によって軌道、水平方向、及び／又は垂直方向に移動可能なＣアームシステムを含むことができる。非Ｃアームシステムは、静止しており、動きの自由度が低い。蛍光透視システムは、一般に、画像増強器（intensifier）又はフラットパネル検出器のいずれかを使用して、患者の解剖学的構造の２次元リアルタイム画像を生成する。２方面（bi-planar）蛍光透視システムは、２つの蛍光透視画像をそれぞれ異なる（大抵の場合、直交）視点から同時に取り込む。Ｘ線画像の質及び有用性は、撮像される組織タイプに依存して変化し得る。骨及び金属等の密度の高い材料は、一般に、肺の空気で満たされる軟組織よりもＸ線画像においてより視覚化される。肺における処置のために、以前の画像ＣＴデータは、蛍光透視画像上で判別するのが困難になり得る気道及び腫瘍の解剖学的詳細を提供するが、蛍光透視画像は、医療器具及び密度の高い解剖学的組織のリアルタイムの視覚化を提供する。

光追跡システムは、位置センサを使用して、遠隔操作可能なアセンブリ、医療器具、及び／又は患者に取り付けられた赤外線放射又は再帰反射マーカを検出する。位置センサは、位置センサがこれらのマーカから受信する情報に基づいて、遠隔操作可能なアセンブリ、医療器具、及び／又は患者の位置及び向きを計算する。より具体的には、光追跡システムは、画像センサから取り込まれたデータを使用して、重ね合せ（overlapping）投影を提供するように較正されたカメラ同士の間で、遠隔操作可能なアセンブリ、医療器具、及び／又は患者の３次元位置を三角測量する。

こうして、位置合わせされた蛍光透視画像、以前の画像データ、及び／又は光追跡データを、単独で又は運動学的データ及び形状センサデータと組み合わせて使用し、医療器具のより正確な姿勢推定及び位置特定を提供することによって、肺等の解剖学的構造の特定の部分をナビゲートするよう臨床医を支援することができる。特に、手術座標系内の既知の位置及び／又は形状特性を有する基準マーカの蛍光透視データを取得し、且つ蛍光透視データを基準マーカの位置データ又は形状データと組み合わせることにより、遠隔操作可能なシステムは、蛍光透視撮像システムを手術座標系により正確に位置合せすることができ、それにより、外科的処置中の器具ナビゲーションの信頼性が向上する。

図５は、いくつかの実施形態による手術座標系Ｘ_Ｓ，Ｙ_Ｓ，Ｚ_Ｓを含む例示的な手術環境３５０を示し、その座標系内で、患者Ｐがプラットフォーム３５２上に位置付けされる。患者Ｐは、患者の全体の動きが鎮静剤の投与、拘束、又は他の手段によって制限されるという意味で、手術環境内で静止し得る。患者が呼吸運動を一時的に中断しない限り、患者Ｐの呼吸及び心臓運動を含む周期的な解剖学的運動は継続することができる。手術環境３５０内で、医療器具３５４が、器具キャリッジ３５６に結合される。この器具キャリッジ３５６は、手術環境３５０に固定された又はその手術環境３５０内で移動可能な挿入ステージ３５８に取り付けられる。器具キャリッジ３５６は、器具３５４に結合する遠隔操作可能なマニピュレータアセンブリ（例えば、アセンブリ１０２）の構成要素であってもよく、そのアセンブリは、挿入動作（すなわち、Ｘ_Ｓ方向の運動）及びオプションで器具の先端部の運動を、ヨー、ピッチ、及びロール運動を含む複数の方向に制御する。器具キャリッジ３５６又は挿入ステージ３５８は、挿入ステージに沿った器具キャリッジの動きを制御するサーボモータ（図示せず）を含むことができる。

医療器具３５４は、基端側剛性器具本体３６２に結合される可撓性カテーテル３６０を含むことができる。剛性器具本体３６２は、器具キャリッジ３５６に対して結合され且つ固定される。光ファイバ形状センサ３６４は、器具３５４に沿って延び、且つ固定又は既知の点３６６からカテーテル３６０の先端部分３６８等の別の点への形状を測定するように動作可能である。医療器具３５４は、実質的に医療器具システム２００と同様であってもよい。

蛍光透視撮像システム３７０は、カテーテル３６０を患者内に延ばす間に、患者の蛍光透視画像を取得するために、患者Ｐの近くに配置される。例えば図６Ａ及び図６Ｂに示されるように、システム３７０は、可動式Ｃアームの蛍光透視撮像システムであってもよい。いくつかの実施形態では、システム３７０は、ワシントンＤＣのSiemens Corporation製の多軸Artis Zeego蛍光透視撮像システムであってもよい。

図６Ａ及び図６Ｂは、図５に示される例示的な手術環境３５０の別の図を示す。図６Ａは、患者Ｐ及び外部追跡システム３８２に対して第１の位置に配置される可動式Ｃアーム３８０を含む蛍光透視撮像システム３７０を示す。図示される実施形態では、Ｃアーム３８０は、Ｘ線源３８４及びＸ線検出器３８６（「Ｘ線撮像装置３８６」とも呼ばれる）を含む。Ｘ線検出器３８６は、受け取ったＸ線の強度を表す画像を生成する。典型的に、Ｘ線検出器３８６は、Ｘ線を可視光に変換する画像増強器と、可視光をデジタル画像に変換する電荷結合素子（CCD）ビデオカメラとを含む。動作時に、患者Ｐは、Ｘ線源３８４とＸ線検出器３８６との間に位置付けされる。オペレータの又は遠隔操作可能なシステムのコマンド入力に応答して、Ｘ線源３８４から放射されるＸ線は、患者Ｐを通過してＸ線検出器３８６に入り、患者の２次元画像を生成する。

Ｘ線検出器３８６によって生成された生の画像は、画像増強器に固有の画像歪み及び外部電磁場を含む多くの要因によって引き起こされる望ましくない歪み（例えば、「樽型歪み」及び／又は「Ｓ−歪み」）の影響を受ける傾向がある。受け取った画像の画像歪みを補正し、撮像装置の投影幾何学を学習する処理である内部較正は、Ｘ線の経路内に基準マーカ４００（較正マーカとしても知られている）を配置することを含み、基準マーカは、Ｘ線に対して不透明な（opaque）物体である。基準マーカ４００は、Ｘ線の経路内の１つ又は複数の平面に所定のパターンで堅く配置され、記録された画像に表示される。手術環境における基準マーカ４００の真の相対位置（すなわち、歪みのない位置）が既知であるため、制御システム１１２は、得られた画像内の各画素における歪みの量を計算することができる（ここで画素は画像内の単一の点である）。従って、制御システム１１２は、元の画像における歪みをデジタル形式で補償し、歪みのない又は少なくとも歪みの改善されたデジタル画像を生成することができる。基準マーカ４００の真の相対位置の精度を高めることによって、蛍光透視撮像システム３７０の姿勢推定を向上させることができ、それにより外科的処置中の器具の姿勢決定及びナビゲーションの精度を高める。

蛍光透視撮像システム３７０によって撮影された個々の画像は２次元画像であるが、異なる視点から撮影した複数の２次元画像を使用して、手術野内の解剖学的投影又は医療器具の３次元位置を推定することができる。画像の視点を変えるために、例えば図６Ｂに示されるように、Ｃアーム３８０を回転させることができる。Ｃアーム３８０を旋回させて、異なる角度から蛍光透視撮像システム３７０の視野内に位置付けされた患者Ｐ及び基準マーカ４００のＸ線画像を撮影することができる。図６Ｂは、図６Ａに示される手術環境３５０を示しており、蛍光透視撮像システム３７０のＣアーム３８０が、患者Ｐ及び外部追跡システム３８２に対して第２の位置に配置される。異なる投影角度又は視点から形成された２次元投影画像から３次元断層画像を生成することができる。異なる視点から患者Ｐ及び基準マーカ４００の複数の２次元画像を撮影することによって、視野内の様々なポイント（例えば、基準マーカ４００上の様々なポイント）の３次元位置を決定することができる。

上述したように、基準マーカ４００は、蛍光透視撮像システム３７０の視野内に配置された、手術環境内で既知の構成を有する放射線不透過性物体を含む。基準マーカ４００は、蛍光透視画像内で基準又は測定点として使用するために現れる。図示の実施形態では、基準マーカ４００は、３次元物体を含む。他の実施形態では、基準マーカは、実質的に１次元又は２次元の物体を含み得る。基準マーカ４００は、Ｘ線検出器３８６によって生成された元の画像から歪みを除去する画像変換を取得するか、又は撮像装置の投影幾何学を学習する（すなわち、画像内の画素がどのように３次元空間に投影されるかを判別し、又は基準マーカの２次元画像を既知の３次元モデルにマッピングする）ために、Ｘ線撮像経路内の固定された所定の位置に配置することができる。基準マーカ４００は、画像内に２次元物体として現れる３次元形状であるが、本質的に２次元のフィルムを使用して基準マーカ４００を構成することもできる。非限定的な例として、円、四角形、三角形、矩形、楕円、立方体、球、及び円柱ロッド等の多くの可能な形状を使用して、基準マーカを設計してもよい。球は、２次元画像内に円として現れ、円柱ロッドは線として現れる。様々なタイプの基準マーカの設計は、２００９年４月２３日に出願された、”Fiducial Marker Design and Detection for Locating Surgical
Instrument in Images”という表題の米国特許出願公開第２０１０／０１６８５６２号に記載されており、この文献は、その全体が参照により本明細書に組み込まれる。

図７Ａ〜図９Ｂは、様々な例示的な基準マーカを示す。いくつかの実施形態では、図７Ａに示されるように、基準マーカ４００は、１組の特有のマーカ要素４０１を含むことができ、各マーカ要素４０１ａ〜ｆは、別のマーカ要素及び背景特徴から区別することができる。図示の実施形態では、各マーカ要素４０１ａ〜ｆは、異なる形状である。追加的に又は代替的に、図７Ｂ及び図７Ｃに示されるように、基準マーカ４００は、類似又は非類似のマーカ要素から構成される一意的に識別可能なパターンを含む。例えば図７Ｂでは、基準マーカ４０２は、同一の基準要素４０４から構成される格子状パターンを含み、各格子は、暗い境界に囲まれた白い正方形である。各基準要素が別の基準要素から判別できないかもしれないが、基準マーカ４０２の格子レイアウトによって、マーカを手術座標系内で一意に識別できる。対照的に、図７Ｃでは、基準マーカ４１０は、２つの異なる基準要素から構成される（暗い正方形４１２及び明るい正方形４１４が交互配置される）市松模様格子パターンを含む。各基準要素が一意ではないかもしれないが、基準マーカ４１０の市松模様レイアウトによって、マーカを手術座標系内で一意に識別及び位置特定することができる。格子状パターン及び市松模様パターンにおいて、各四角形は、手術環境において固定された長さ及び幅を有する。

いくつかの実施形態では、基準マーカ４００は、テキスト及び／又は１つ又は複数のシンボルを含む判別可能なマーカを含んでもよい。図８Ａ〜図８Ｅは、いくつかの例示的な判別可能な基準マーカを示しており、各基準マーカ４２２、４２６、４３２、４３８、及び４４４は、別個の基準要素の集合を含み、各基準要素が、別個のアルファベット文字を含む。例えば、基準マーカ４２２及び４４４は、“Intuitive Surgical”のスペルである異なる文字又は基準要素（例えば、基準要素４２４は文字”Ｅ“から構成される）の集合によって形成される。同様に、基準マーカ４２６は基準要素４２８及び４３０によって形成され、基準マーカ４３２は基準要素４３４及び４３６によって形成され、基準マーカ４３８は基準要素４４０及び４４２によって形成される。基準マーカ４３４、４３６、及び４４４は、それぞれ、異なるデザインパターンで構成され、より詳細な位置特定を可能にする。基準マーカ４２２、４２６、４３２、４３８、及び４４４は、それぞれ、図７Ｃに示される基準マーカ４１０に対して上述した市松模様マーカデザインのバリエーションを使用する。各基準要素は一意でなくてもよいが、基準マーカ４２２、４２６、４３２、４３８、及び４４４の全体的な形状及び市松模様レイアウトによって、その基準要素を手術座標系内で一意に識別し、位置特定することができる。

いくつかの実施形態では、基準マーカ４００は、不均一な直線状パターンで配置された同様の一連の基準要素を含むことができる。例えば、図９Ａ及び図９Ｂでは、基準マーカ４５０及び４６０は、不均一な間隔で直線に配置された、同一の一連の基準マーカ４５２及び４６２を含む。これらの実施形態では、基準マーカ４５２、４６２の不均一な間隔は、基準マーカ４５２、４６２をそれぞれ撮像する際に一意に識別可能なコードを形成する。いくつかの実施形態では、そのようなコードは、従来の（１次元）又はマトリックス（２次元）バーコードに似ている。

図示の実施形態では、基準マーカ４００は、患者Ｐの上に位置付けして示される。他の実施形態では、基準マーカ４００は、（例えば、プラットフォーム３５２上の）患者Ｐの上、側方、又は下に位置付けしてもよい。一実施形態では、例えば、図７Ｃに示される市松模様の基準マーカ４００は、患者Ｐとプラットフォーム３５２との間に位置付けしてもよい。さらに他の実施形態では、基準マーカ４００は、患者Ｐの体内に位置付けされる又は体内で見出される。例えば、いくつかの実施形態では、基準マーカ４００は、カテーテル３６０又は形状センサ３６４自体を含んでもよい。そのような実施形態では、カテーテル３６０及び／又は形状センサ３６４は、少なくとも部分的に放射線不透過性である。いくつかの実施形態では、カテーテル３６０及び／又は形状センサ３６４は、上述したように、１つ又は複数の放射線不透過性の基準要素を含む。他の実施形態では、カテーテル３６０及び／又は形状センサ３６４は、少なくともその先端部分（例えば、蛍光透視撮像システム３７０によって撮像され得る先端長さ）に沿って連続的に放射線不透過性である。追加的又は代替的に、基準マーカ４００は、患者Ｐの解剖学的ランドマーク（例えば１つ又は複数の特定のリブ）を含んでもよい。他の例では、基準ランドマーク４００は、患者Ｐに摂取又は注入される放射線不透過性物質のコントラストによって規定され得る。形状センサを含む可撓性装置の既知の長さに沿った蛍光透視画像上の複数の識別可能な位置も、基準マーカポイントとして機能することもできる。共通の接地点を含む複数の形状の装置の画像を組み合わせて、より多くの３次元空間をカバーする複数の基準マーカ点を生成し、曖昧さを低減し並びに／若しくは、較正及び／又は姿勢推定の精度を改善することができる。別の実施形態において、装置上の特定の識別可能な位置に放射線不透過性を示すのではなく、装置全体が放射線不透過性であってもよい。姿勢推定は、蛍光透視画像における観察された２次元曲線に対する装置の形状の３次元曲線の逆投影エラーを最小限に抑えることによって行うことができる。同じように、複数の異なる形状の複数の画像を使用して、曖昧さを低減し、並びに／若しくは較正及び／又は姿勢推定の精度を改善することができる。

上述したように、異なる視点からの既知の３次元特性を有する物体（例えば、基準マーカ４００）の複数の２次元画像を取得することによって、手術座標空間に対する蛍光透視撮像システム３７０のより正確な位置合わせが可能になる（すなわち、Ｃアーム３８０の姿勢をより正確に推定することによって手術座標空間に対する蛍光透視撮像システム３７０のより正確な位置合せが可能になり、こうして、得られた２次元画像の視点をより正確に決定することが可能になる）。異なる撮像視点における基準マーカ４００の識別及び蛍光透視撮像システムの内部較正は、クロス比を射影不変性として使用することによって行うことができる。図１０を参照すると、クロス比は、同一直線上の４つの点、特に投影線上の点のリストに関連付けられた番号である。線上に４つの点Ａ、Ｂ、Ｃ、及びＤが与えられると、そのクロス比は次のように規定される。

ここで、各距離のサイン（sign）によって線の向きが決定され、ユークリッド空間に投影される距離が測定される。図１０は、このクロス比原理を示し、点Ａ、Ｂ、Ｃ、Ｄ及びＡ’、Ｂ’、Ｃ’、Ｄ’が射影変換によって関連付けられ、それらのクロス比（Ａ，Ｂ；Ｃ，Ｄ）と（Ａ’，Ｂ’；Ｃ’，Ｄ’）が等しくなることを実証する。

図１１及び図１２は、クロス比の原理を使用して、蛍光透視撮像システム３７０の内部較正の２つの異なる方法を示す。図１１において、蛍光透視撮像システム３７０は、最初にＸ線撮像装置３８６が第１の位置Ｐ１に位置付けされた状態で２次元蛍光透視画像（平面投影）を投影し、Ａ’及びＢ’における基準マーカＡ及びＢの位置を取得する。続いて、蛍光透視撮像システム３７０は、Ｘ線撮像装置３８６が第２の位置Ｐ２に位置付けされた状態で別の２次元蛍光透視画像（平面投影）を投影し、Ａ’’及びＢ’’における基準マーカＡ及びＢの位置を取得する。基準マーカ４００が平面較正画像である場合に、図１１で示される方法は、撮像装置３８６が異なる角度から基準マーカ４００を検査する場合に、特に有用である。

図１２において、蛍光透視撮像システム３７０のＸ線撮像装置３８６は、静止したままであり、基準マーカＡ及びＢが第１の位置Ｐ３に位置付けされた状態で第１の２次元蛍光透視画像（平面投影）を投影し、Ａ’及びＢ’における基準マーカＡ及びＢの位置を取得する。続いて、蛍光透視撮像システム３７０は、基準マーカＡ及びＢが第２の位置Ｐ４に位置付けされた状態で別の２次元蛍光透視画像（平面投影）を投影し、Ａ’’及びＢ’’における基準マーカＡ及びＢの位置を取得する。両方のシナリオで得られた４つの点Ａ’、Ｂ’、Ａ’’、及びＢ’’を使用して、蛍光透視撮像システム３７０を本質的に較正することができる。

図１３は、手術環境内の医療器具（例えば、遠隔操作可能に制御される器具システム２００）の位置特定／追跡と蛍光透視撮像システム３７０の較正とを略同時にすることを伴う、手術環境３５０で画像誘導手術を行うための方法４９０を示すフローチャートである。方法４９０を含むこの説明の方法は、ブロック、ステップ、操作、又はプロセスのセットとして図１３に示されている。例示され列挙された操作の全てが、方法４９０の全ての実施形態で実行されるわけではない。更に、この方法に明示的に示されていない、いくつかの追加の操作を、列挙されたプロセスの前に、後に、間に、又は一部として含んでもよい。本明細書の方法のいくつかの実施形態は、この方法のプロセスに対応する命令をメモリに記憶された状態で含む。これらの命令は、制御システム１１２のプロセッサのようなプロセッサによって実行することができる。

上述したように、手術座標空間内の蛍光透視撮像システム３７０の姿勢（例えば、Ｃアーム３８０の位置）は、２次元蛍光透視画像の視点を正確に決定するために使用される。２次元蛍光透視画像を正確に解釈することには、画像歪みを認識して補正することも含まれる。プロセス５００は、手術環境内で既知の３次元位置、形状、及びサイズ特性を有する基準マーカを撮像して蛍光透視撮像システムの姿勢を同時に決定しながら、歪みを補正するために蛍光透視撮像システム３７０を較正する例示的な方法を説明する。較正プロセス及び較正モデルの作成は、器具姿勢の再構成の前に実行してもよい。マーカは、複数の異なる視点から蛍光透視撮像システム３７０によって撮像してもよい。プロセス５０２において、蛍光透視撮像システム３７０は、（図１１及び図１２に関して上述したように）複数の視点からの又は複数の姿勢における手術環境内の既知の構成（例えば、サイズ、形状、位置）を有する基準マーカ４００の蛍光透視画像データを取り込む。以下でさらに説明するが、基準マーカは、手術環境内の柔軟な（Flexible）基準点の形状及び姿勢情報を提供する形状センサを含むことができる。

プロセス５０４において、制御システム１１２は、蛍光透視画像データを使用して、蛍光透視撮像システム３７０の１組の内部（intrinsic）及び外部（extrinsic）パラメータを推定する。例えば、撮像システム３７０の内部パラメータは、焦点距離、投影中心、及び画素スケール等の撮像装置の較正パラメータを含む。撮像システム３７０の外部パラメータは、蛍光透視撮像システム３７０と較正パターン又は基準マーカ４００との間の回転及び並進及び剛体変換等の撮像装置の位置パラメータを含む。プロセス５０６において、制御システム１１２は、（例えば、図１０〜図１２に示されるようにクロス比及び射影不変性を用いて）アルゴリズムを解いて、手術環境３５０に関して蛍光透視撮像システム３７０の推定３Ｄモデルを作成する。

（例えば、プロセス５０２、５０４、及び５０６を循環させることにより）異なる視点から基準マーカ４００（及び、利用可能な場合に他の基準マーカ）を反復して撮像した後に、プロセス５０８において、推定されたモデルは、手術環境におけるマーカ（複数可）の最終的なモデルに改良される。較正モデルは、Ｓ−歪みを含む歪みを補正又は少なくとも最小限に抑え且つ手術環境内の撮像システムの推定姿勢を提供する、蛍光透視撮像システム３７０の最適な１組の内部及び外部パラメータに基づく。プロセス５００は、基準点の既知の３次元位置推定値と一緒に複数の蛍光透視画像における基準点の２次元位置とを組み合わせて、内部パラメータと外部パラメータとの両方を再構成する。三角測量、バンドル（bundle）調整、又は同時位置特定及びマッピング（SLAM）等のコンピュータビジョンの方法が再構成に使用され得る。プロセス５１０において、較正モデルは、蛍光透視画像基準フレームを手術用座標フレームに位置合わせし、蛍光透視基準フレームで撮像されたマーカの姿勢を、手術用基準フレームにおいて較正モデルから決定することができる。蛍光透視基準フレームと、手術用基準フレーム及び解剖学的モデル基準フレームとの位置合せが、米国仮特許出願番号６２／２０５，４４０号及び６２／２０５，４３３号に記載されており、これらの文献は参照により本明細書に組み込まれる。オプションで、較正プロセス５００は、１つ又は複数の他の様々な方法で補足される。例えば、プロセス５１２は、蛍光透視撮像システム３７０の位置及び向きを外部から追跡して、手術環境における撮像システム３７０の姿勢の推定を補足することを含む。図６Ａ及び図６Ｂを参照して、手術環境３５０は、外部追跡システム３８２も含む。一般に、外部追跡システム３８２は、手術座標系に対する蛍光透視撮像システム３７０及び／又は基準マーカ４００の姿勢を推定するための外部手段を含む。外部追跡システム３８２が蛍光透視撮像システム３７０から離れて示されているが、いくつかの実施形態では、外部追跡システム３８２は、蛍光透視撮像システム３７０上に配置することができる。例えば、様々な実施形態において、外部追跡システム３８２は、図６Ａ及び図６Ｂの点線４７０で示されるように、Ｃアーム３８０の関節上に１つ又は複数のエンコーダを含むことができる。代替的に又は追加的に、外部追跡システム３８２は、図６Ａ及び図６Ｂの破線４７２で示されるように、Ｃアーム３８０に取り付けられた１つ又は複数の傾斜計（例えば、関心のある回転自由度あたり１つの傾斜計）を含むことができる。

代替的に又は追加的に、外部追跡システム３８２は、光追跡システムを含むことができる。図示される実施形態では、光追跡システム３８２は、赤外線を放射し且つ基準アレイに位置付けされた特別なリフレクタを含む少なくとも１つの光マーカによって反射された赤外光を受け取ることができる１対のカメラを含むセンサ４８０を含む。いくつかの実施形態では、センサ４８０は、Ｃアーム３８０上に位置付けされた光マーカの位置を追跡することができる。追加的に又は代替的に、センサ４８０は、患者Ｐ及び／又は医療器具（例えば、カテーテル３６０）に配置された光マーカの位置を追跡することができる。いくつかの実施形態では、基準マーカ４００は、光マーカだけでなく放射線不透過性マーカも含む。いくつかの実施形態では、光マーカは、センサ４８０上の照明器によって放射された赤外光を反射する、球形の再帰反射マーカを含む受動的なマーカであってもよい。いくつかの実施形態では、基準マーカは、電気信号によって活性化される能動的な赤外光放射マーカであってもよい。光追跡システムの更なる説明は、例えば、１９９９年１０月２８日に出願された、”System for determining spatial position and/or orientation of one
or more objects”を開示する米国特許第６,２８８,７８３号に、及び２０１５年９月１０日に出願された、”Systems And Methods For Using Optical Tacking In Image-Guided
Surgery”を開示する米国仮特許出願第６２／２１６，４９４号に示されており、これらの文献は、それらの全体が参照により本明細書に組み込まれる。いくつかの実施形態では、図６Ａに示されるように、光追跡システム４８０は、器具本体が可撓性カテーテル３６０を患者の解剖学的構造の内外に動かすときに、基準マーカ４００及び／又は医療器具に取り付けられた１組の光基準マーカを追跡する。他の実施形態では、外部追跡システム３８２を使用して、プロセス５００（基準マーカ４００から得られた２次元蛍光透視画像に依存する）に関して上述した内部較正プロセスとは無関係に、蛍光透視撮像システム３７０の姿勢を推定することができる。

蛍光透視撮像システムが較正され且つマーカが手術環境で位置特定された後に、上述したように、新たな蛍光透視画像を、手術用基準フレームに位置合わせすることができる。プロセス５１４において、医療処置中に、基準マーカ４００及びカテーテル３６０を含む蛍光透視画像が蛍光透視基準フレームにおいて取り込まれる。プロセス５１６において、蛍光透視画像により、手術用基準フレームにおけるカテーテルの１つ又は複数の部分（例えば、先端チップ部分）の位置及び姿勢が、蛍光透視基準フレームに対する手術用基準フレームの位置合せから決定される。より具体的には、同じフレーム内に基準マーカ及びカテーテルの先端チップを含む蛍光透視画像を受け取ったときに、蛍光透視システムのオプションの補足姿勢追跡を含む較正モデルが、歪みを補正し、蛍光透視撮像装置の姿勢推定を提供する。較正モデルから、手術用基準フレームにおけるカテーテルの先端チップの姿勢を決定することができる。

図４に関して上述したように、画像誘導外科的処置で使用するための方法３００は、手術環境において患者に対して医療器具を位置特定することを含む。こうして、方法４９０のいくつかの実施形態は、手術前又は手術中画像データを含む以前の画像データが、ＣＴ、ＭＲＩ、サーモグラフィ、超音波、ＯＣＴ、熱イメージング、インピーダンスイメージング、レーザーイメージング、又はナノチューブＸ線イメージング等の撮像技術から得られるプロセス４９２を含むことができる。以前の画像データは、２次元、３次元、又は４次元（例えば、時間ベース又は速度ベースの情報を含む）画像に対応し得る。上述したように、解剖学的モデルは、以前の画像データから作成される。プロセス４９４において、手術用基準フレーム（Ｘ_Ｓ，Ｙ_Ｓ,Ｚ_Ｓ）は、器具センサ基準フレーム（Ｘ_Ｉ，Ｙ_Ｉ，Ｚ_Ｉ）に位置合わせされる。モデル基準フレームと器具基準フレームとの間のこの位置合せは、米国仮特許出願第６２／２０５，４４０及び６２／２０５，４３３を参照することにより、組み込まれるように記載される、例えば、ポイントベースのＩＣＰ技術を使用して、達成することができ、それら両文献は、それらの全体が参照により本明細書に組み込まれる。追加的に又は代替的に、モデル基準フレーム及びセンサ基準フレームを別の共通の基準フレームに位置合わせてもよい。共通の基準フレームは、例えば、手術環境基準フレーム（Ｘ_Ｓ，Ｙ_Ｓ，Ｚ_Ｓ）又は患者基準フレームであってもよい。例えば、器具センサの基準部分は、手術環境内で固定され、既知にされ、又は追跡され得る。

プロセス５１８において、ユーザ又は遠隔操作可能なシステムは、モデル基準フレームとセンサ基準フレームとの両方が手術用基準フレーム又は別の共通の基準フレームに位置合わせされているので、誘導のための３次元モデル及び／又は蛍光透視画像データを使用して、医療器具を用いて医療処置を行うことができる。プロセス５１４〜５１６は、医療器具が、解剖学的構造及び解剖学的モデルに対する器具に関する現在の位置特定を提供するように、患者の解剖学的構造内に挿入され又は他の方法で移動されるので、医療処置の全体に亘って繰り返してもよい。

オプションで、形状センサ３６４からの形状センサデータを使用して、プロセス５００によって記述される蛍光透視データと内部較正プロセスを補完することができる。形状センサデータは、剛性器具本体上の既知の基準点３６６と可撓性カテーテル３６０の先端部との間に延びるセンサの形状を説明することができる。いくつかの実施形態では、上述したように、形状センサデータが、手術用基準フレームに対して既知である先端チップの姿勢を含むセンサ（及びそのセンサが延びるカテーテル）の形状特性を提供するので、形状センサ３６４自体は、基準マーカ４００として機能することができる。既知の３次元形状を有する形状センサ３６４等の基準マーカ４００に関する２次元撮像データを取得することによって、制御システム１１２が、手術環境３５０内の基準マーカ４００をより正確に位置特定することができる。形状センサが基準マーカとして使用されるときに、基準マーカは、単独の基準マーカとして使用することができ、又は、手術環境中に存在する１次元、２次元、３次元の複数の基準マーカに含めてもよい。いくつかの実施形態では、医療器具又はカテーテル３６０自体の形状は、少なくとも部分的に放射線不透過性であり、基準マーカ４００として機能する。より具体的には、運動学的に及び／又は光追跡センサ４８０によって追跡されるような、手術環境における基準点３６６の位置と組み合わされた形状情報は、可撓性カテーテル３６０の先端チップ及び手術環境内のカテーテルに沿った他の点の位置及び向きを提供する。患者が光追跡センサ４８０によっても追跡される場合に、患者Ｐの位置及び向きは、手術環境においても既知である。こうして、可撓性カテーテル３６０の位置及び向きは、手術環境基準フレームにおける患者の解剖学的構造に関して既知である。

手術環境内の複数の視点（すなわち、蛍光透視撮像装置が複数の位置に間で移動する）からの蛍光透視画像データをコンパイルして、２次元又は３次元の断層画像を生成することができる。デジタル検出器（例えば、フラットパネル検出器）を含む蛍光透視撮像システムを使用するときに、生成され且つコンパイルされた蛍光透視画像データは、トモシンセシス撮影技術に従って平行な面内に平面画像の区分化（sectioning）を可能にする。従来の蛍光透視撮像装置の動きは、平面移動（例えば、直線又は曲線）に限定されていた。例えば、蛍光透視撮像装置は、直線軌道に沿って直線的に移動するように制約され得、Ｃアームによって規定される軌道運動に制約され得る。本開示による実施形態によれば、手術環境における蛍光透視撮像装置の２次元、３次元の移動は、平面運動に制約された蛍光透視撮像装置によって生成された画像データと比較して、患者の解剖学的領域における関心領域に関するより詳細な情報を提供する蛍光透視画像データを生成する。前述した方法のいずれかに従って追跡された蛍光透視撮像装置の姿勢に関して、蛍光透視撮像装置は、患者の解剖学的構造における関心領域の最適な画像を生成するために断層的に結合される画像データを取り込むために３次元の手術空間の中を移動することができる。

手術環境内の制約（例えば、空間、時間、及びコスト）によって、蛍光透視撮像装置の完全な範囲よりも実質的に小さい範囲からの合成画像を使用する断層撮像技術を使用して断層画像を作成することができる。例えば、Ｃアームの蛍光透視撮像装置の運動の全走査範囲が自動走査に関して約２００°である場合に、遠隔操作可能なシステムの存在による手術環境の空間制限は、画像装置が２００°を完全に移動することを制限し得る。しかしながら、有用な断層撮影画像は、２００°の範囲よりも実質的に小さい制限範囲（constrained range）（制限された走査領域を規定する）の範囲内で撮像装置を手動で揺動させることによって構築することができる。制限された範囲を使用する一実施形態では、撮像装置は、Ｃアームの面内軌道とオプションでＣアーム軌道の通常面の外部との両方の位置を含む、約３０°の範囲内の１つ又は複数の位置に揺動又は他の方法で移動される。

図１４は、手術環境の面Ｘ_ＳＹ_Ｓにおける患者の解剖学的構造とトモシンセシス構成５５０を示す。図１５は、図１４の手術環境の直交する面Ｙ_ＳＺ_Ｓおける患者の解剖学的構造とトモシンセシス構成５５０とを示す。Ｘ線撮像装置は、患者に関して全走査動作範囲Ｒを有する。図１４に示されるように、患者Ｐは、全走査範囲Ｒよりも実質的に小さい制限範囲内で位置Ｃ１、Ｃ２、Ｃ３、Ｃ４、及びＣ５に移動されるＸ線源で撮像される。この実施形態では、（Ｘ_ＳＹ_Ｓ面内の）制限範囲は、約３０°又は全走査範囲の２０％未満である。患者Ｐは、位置Ｃ１で画面Ｉ１に対して結像される。Ｘ線源は、Ｘ_ＳＹ_Ｓ面（例えば、第１の移動面）内で位置Ｃ２に回転、揺動、又は手動で移動して、患者Ｐを画面Ｉ２に対して結像される。Ｘ線源は、Ｘ_ＳＹ_Ｓ面内で位置Ｃ３にさらに回転、揺動、又は手動で移動して、患者Ｐを画面Ｉ３に対して結像される。画像Ｉ１、Ｉ２、Ｉ３は、画像自体を使用するか、又はＸ線源の推定姿勢と較正内部パラメータとによって一意に規定される平面投影変換（すなわち、ホモグラフィ）を使用することによるフィルタ処理の後に、単一の断層面Ｔ１にマッピングされ、累積される。面Ｔ１においてスライス画像を生成するために使用される画像再構成アルゴリズムは、面Ｔ１の外部の特徴をぼやけさせる、又はそうでなければその特徴を最小化する。断層面Ｔ１は、解剖学的構造の関心領域の位置又は医療器具の位置に基づいて選択され得る。画像Ｉ１、Ｉ２、Ｉ３の同じ画像データをマッピング又は交互にマッピングして、面Ｔ２又は面Ｔ３等の複数の断層面のスライス画像を生成することもできる。この実施形態では、撮像装置の動きを手動で行うことができるが、他の実施形態では、動きをプログラムする、又は他にコンピュータ制御することもできる。図１５においてより明確に示されるように、Ｘ線源は、制限範囲内でＸ_ＳＹ_Ｓ平面を他の移動面に移動することができる。Ｘ線源が位置Ｃ４に移動すると、患者は画面Ｉ４に対して結像される。Ｘ線源が位置Ｃ５に移動すると、患者は画面Ｉ５に対して結像される。画像Ｉ１、Ｉ２、Ｉ３、Ｉ４、Ｉ５の画像データのいずれか又は全ては、単一の断層面Ｔ４又は単一断層面Ｔ５にマッピングすることができる。面Ｔ４、Ｔ５は、互いに対して斜めにされ且つ面Ｔ１に対して斜めにしてもよい。代替実施形態では、位置Ｃ４及びＣ５におけるＸ線撮像装置は、トモシンセス画像を計算するために、角度範囲に亘って複数の画像を取得するように回転させることができる。画像は離散的な位置で取得することができるが、オプションで、連続的な蛍光透視動画からのフレームを再構成に使用することができる。

図１６は、手術環境内の蛍光透視システムの複数の３次元視点から得られた画像からトモシンセシス画像再構成を用いた画像誘導医療介入の方法５８０を示す。以前に説明したように、手術環境内の蛍光透視システムの姿勢及び位置は、蛍光透視画像内の蛍光透視マーカ及び／又は光追跡システム等の外部追跡器、又は蛍光透視システムの関節の関節追跡器（例えば、エンコーダ）を用いて追跡することができる。こうして、手術環境における蛍光透視撮像装置の現在の又は所望の姿勢が既知であるか、又は指定され得る。方法５８０を含むこの明細書の方法が、ブロック、ステップ、操作、又はプロセスのセットとして図１６に示されている。例示され、列挙された操作の全てが方法５８０の全ての実施形態で行われるわけではない。さらに、この方法に明示的に示されていない、いくつかの追加の操作を、列挙されたプロセスの前に、後に、間に、又は一部として含んでもよい。本明細書の方法のいくつかの実施形態は、方法のプロセスに対応した命令をメモリに記憶された状態で含む。これらの命令は、制御システム１１２のプロセッサのようなプロセッサによって実行してもよい。

プロセス５８２において、患者の解剖学的構造の蛍光透視画像データは、手術座標空間内の位置Ｃ１、Ｃ２、Ｃ３に位置付けされた蛍光透視撮像装置（例えば、撮像システム３７０）から受信される。プロセス５８４において、断層画像Ｔ１は、蛍光透視画像データから構築される。画像は、患者Ｐに対する医療処置中にリアルタイムで臨床医に表示することができる。画像が関心領域の十分な詳細を欠いている場合に、追加のトモシンセシス平面画像が有用となり得る。臨床医は、例えば、タッチスクリーン、マウス、又はトラックボール等のオペレータ入力装置を使用して画像の領域を選択することによって、関心領域（例えば、腫瘍が位置する領域）を特定することができる。あるいはまた、更なる平面トモシンセシス画像を生成するための関心領域は、手術環境に位置合わせされた手術前ＣＴにおける関心領域を特定することによって選択することができる。あるいはまた、更なる平面トモシンセシス画像を生成するための関心領域は、位置合わせされた手術環境内の先端チップ等の医療器具の部分の位置とその医療器具の部分から延びる器具（例えば、生検針）の軌道を決定することによって選択することができる。

プロセス５８６において、特定された関心領域に基づいて、蛍光透視撮像装置を、３次元手術座標空間内の別の姿勢、姿勢のセット、又は撮像角度範囲に移動させるための命令を生成することができる。移動後又は移動中に、蛍光透視撮像装置の姿勢は、蛍光透視画像内の蛍光透視マーカ及び／又は光追跡システム等の外部追跡器、又は蛍光透視システムの関節の関節追跡器（例えば、エンコーダ）を用いて、前述したように、追跡することができる。蛍光透視撮像装置は、単一の面内の動きに限定されるものではない。むしろ、蛍光透視撮像装置の動きは制約されず、撮像装置が最適な撮像データを提供する構成の姿勢になることを可能にする。命令は、蛍光透視撮像装置の制御システムに命令して、蛍光透視撮像装置を手術座標系の指定された姿勢に動かすための制御信号であってもよい。あるいはまた、命令は、蛍光透視撮像装置を手術座標系の指定された姿勢に手動で動かすようにオペレータに表示する、又は他の方法で伝達してもよい。蛍光透視撮像装置は、手術座標系に関して自由に移動可能であり、単一面内の直線又は軌道運動に制約されない。あるいはまた、移動命令は、撮像システム３７０を再配置する命令、及び再配置された位置から単一面内の複数の蛍光透視画像を取得する命令を含んでもよい。例えば、命令に基づいてＣアームを新しい位置に移動させてもよく、Ｃアームを回転させて、回転面から複数の画像を生成してもよい。

プロセス５８８において、患者の解剖学的構造の追加の蛍光透視画像データは、手術座標空間内の指定された姿勢又は１組の姿勢に位置付けられた蛍光透視撮像装置から受信することができる。例えば、関心領域が面Ｔ４内にあってもよく、それにより撮像装置を位置Ｃ４に移動させて、追加の蛍光透視画像を生成してもよい。プロセス５９０において、第２の平面断層画像を第２の蛍光透視画像データから構築してもよい。第２の蛍光透視画像データは、単一の画像から又は複数の画像から生成してもよい。様々な実施形態では、第２の平面断層画像は、第１の蛍光透視画像データと組み合わされた第２の蛍光透視画像データから構築してもよい。望ましい構造の再構築は、新しい画像を追加し累積させる、繰り返され且つ連続的なプロセスによって達成することができる。こうして、得られたトモシンセシス画像が、腫瘍、カテーテル、又は胸膜の境界等の所望の構造を含むまで、５８６、５８８、５９０と同様の処理ステップを繰り返すことができる。蛍光透視撮像装置の姿勢履歴を追跡し、ユーザが手術環境内のどの角度及び／又は範囲がカバーされるかを認識するように、その履歴を、ディスプレイ又は他のユーザインタフェースを介してユーザに提供することができる。

本開示のシステム及び方法は、肺の気管支接続通路での使用について説明しているが、それらシステム及び方法は、結腸、腸、腎臓、脳、心臓、循環系等を含む様々な解剖学系のいずれかにおいて、天然又は外科的に形成された接続通路を介して、他の組織のナビゲーション及び治療にも適している。

また、本開示は、遠隔操作システムの様々なシステム及び方法を記載しているが、それらシステム及び方法は、マニピュレータアセンブリ及び器具が直接的に制御される非遠隔操作システムでの使用も企図される。提供される様々な例は、解剖学的構造内で行われる処置の使用について記載しているが、代替実施形態では、本開示の装置及び方法は、解剖学的構造内で使用する必要はなく、むしろ患者の解剖学的構造の外部で使用することもできる。

本発明の実施形態の１つ又は複数の要素は、制御システム１１２等のコンピュータシステムのプロセッサ上で実行するために、ソフトウェアで実現してもよい。ソフトウェアで実現された場合に、本発明の実施形態の要素は、本質的に、必要なタスクを実行するためのコードセグメントである。伝送媒体又は通信リンクを介した搬送波で具現化されるコンピュータデータ信号によってダウンロードしてもよいプログラム又はコードセグメントは、プロセッサ可読記憶媒体又は装置に記憶させることができる。プロセッサ可読記憶装置は、情報を記憶することができる光媒体、半導体媒体、及び磁気媒体を含む任意の媒体を含むことができる。プロセッサ可読記憶装置の例には、電子回路；半導体装置、半導体メモリ装置、読み出し専用メモリ（ROM）、フラッシュメモリ、消去可能なプログラマブル読み出し専用メモリ（EPROM）；フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、又は他の記憶装置が含まれる。コードセグメントは、インターネット、イントラネット等のコンピュータネットワークを介してダウンロードしてもよい。

提示されるプロセス及びディスプレイは、本質的に、特定のコンピュータ又は他の装置に関連しなくてもよいことに注意されたい。これらの様々なシステムに必要な構造は、特許請求の範囲の要素として現れる。また、本発明の実施形態は、特定のプログラミング言語を参照して記載していない。様々なプログラミング言語を使用して、本発明の教示を本明細書に記載されるように実現し得ることが理解されるであろう。

本発明の特定の例示的な実施形態が、説明され且つ添付の図面に示されているが、そのような実施形態は、単に例示であり、広範な本発明に対する限定ではなく、本発明の実施形態は、様々な他の修正を当業者に想起させることができるので、図示及び説明された特定の構成及び配置に限定されるものではないことを理解すべきである。

Claims (15)

1. コンピュータ支援医療システムであって、当該システムは、
   １つ又は複数のプロセッサと、
   手術座標空間内に既知の構成で位置付けされた基準マーカと、を有しており、
   前記基準マーカは形状センサを含み、前記１つ又は複数のプロセッサは、
   第１組のパラメータを有する蛍光透視撮像装置から、前記基準マーカの第１の蛍光透視画像データを受信することと、
   前記形状センサから形状情報を受信することと、
   該形状情報から前記手術座標空間内の前記基準マーカの前記既知の構成を導出することと、
   前記第１の蛍光透視画像データ及び前記形状情報から導出された前記基準マーカの前記既知の構成から、前記手術座標空間における前記基準マーカの較正モデルを作成することと、
   前記較正モデルに基づいて、前記手術座標空間における前記蛍光透視撮像装置の第２組のパラメータを決定することと、
   前記蛍光透視撮像装置の前記第２組のパラメータに基づいて、前記手術座標空間における前記基準マーカの姿勢を決定することと、を含む段階を実行するように構成される、
   システム。
2. 較正モデルを作成することが、前記蛍光透視撮像装置の内部パラメータ及び外部パラメータを決定することを含む、請求項１に記載のシステム。
3. 前記１つ又は複数のプロセッサによって実行される前記段階は、
   前記蛍光透視撮像装置から前記基準マーカ及び医療器具の一部の第２の蛍光透視画像データを受信することと、
   前記較正モデルを使用して前記第２の蛍光透視画像データにおける歪みを補正することと、
   前記手術座標空間に対する前記蛍光透視撮像装置の前記第２組のパラメータに基づいて、前記医療器具の一部を前記手術座標空間において位置特定することと、さらに含む、請求項１に記載のシステム。
4. 前記形状センサは光ファイバセンサである、請求項１に記載のシステム。
5. 前記第１の蛍光透視画像データは、複数の基準マーカの画像を含み、該複数の基準マーカは前記基準マーカを含み、前記複数の基準マーカは前記手術座標空間において既知の構成を有する、請求項１に記載のシステム。
6. 前記複数の基準マーカはバーコードを含む、請求項５に記載のシステム。
7. 前記複数の基準マーカは格子状パターンを含む、請求項５に記載のシステム。
8. 前記基準マーカは医療器具に含まれ、該医療器具は細長い可撓性本体を含む、請求項１に記載のシステム。
9. 前記形状情報は、前記細長い可撓性本体の異なる形状を含む、請求項８に記載のシステム。
10. 前記１つ又は複数のプロセッサは、前記細長い可撓性本体の前記異なる形状の前記形状情報に基づいて、前記姿勢を改善するように構成される、請求項９に記載のシステム。
11. 前記１つ又は複数のプロセッサは、前記基準マーカの前記既知の構成に基づいて、前記基準マーカを前記手術座標空間において位置特定するように構成される、請求項１に記載のシステム。
12. 前記基準マーカは、１組の基準マーカ要素を含む、請求項１１に記載のシステム。
13. 前記１組の基準マーカ要素の各要素は、互いに異なる、請求項１２に記載のシステム。
14. 前記１組の基準マーカ要素は、一意のパターンを形成する、請求項１２に記載のシステム。
15. 前記１つ又は複数のプロセッサは、前記手術座標空間における前記基準マーカの前記較正モデルを改良するように構成される、請求項１に記載のシステム。

Images