JP4171833B2

JP4171833B2 - 内視鏡誘導装置および方法

Info

Publication number: JP4171833B2
Application number: JP2002075882A
Authority: JP
Inventors: 潔依田; 敦永田; 幸夫小杉; 英寿渡辺; 宏之青木
Original assignee: Tokyo Institute of Technology NUC
Current assignee: Tokyo Institute of Technology NUC
Priority date: 2002-03-19
Filing date: 2002-03-19
Publication date: 2008-10-29
Anticipated expiration: 2022-03-19
Also published as: JP2003265408A

Description

【０００１】
【発明の属する技術分野】
本発明は、自在に屈折する軟性内視鏡のナビゲーションに関する。
【０００２】
【従来の技術】
脳神経外科などの手術の際には、患者の手術操作部位とコンピュータ連動断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）などの断層画像（３次元画像）の位置関係を把握できるように術者を支援するナビゲーション装置が利用されている。これにより、術者は、操作位置と、診断時に撮影された医用画像との相対的位置関係の認識が可能となる。
【０００３】
このナビゲーション装置を利用した操作部位の３次元位置計測の主なものとして、機械方式（例えば、Kosugi et al., An Articulated Neurosurgical Navigation System Using MRI and CT Images (IEEE Transactions of Biomedical Engineering, Vol. 35, No. 2, February 1988)、および米国特許5050608号 (E. Watanabe, Y. Kosugi and S. Manaka: System for indicating a position to be operated in a patient's body）と、ステレオビジョン方式 (例えば、特許3152810号；小杉、渡辺、鈴木、川上、中川：光学式３次元位置検出装置) がある。機械方式は、ロータリーエンコーダを有する多関節アームナビゲーション装置により先端位置座標を求めるものである。また、ステレオビジョン方式は、複数個のＣＣＤカメラによりプローブに設置された輝点像を認識し、三角測量の原理に基づいてプローブの３次元的位置を算出するものである。
【０００４】
【発明が解決しようとする課題】
しかし、これらの装置で内視鏡先端の位置を測定しようとした場合、機械方式にあっては、アームと内視鏡先端の位置が機械的に剛性の保たれた形で接続されていることが必要であり、形状が自在に変わり得るファイバー式の軟性内視鏡ではこのような使用条件が満たされない。また、ステレオビジョン方式にあっては、体内に置かれた内視鏡先端に仮に発光部を装着したとしても、体外に位置するＣＣＤカメラとの間に不透明の生体組織が存在することから、位置の確定は不可能である。
【０００５】
軟性内視鏡を用いた手術装置において、内視鏡先端部の位置測定をおこなうためには、１) 体内の３次元位置に対応した画像をいかにして生成・登録するかという問題、２) 登録された画像と内視鏡から観測される画像の照合をいかにして行うかという問題、３) 手術環境下で内視鏡の進むべき方向を術者に的確に与えるヒューマンインターフェースをどのように構成すれば良いかという問題がある。また、４) 手術時に簡便かつ高精度に実時間で内視鏡先端部の位置測定を実行するための計算アルゴリズムおよび付属機器の開発を行う必要がある。
【０００６】
この発明の目的は、自在に屈折する軟性内視鏡を用いた手術などにおいて、簡便かつ高精度に内視鏡先端部の位置を判断できるようにすることである。
【０００７】
【課題を解決するための手段】
本発明に係る内視鏡誘導装置は、検査対象の仮想内視鏡画像と内視鏡先端の位置および姿勢の情報からなるデータベースを記憶する記憶手段と、検査対象の実軟性内視鏡画像を取得する入力手段と、前記実内視鏡画像を前記データベース内の仮想内視鏡画像と比較して、前記内視鏡画像と最も類似度が高い仮想内視鏡画像を決定する比較手段と、決定された仮想内視鏡画像の情報から、前記実内視鏡画像に対応する軟性内視鏡先端部の位置と姿勢を決定する決定手段とを有する。ここで、実軟性内視鏡画像とは、本物の軟性内視鏡で観測される画像であり、実内視鏡画像とは、本物の内視鏡で観測される画像である。
【０００８】
前記の内視鏡誘導装置において、たとえば、前記の仮想内視鏡画像は、検査対象の３次元画像データに基づいて生成された画像である。
【０００９】
前記の内視鏡誘導装置において、たとえば、前記の仮想内視鏡画像と内視鏡先端の位置および姿勢の情報は、硬性内視鏡により得られた画像と、その画像を得たときの硬性内視鏡先端の位置および姿勢の情報である。
【００１０】
前記の内視鏡誘導装置において、たとえば、さらに、決定手段により決定された内視鏡先端部の位置と姿勢を、２次元断面表示または３次元表示された検査対象の画像に重畳して表示装置の画面に表示する表示手段とを備える。
【００１１】
前記の内視鏡誘導装置において、たとえば、前記の表示手段は、さらに、実内視鏡画像またはそれと最も類似度が高い仮想内視鏡画像に、当該画像では表示されていない体内の患部を重畳して表示する。
【００１２】
前記の内視鏡誘導装置において、たとえば、さらに、検査対象の３次元画像データに基づいて仮想内視鏡画像を計算する画像生成手段を備え、この画像生成手段は、設定された内視鏡先端の位置と姿勢ごとに、それに基いて３次元画像データの補間演算とレンダリング演算を実行して仮想内視鏡画像を取得する。多数の内視鏡先端の位置と姿勢を設定して演算することにより大規模な仮想内視鏡画像のデータベースを構築できる。
【００１３】
前記の内視鏡誘導装置において、たとえば、前記の比較手段は、画素位置(i,j)における実内視鏡画像の画素値と仮想内視鏡画像の画素値を、実内視鏡画像の画素値と仮想内視鏡画像の画素位置を座標軸とする２次元グラフにプロットしたときに最も少ない面積上に分布する仮想内視鏡画像をデータベースから探索し、最も類似度が高い仮想内視鏡画像とする。
【００１４】
前記の内視鏡誘導装置において、たとえば、前記の比較手段は、相互情報量が最大の仮想内視鏡画像を仮想内視鏡画像データベースから探索し、最も類似度が高い仮想内視鏡画像とする。
【００１６】
前記の内視鏡誘導装置において、たとえば、前記の比較手段は、適応的非線形写像を実施した後の最終マッチングスコアによる類似度を用いる。
【００１７】
前記の内視鏡誘導装置において、たとえば、前記の比較手段は、内視鏡を前進させた場合に、探索範囲を常に前回の探索範囲の近傍とし、前回と今回の内視鏡の挿入距離の差分に相当する探索半径を基に、仮想内視鏡画像のデータベース内の探索を実施する。
【００１８】
前記の内視鏡誘導装置において、たとえば、前記の比較手段は、実内視鏡画像と仮想内視鏡画像をそれぞれ極座標系に変換した後、最も類似度が高い仮想内視鏡画像を選ぶ。
【００１９】
前記の内視鏡誘導装置において、たとえば、前記の比較手段は、類似度の評価において、あらかじめ実内視鏡画像と仮想内視鏡画像の各画像の画素強度の最大値を１に規格化した後、対応する画素ごとの強度差の２乗和を用いる。
【００２０】
前記の内視鏡誘導装置において、たとえば、前記の決定手段は、前記の比較手段により得られた内視鏡先端の推定位置が、過去に推定した内視鏡先端位置を時系列で並べたときに外挿される現在の予測位値から著しく逸脱した位置である場合にその推定位置を採用しない。なお、前述の内視鏡誘導装置における種々の構成要素は、可能な限り組み合わせることができる。
【００２４】
【発明の実施の形態】
以下、添付の図面を参照して本発明の実施の形態を説明する。
本発明は、自由に屈折する内視鏡の誘導（ナビゲーション）に関する。近年脳神経外科領域をはじめとして多くの医療分野で内視鏡を用いた手術が行われるようになったが、術者は内視鏡先端が患者のどの位置にあるかを見失う場合がある。そこで、ヒトはＧＰＳなどの特別な位置検出機器を用いなくても、見慣れた街中を迷わずに自由に移動することができることに着眼した。これは、「この光景は見たことがある」という既視感と、その光景から場所の情報を連想的に検索できる人間の脳に備わった機能によるものである。本発明では、このような画像の印象より位置情報を検索する機能をコンピュータのアルゴリズム上で実現した。ここで、コンピュータ連動断層撮影（ＣＴ）、磁気共鳴撮像（ＭＲＩ）などの断層写真群からボリュームレンダリング、手術用ナビゲーションシステムなどの画像表示によって得られた位置と画像の関係のデータを蓄積しておき、特に手術などの施行者が操作する内視鏡先端の３次元的位置情報を、過去に登録済みの画像から推定して術者に提供する。
【００２５】
発明の実施の形態１．
図１は、発明の実施の形態１に係る内視鏡誘導装置の構成を示す。この装置は、自在に屈折する軟性内視鏡（図示しない）に接続され、患者の手術操作部位と断層画像（３次元画像）の位置関係を把握できるように術者を支援する。さらに説明すると、この装置において、ネットワークコントローラ１０は、ＣＴ画像、ＭＲＩ画像などの３次元画像、本物の内視鏡からの画像（内視鏡画像）などの診断画像を外部から読み込む。これらの診断画像は、ハードディスク１２内に記憶される。ＣＰＵ１４は、キーボード、マウスなどの入力装置１６からの指示に基づき、内視鏡誘導プログラムに従い計算機処理を実行する。ここで、ハードディスク装置１２内のハードディスク（記録媒体）に格納された内視鏡誘導プログラムは、実行時にメモリ１８にロードされる。処理結果の画像は、ビデオコントローラ２０を経由し、ディスプレーモニタ２２で表示される。
【００２６】
図２は、内視鏡誘導プログラムにおける機能ブロックを表している。仮想内視鏡画像データベース計算ステップ（Ｓ１０）で、検査対象のＭＲＩ、ＣＴなどの３次元画像データを入力して、入力した３次元画像データに基づいて仮想内視鏡画像を計算し、ハードディスク装置１２内のデータベースに記憶しておく。手術などにおいて、検査対象の内視鏡画像データが入力されると、比較ステップ（Ｓ１２）で、データベース内の仮想内視鏡画像と本物の内視鏡で観測した検査対象の画像（実内視鏡画像）とを比較して、現在の内視鏡先端部の位置と姿勢を実時間で決定する。次に、表示ステップ（Ｓ１４）で、比較ステップで得られた現在の内視鏡先端部の位置と姿勢を、モニタ２２の画面上に表示しているＭＲＩ画像またはＣＴ画像上に重畳して表示する。
【００２７】
仮想内視鏡画像の計算では、検査対象のＭＲＩ、ＣＴなどの３次元画像データに基いて仮想内視鏡画像を計算する必要がある。これについては、３次元画像データをボリュームレンダリングする方法が公知であり、その方法を用いてもよい。その方法の詳細は、たとえば、Rubin, Perspective Volume Rendering of CT and MRI Images: Applications for Endoscopic Imaging (Radiology、１９９巻、３２１〜３３０ページ、１９９６年) に記載されている。簡単に説明すると、検査対象のＭＲＩ、ＣＴなどの３次元画像データは３次元のボリュームデータである。内視鏡を検査対象に挿入したときに、内視鏡先端のカメラで観測できる画像は、この点に観測点をセットして、そこから光の束を発散させて各光の直進路にしたがって検査対象の体積要素に関する色と透明度の計算を行うと、シミュレーション可能である。たとえば、ＭＲＩの各体積要素内の値が小さいときは、空気領域または骨領域であることが一般的である。また、ＭＲＩの各体積要素内の値が大きいときは、軟組織など水分が豊富な領域であることが一般的である。したがって、ＭＲＩの各体積要素内の値が小さいときは透明度をあげて、ＭＲＩの各体積要素内の値が大きくなるに従い透明度を下げれば、空気領域と軟組織領域をコントラストよく区別して３次元表示できる。
【００２８】
仮想内視鏡画像データベース計算（図２、Ｓ１０）では、上記の観測点（視点）と観測姿勢（仮想的なカメラの方向）を種々変化させて、多数の内視鏡画像をシミュレートした画像（仮想内視鏡画像）を得て、仮想内視鏡画像および視点情報をハードディスク装置１２内のデータベースに蓄積しておく。図３に、その処理をより詳細に流れ図として示した。まず、病院内ネットワークで標準的に使用されているＤＩＣＯＭ形式のＣＴまたはＭＲＩ画像を読み込む（Ｓ１００）。次に、ボクセル値に対する不透明度と色テーブルを定義する（ステップＳ１０２）。ボクセル値に対する不透明度に関しては、所定のしきい値以下の不透明度をゼロ（完全透明）、前記しきい値以上の不透明度を１（完全不透明）とすると、レンダリング速度が増大した。次に、補間計算法を設定する（ステップＳ１０４）。補間計算法としては、３次元の線形補間を用いた。次に、陰影処理パラメータを設定し（ステップＳ１０６）、レンダリング方法を選択する（ステップＳ１０８）。陰影処理パラメータは複数の値で試行錯誤的に調整した。また、レンダリング方法としてレイキャスティング法によるボリュームレンダリングを採用した。なお、光線上の計算刻み幅を表示にアーチファクトが入らない範囲でなるべく大きくすることにより、高速計算が達成できた。次に、視点（カメラ）位置・回転中心・鉛直上向きの視点情報を設定する（ステップＳ１１０）。視点情報は、カメラ位置を体外位置とした平行投影による対象となる画像全体のボリュームレンダリング表示に基づき決定した。次に、視野角を設定する（ステップＳ１１２）。視野角としては同時に用いる内視鏡における視野角の値を入力した。次に、レンダリングを実行し、仮想内視鏡画像を取得する（ステップＳ１１４）。最後に、仮想内視鏡画像と視点情報をデータベース用ファイルに保存する（ステップＳ１１６）。視点情報（観測点と観測姿勢）を種々変化させて、ステップＳ１１０〜Ｓ１１６の処理を繰り返して、多数の内視鏡画像をシミュレートした画像（仮想内視鏡画像）を得る。
【００２９】
図４は、仮想内視鏡画像データベースを生成する処理（図２、Ｓ１０）における視点情報の設定を具体的に示す。この処理は、図３のステップＳ１１０とＳ１１２に対応する。ここで、種々の位置と姿勢に仮想カメラを設置する必要がある。カメラ位置については、１）まず本物の内視鏡で探索する場合に想定されるカメラ位置の領域を決定し（Ｓ１２０）、その後この領域内をたとえば１０ｍｍステップで３軸方向に移動した点をすべてカメラ位置として採用する（Ｓ１２２）。次に、カメラの姿勢については、２）カメラ画像の回転を５度おきに設定し、３）カメラ画像の端部位置を画像サイズの１/１０ずつ平行移動し、４）さらに仮想カメラによる画像の拡大・縮小率を５０％から２００％まで２０％ずつ変化させる（Ｓ１２４）。これらの１）から４）のパラメータを独立に変化させて（Ｓ１２６）、多数のカメラ位置と姿勢を与える。これに基いてレンダリング画像を生成することより、大規模な仮想内視鏡画像データベースを生成する。なお、仮想内視鏡画像を計算する場合は、仮想内視鏡の視野角および仮想内視鏡のカメラ回転中心とカメラ位置の相対的配置を実内視鏡と同一にすることが好ましい。
【００３０】
このようなデータベースを用いれば、画像比較ステップ（図２、Ｓ１２）において、計算した仮想内視鏡画像と本物の内視鏡で観測がされる画像（実内視鏡画像）を比較して、本物の内視鏡画像と一致度が最も高い仮想内視鏡画像をデータベース内部から探索できる。画像比較ステップ（図２、Ｓ１２）では、仮想内視鏡画像データベース内に蓄積された画像と現時点の内視鏡画像の一致度合いを調べ、最も一致する仮想内視鏡画像データベース内に蓄積された画像を決定して、これに対応する仮想カメラ位置と姿勢を得る。この結果、現時点の内視鏡先端部が検査対象（たとえば、人体の脳内）のどの位置で、どの方向に向いているかを知ることができる。この情報を、モニタ２２の２次元または３次元のＭＲＩ画像またはＣＴ画像上に重畳して表示することにより、内視鏡手術従事者は、位置と方向の判断を誤ることなく複雑な手術を続行できる。
【００３１】
具体的な方法は、図５の流れ図に示す。まずオフラインで仮想内視鏡画像をグレースケール表示して、仮想内視鏡画像の濃淡変化を、同一場所で撮像した本物の内視鏡画像となるべく一致するように調整する（Ｓ１３０）。具体的には、内視鏡を体内に入れながらＭＲＩまたはＣＴ撮像を行い、同一部位の実内視鏡画像と仮想内視鏡画像を取得すれば、上記の色の調整が対話的に可能になる。仮想内視鏡の画素強度をグレースケールに変換する関数を対話的に定義すれば、仮想内視鏡画像の濃淡を任意に変更できる。次に、相関係数が最大になる仮想内視鏡画像を仮想内視鏡画像データベースから探索する（Ｓ１３２）。次に、求まった仮想内視鏡画像に対する内視鏡先端の位置と姿勢の情報を出力する（Ｓ１３４）。
【００３２】
より詳細に説明すると、一致度の判定には、通常よく用いられる画像間の相関係数を計算する方法が適している。仮想内視鏡と本物の内視鏡画像では、色情報の相関は一般には高くないので、相関計算は、カラー画像からグレースケール画像に変換した後に実施することが望ましい。そこで、オフラインで仮想内視鏡画像をグレースケール化して、仮想内視鏡画像の濃淡変化を同一場所で撮影した本物の内視鏡画像となるべく一致するように調整する。仮想内視鏡の画素強度をグレースケールに変換する関数を定義すれば、濃淡を任意に定義できる。カラー画像（Ｒ，Ｇ，Ｂ色の強度をそれぞれＩ_R, Ｉ_G, Ｉ_Bとする）からグレースケール画像（強度I）に変換する方法は、たとえば、次の式（１）で計算すればよい。
【数１】

【００３３】
次に、仮想内視鏡画像と内視鏡画像の相関計算を行う。画素位置(i,j)における内視鏡画像画素値Ａ(i,j)と仮想内視鏡画像画素値Ｂ(i,j)について、相関係数ｒは次の式（２）で定義される。
【数２】

ここで、ＵとＶはベクトルであり、内視鏡画像および仮想内視鏡画像の画素値を並べたものであり、具体的には、次式（３）、（４）で定義される。
【数３】

【数４】

また、Ｕ・ＶはベクトルＵとＶの内積を表し、|Ｕ|はベクトルＵの大きさを表す。相関係数ｒは、ベクトルＵとＶの平均値を引いていない点が通常の統計学の相関係数と異なるが、直流成分を含めて２つの画像の一致度を評価する場合は、上式（２）が好ましい。なお、もし残差の２乗平均を評価関数に用いる場合は、あらかじめ |Ｕ|= |Ｖ|= 1 としておけばよい。こうしないと、互いにスケールが異なる画像の間で画素の差分を評価することになり、意味が見出せない。
【００３４】
ところで、仮想内視鏡画像と本物の内視鏡画像では、互いに異種画像であるために、画素強度は互いに比例していないことが一般的である。相関係数を計算するために、２種類の画像では対応する画素強度は、互いに比例すると相関が最大になるので、比例させるように前処理をする必要がある。このような問題は、患者ごと、部位ごとに経験的な方法で対処することが可能である。
【００３５】
図６は、最も一致する仮想内視鏡画像データベース内に蓄積された画像を決定した処理の一例を示す。左側が、現時点の内視鏡画像３０であり、右側がデータベース内の最も一致する仮想内視鏡画像３２である。
【００３６】
図７は、表示ステップ（図２、Ｓ１４）で、得られた現時点の内視鏡先端部の３次元位置およびカメラの向きを、直交３平面画像４０a,４０b,４０c上に矢印として重畳して表示した結果である。矢印の大きさは３平面への投影長さで表示する。たとえば、矢印４２a,４２b,４２cの出発点に内視鏡先端位置を対応させ、矢印のベクトルをカメラの方向ベクトルとする。この結果、治療医は内視鏡先端位置を正しく認識し、正確な位置で内視鏡手術を実施できる。図８は、同様の表示を３次元レンダリング画像に重畳して表示した場合を示す。３次元レンダリング画像としては、ボリュームレンダリングまたはサーフェスレンダリングを用いることができる。ボリュームレンダリングを用いた場合は、組織ごとの輪郭抽出が不要であるという利点を有する。
【００３７】
発明の実施の形態２．
図９は、発明の実施の形態２における内視鏡誘導プログラムを示す。ここで、図２の処理の後で、さらに、内視鏡では見えない体内表層下の患部（腫瘍など）を仮想内視鏡画像上でボリュームレンダリングにより表層を半透明表示し、内視鏡との位置合わせをおこなう（Ｓ１６）。この結果、内視鏡画像にも体内表層下の患部（腫瘍など）を追加表示でき、正確な内視鏡下での手術を実施できる。このような体内の腫瘍をボリュームレンダリングで表示することができる条件は、正常組織と腫瘍組織のＭＲＩ画像強度が大きく異なることであるが、この条件は多くの場合に成立することが知られている。
【００３８】
１例として、図１０に、図６に示した画像に体内表層下の患部（ここでは腫瘍）の位置を重畳して表示した例を示す。体内表層下の患部を、仮想内視鏡画像３２上でボリュームレンダリングにより表層を半透明に表示して重畳して表示している。また、内視鏡画像３０に、体内表層下の患部３４を追加表示している。
【００３９】
発明の実施の形態３．
前述の実施の形態１では、仮想内視鏡像をグレースケール化していた（図５、Ｓ１２０）。ところで、実内視鏡画像のグレースケール表示は組織表層の色（Ｒ，Ｇ，Ｂの比率およびスケーリング値つまり明度）で決まり、患者の組織表層の血流状態と代謝状態で色が決まる。一方、ＣＴまたはＭＲＩ画像から仮想内視鏡画像を構成した場合の色は、ＣＴ値またはＭＲＩ強度と表示色の対応関数で決まる。この対応関数は任意に設定できる。このことから、患者が変わった場合は、組織表層の色は個体差があるので、発明の実施の形態３で説明した方法で、別の患者のオフライン測定結果を用いることは一般には不適切であることがわかる。また、同一患者でも組織が異なれば、組織表層の血流状態と代謝状態が変化するため、同一患者の別組織のオフライン測定結果を用いることは一般には不適切であることも理解できる。
【００４０】
このような事情があるので、実内視鏡画像と仮想内視鏡画像のグレースケールの濃淡合わせまたは色合わせは、理想的には、適応的に画像ごとに自動計算する必要がある。しかし、これは煩雑であるので、これを避ける本実施の形態の処理を説明する。ここでは、ジョイントヒストグラムまたは２次元ヒストグラムと呼ばれる図を用いるが、この方法は異種画像の位置合わせ手法として公知である。たとえば２００１年にCRC Press社から刊行された単行本、Medical Image Registration, ５７〜５９ページ、に記載されている。
【００４１】
図１１は、この実施形態における画像比較処理を示す。具体的には、図１２の(ａ)のように、画素位置(i,j)における実内視鏡画像の画素値Ａ(i,j)と仮想内視鏡画像の画素値Ｂ(i,j)を用いて、点（Ａ(i,j)、Ｂ(i,j)）としてグラフに２次元プロットしていき（Ｓ１３１）、最も少ない面積上に分布する仮想内視鏡画像をデータベースから探索する（Ｓ１３３）。そして、求まった仮想内視鏡画像に対応するカメラの位置と姿勢の情報を出力する（Ｓ１３４）。最も少ない面積の判定には、対話的に操作者が行う方法、プロットされた点を含む閉曲線を描く方法および発明の実施の形態１で説明したベクトルの内積演算による相関係数の計算などがある。なお、最も少ない面積上に分布するということは、実内視鏡画像で表示された画素値と仮想内視鏡画像で表示された画素値の強い関連性があることを示している。強い関連性とは、いわゆる正の相関が強い場合や負の相関が強い場合を含むが、もっと複雑な場合も含む（図１２の(ｂ)参照）。このような複雑な関連性が強い場合でも、発明の実施の形態１で説明したベクトルの内積演算による相関係数の計算が有効である。いずれの場合でも、最も少ない面積上に分布することは、２つの画像が同一カメラ位置から見た同一組織である可能性が非常に高いことを意味している。
【００４２】
発明の実施の形態４．
発明の実施の形態３の対応関数を用いた処理をさらに拡張した方法として、画像比較処理に相互情報量を評価する手法を用いることが考えられる。図１３にその流れ図を示す。相互情報量を用いた異種画像のレジストレーション（位置合わせ）については、発明の実施の形態３であげた文献の６０〜６１ページに記載されている。まず、画素位置(i,j)における実内視鏡画像Ａ(i,j)と仮想内視鏡画像Ｂ(i,j)の画素値を用いて相互情報量を計算する（Ｓ１３１'）。相互情報量は定性的には一方の画像情報が他方の画像情報をどれだけうまく説明できるかを与えるものであり、たとえば次の式（５）で与えられる相互情報量Ｉ(Ａ, Ｂ)が最大になったときに、２つの画像は位置合わせできたと判断する。
【数５】

ここで、ｐ^T _AB(a, b)は画像Ａと画像Ｂのジョイント確率分布関数であり、ｐ^T _A(a)およびｐ^T _B(b)はマージナル確率分布関数である。相互情報量の定義は、上記に限らず、他にも種々提案されているので、それらを用いてもよい。次に、相互情報量が最大になる仮想内視鏡画像を仮想内視鏡画像データベースから探索する（Ｓ１３３'）。そして、求まった仮想内視鏡画像に対応するカメラの位置と姿勢の情報を出力する（Ｓ１３４）。
【００４３】
発明の実施の形態５．
これまで述べてきたような類似度評価に相関係数、２乗誤差、相互情報量などを用いる場合、類似度が最大になる仮想内視鏡画像が仮想内視鏡画像データベース内に存在する必要があるので、データベースの大規模化は避けられない。一般にこのような処理はオフラインで計算しておく必要があり、緊急手術が必要な救急患者に対しては適用が難しい場合も考えられる。さらに、内視鏡画像に雑音が混入している場合に最適な仮想内視鏡画像の推定に失敗することも考えられる。そこで、この発明の実施の形態では、脳機能の１つである連想処理の採用によりデータベースの小規模化および対ノイズ性能向上を図る。内視鏡で得られた画像から連想処理によりその位置を検出するためには、内視鏡は挿入の間、任意の角度で回転することが予想されるため、回転操作に不変な連想処理システムを実現することが要求される。
【００４４】
以下に、２００１年６月に青木らにより発表されたRotation-Invariant Image Association for Endoscopic Positional Identification Using Complex-Valued Associative Memories （Springer, Proceedings of the 6th International Work-Conference on Artificial and Natural Neural Networks Granada, PartＩＩ，pp.369-376）に記載された、複素数型連想メモリを用いた内視鏡位置検出のための回転に不変な画像連想処理の概要を述べる。連想記憶を用いた処理は、必要なパターンをあらかじめ記憶させる記銘処理（フェーズ１）と、その後で記憶パターンの不完全パターン（ノイズの混入や、パターンの一部の情報が欠落しているようなパターン）を与えると、その不完全パターンより完全な記憶パターンを連想し出力する想起処理（フェーズ２）の２段階の処理に分けられる。
【００４５】
フェーズ１の記銘処理は、記憶しようとするパターンよりニューロン間の結合荷重を決定するプロセスであり、記憶パターンの情報はニューロン間の結合荷重に多重分散的に記憶される。また、フェーズ２の想起処理では、各ニューロンはあらかじめ定められた状態遷移規則に従って次々と状態を更新していく。実数型を拡張した複素数型連想記憶モデルを応用することにより、容易に多値のパターン情報を扱うことが可能となる。特に、複素数型連想記憶モデル(ＣＡＭＭ)と２次元離散フーリエ変換処理(2-D DFT)とを組み合わせることにより、濃淡画像の連想システムが実現される。
【００４６】
図１４により、回転操作に不変な画像連想システムの実現方法の概要を説明する。本システムでは、図１４の(ａ)に示すように円形画像を扱うものとする。なお、以下の説明は、記銘処理と想起処理に共通である。
【００４７】
(Ａ) まず図１４の(ａ)に示す円形画像を図１４の(ｂ)に示すような長方形画像に変換する。すると、円形画像における０を中心とするθ方向への回転操作は、長方形画像においてはｎ方向（横方向）のみへのシフト操作に置き換えられる。
【００４８】
(Ｂ) 図１４の(ｂ)の形式に変換された図形について２次元離散フーリエ変換処理(2-D DFT)をする。フーリエ変換された結果は図１４の(ｃ)のように与えられる。ここで、四隅の部分が低周波の空間周波数成分を表わし、中央部分が高周波の空間周波数成分を表す。
【００４９】
(Ｃ) 図１４の(c)のフーリエ変換の各成分をν(m',n'）とし、ν(m',n') ＝ |ν(m',n')|exp(α(m',n')) と表わせるものとする。以下の式（６）、（７）を用いてν(m',n')の振幅情報を位相情報に多重化させる処理を行い、位相情報のみにより表現される行列 {χ_phase(m',n')} を生成する。式（６）で、|ν_max(m',n')|は各要素|ν(m',n')|の中での最大値を表す。また、式（７）はχ_phase(m',n')を定義する。こうして画像情報をχ_phase(m',n')の形式に変換することにより、画像情報は図１４の(ｄ)の複素ニューロンにより表現することが可能となる。
【数６】

【数７】

【００５０】
(Ｄ) このように画像の情報は上記χ_phase(m',n')の形式に変換して、複素数型連想記憶モデル（ＣＡＭＭ）に与える。
【００５１】
(Ｅ) 次に、χ_phase(m',n') を位相量子化する。
【００５２】
(Ｆ) 通常、χ_phase(m',n')の全ての成分を用いてＣＡＭＭを構成するとニューロン数が非常に多くなってしまうため、画質の劣化が目立たない範囲で図１４の(ｃ)に示すように高周波領域の成分を無視してＣＡＭＭを構成する。その際ＣＡＭＭはχ_phase(m',n')の低周波領域の各列毎に構成する。例えば、行列{χ_phase(m',n')}の０からＸおよびＮ−ＸからＮ−１までの各列を利用すると、作られるＣＡＭＭの数は２Ｘ＋１個となる。ＣＡＭＭのニューロンの間の結合荷重の決定を行なう。
【００５３】
以下は、想起処理における説明である。
(Ｇ) ここで、２次元離散フーリエ変換（2-D DFT）の次の性質に注目する。ｎ方向のみにｑだけシフトした画像の２次元離散フーリエ変換は次のように表される。
【数８】
ν(m',n') = DFT{u(m, n)}
とおけば、ｕ(m, n)をｎ方向のみにｑだけシフトした画像ｕ(m, n-q)の２次元離散フーリエ変換は次のように与えられる。
【数９】
DFT{u(m,n-q)} = ν(m',n')exp(-iθ_Nn'q)
ここにθ_N = 2π/N
つまり、複素領域側でみるとexp(-isθ_Nn'q)の項が付加されるだけである。
(Ｈ) (Ｆ)で述べた通り、行列{χ_phase(m',n')}の各列ごとにＣＡＭＭを構成すると、ひとつのＣＡＭＭの中ではn'の値は等しいから、回転による影響項exp(-iθ_Nn'q)の値は各ニューロンでは皆等しくなる。すなわち、各ＣＡＭＭに対しては画像の回転操作による影響はexp(-isθ_N)の項が付加されるだけとなる。
【００５４】
(Ｉ) 一方、ＣＡＭＭは、exp(-isθ_N)の影響を吸収する性質（位相シフトに対して不変な性質）をもつ。すなわち、状態パターンx₁をＣＡＭＭの平衡状態として記銘させると、状態x₁をsθ_N（sは任意の整数）だけ位相をシフトした状態exp(-isθ_N)x₁もまたＣＡＭＭの平衡状態となる。（ただし、この場合、複素ニューロンの量子化数ＫはＮの整数倍に設定しておくものとする。）言い換えると、ＣＡＭＭはx₁もexp(-isθ_N)x₁も区別なく平等に記憶する。こうして、(Ｈ)と(Ｉ)の性質を用いることにより回転に不変な連想記憶システムを実現できる。
【００５５】
(Ｊ) 残る問題は、各ＣＡＭＭが想起した結果からどのようにして想起画像を再構成するかである。各ＣＡＭＭが想起した結果をそのまま逆２次元離散フーリエ変換（2-D IDFT）をして実数領域に変換しても正しい想起画像は得られない。各ＣＡＭＭが想起した結果より、回転による影響項exp(-isθ_N)の位相分を補正する必要がある。
【００５６】
そこで、各ＣＡＭＭの中に上記補正量を検出するためのニューロンを新たに埋め込んでおく（これにより各ＣＡＭＭのニューロン数はＲ＋１個となる）。このニューロンはあらかじめ決められた位相（これを基準位相とする）でＣＡＭＭに記憶させておき、毎回想起処理が完了した時にこのニューロンの位相を調べ、基準位相とのズレから上記補正量を検出するものとする。
【００５７】
(Ｋ) ＣＡＭＭの補正処理された想起結果より、下図の形式の行列ν_a(m',n')を作成する。ν_a(m',X+1)からν_a(m',N-X-1)の各列には０を補う。
(Ｌ) この行列{ν_a(m',n')}から次式（１０）を用いて想起画像{u_a(m,n)}が得られる。
【数１０】

【００５８】
発明の実施の形態１では、仮想内視鏡データベースに格納すべき画像として、カメラ画像の回転を５度おきに設定するというステップを用いた。しかし、上述の処理を用いることにより、この回転が不要になる。結果的に、データベースのサイズが、５度おきの回転の場合で、５／３６０＝１／７２になる効果がある。これは、類似度評価の計算時間が１／７２になることを意味する。さらに、画像に雑音が混入した場合でも正しく推定が可能になる効果もある。
【００５９】
発明の実施の形態６．
この実施の形態のハイブリッドシステムでは、検査対象のＭＲＩ、ＣＴなどの３次元画像データに基づく仮想内視鏡画像を用いずに、硬性内視鏡像をＭＲレンダリング像で補間する。硬性内視鏡像の場合は、従来の技術として説明した機械方式（例えば、Kosugi et al, An Articulated Neurosurgical Navigation System Using MRI and CT Images (IEEE Transactions on Biomedical Engineering, Vol. 35, No. 2, February 1988)、および、米国特許５０５０６０８号 (E. Watanabe, Y. Kosugi, and S. Manaka: System for indicating a position to be operated in a patient's body）に相当する。図１５に示すように、ロータリーエンコーダを有する多関節アームナビゲーション装置により硬性内視鏡先端の位置座標および姿勢を求めることができる。図１６にハイブリッドシステムでの処理の流れ図を示す。まず、ランドマークとなりそうな場所の硬性内視鏡画像と硬性内視鏡先端の３次元位置と姿勢を複数地点で手術準備のために取得して、データベース化する（Ｓ２０）。続いて、光ファイバー方式のやわらかい内視鏡に交換して、手術を行う（図１７参照）。ここで、光ファイバー内視鏡を進行させながら得られた光ファイバー内視鏡画像と類似度が高い硬性内視鏡画像をデータベースから選ぶ（Ｓ２２）。そして、類似度が高く画像が選ばれた地点の近傍においては、異種画像の類似度評価により局所的な探索を行う（Ｓ２４）。この場合、硬性内視鏡と光ファイバー方式の内視鏡画像は同種画像であり、データベースによる類似度の評価は容易である。したがって、ランドマークとなる要所要所では、精度良く光ファイバー方式の内視鏡先端位置を知ることができる。また、これらのランドマーク近傍においては、異種画像の類似度評価になるが、局所的な探索で良いので、似たような別の場所の誤認知の確率を低減でき、安全なナビゲーションが実行できる。そもそも似たような場所を間違えないようにするための道具なので、ミスは許されないため、本手法は有用である。そして、求まった仮想内視鏡画像に対するカメラの位置と姿勢の情報を出力する（Ｓ２６）。そして、この結果に基いて、図２や図９で説明したように重畳して表示を行う。
【００６０】
発明の実施の形態７．
また、類似性については、適応的非線形写像実施後の最終マッチングスコアによる類似度評価を用いる方法も考えられる。この処理が有効な場合は、これまで述べてきた方法のいずれかで類似度を評価しても、十分高い類似度が得られなかった場合である。もし内視鏡挿入に伴い組織が局所的に歪んだ場合、実内視鏡画像に含まれる空間的な非線形ひずみを考慮して類似度を評価する必要がある。具体的には、内視鏡画像または計算した仮想内視鏡画像を空間的に弾性変形のようなひずみを与えて変形させながら、類似度が上昇する変形パターンを探索する。このような適応的非線形写像の詳細は、特許公報第２８６００４８号「非線形画像変換装置および標準画像計算方法」に記載されているので、詳細は省略するが、図１８と図１９で簡単に説明する。
【００６１】
図１８は、適応的非線形写像実施後の最終マッチングスコアによる類似度評価を用いる処理の流れ図である。まず、第１画像のデータから、第１画像を所定の数に分割して小エリアのデータを生成し、第１画像層のデータとして保存する（Ｓ３０）。例えば、図１９に示すように４×４個（１６個）の小エリアに分割される。次に、第２画像のデータを保存する（Ｓ３２）。たとえば、第１画像が実内視鏡画像で、第２画像が仮想内視鏡画像である。
【００６２】
そして、第１画像の各小エリアのデータに対して、各小エリアの位置を示す位置ベクトルに移動ベクトルを加算して、位置をスライドさせる（Ｓ３４）。なお、各小エリアに対応する移動ベクトルＤの初期値はいずれも０ベクトルである。次に、スライド後の第１画像の各小エリアと第２画像の各小エリアとの類似度が最も高い移動量（増分ベクトル）を各小エリアごとに探索する（Ｓ３６）。類似度の評価はこれまで述べてきた方法のいずれかを用いる。すなわち、相関係数、２乗誤差などである。
【００６３】
次に、小エリアごとにばらばらに計算した移動ベクトルを平滑化する（Ｓ３８）。これは隣接する小エリアごとの移動ベクトルの変化を滑らかにするためである。ただし、滑らかにする度合はステップＳ３４ないしＳ３８の処理を反復する反復ループの周回回数により変化させる。このように、ループの周回回数により平滑化の度合を変化させるので、この処理は適応的非線形写像と呼ばれる。ここで、最初はあまり平滑化せずに、個々の小エリアごとの特性を重視し、だいたい局所的には類似度が向上したら、最後に周囲との連続性を考慮して、移動ベクトルを滑らかに変化させる。このように、反復するため、反復ループ内では移動ベクトルの計算は前回の移動後の画像から始める。すなわち、移動量の増分ベクトルをループを反復するたびに計算していく。したがって、反復２回目以降は増分ベクトルを計算後に、全体的な移動ベクトルを求める計算（ステップＳ４０）が必要になる。類似度が十分向上すれば、すなわち、マッチングが成功すれば（Ｓ４２でＹＥＳ）、全画素に対する移動ベクトルを計算する（Ｓ４４）。これにより、操作者は画面上で移動ベクトルを考慮して表示された実内視鏡画像と仮想内視鏡画像を観察できる。
【００６４】
発明の実施の形態８．
発明の実施の形態１でも説明したように、実内視鏡画像と仮想内視鏡画像は、互いに回転の自由度があるので、カメラを５度おきに回転して仮想内視鏡画像を生成してデータベースを構築する。次に、類似度が最大の仮想内視鏡画像を検索するために、データベース内のすべての画像を評価する必要がある。これは、カメラの回転角と実内視鏡画像と仮想内視鏡画像の類似度との関係があらかじめ不明であるためやむをえない。図６の実内視鏡画像と仮想内視鏡画像の類似度と回転角の関係を計算した１例を以下に示す。回転は仮想内視鏡画像に対して行った。
【００６５】
図２０は、直交座標系で類似度を評価した結果のグラフである。類似度としては、あらかじめ実内視鏡画像と仮想内視鏡画像の各画像の最大値を１に規格化した後で、対応する画素ごとの強度差の２乗和(Error)を用いた。もちろん、段落００３１で説明した相関値を用いてもよい。類似度が画素強度値の２乗和（縦軸ではErrorと表記）で与えているので、その最小値を与えるときに最大の類似度となる。角度（Rotation）を変化させた場合に、最大の類似度は角度０〜３０度で与えられるが、１３０度付近にも極小値が存在し、通常の分割法、２次補間法などの最適化手法を用いて探索を高速化した場合に、真の角度が求められない可能性を示している。また、回転角が０〜３０度とかなりあいまいな解になっている。
【００６６】
ところが、上記２つの画像を極座標に変換した後、類似度を評価すると、図２１のグラフのように、誤差（Error）の最小値は、他の極小値もなく、回転角（Rotation）０度として明確に与えられることが分かった。このため、通常の分割法、２次補間法などの最適化手法を用いて探索を最適化した場合に、真の角度を求めることができることを示している。なお、変換前の画像（直交座標系）をＡ(ｘ，ｙ)、極座標系に変換後の画像をＡ^＊(ｒ、theta)とすると、
ｒ＝（Ｘ^２＋Ｙ^２）^１／２、 theta＝ｔａｎ^−１（ｙ／ｘ）
により、極座標系に変換後の画像Ａ^＊(ｒ、theta)の各成分を計算できる。以上から、あらかじめ画像を極座標系に変換した後に類似度を評価すると、評価が高速化できる効果があることがわかった。
【００６７】
発明の実施の形態９．
次に、仮想内視鏡画像データベースの探索を高速化する方法を説明する。ここで、内視鏡を体内に導入した初期位置情報を用いて、仮想内視鏡画像データベースを十分絞り込んで探索する。図２２は、その処理の流れ図を示す。すなわち、ＭＲＩ画像またはＣＴ画像を取得するときに、内視鏡を体内に導入する初期位置を液体を封入した微小球マーカを体表に貼り付けることにより、仮想内視鏡画像の初期カメラ位置を決定する（Ｓ５０）。さらに内視鏡を前進させた場合に、探索範囲を常に前回の探査位置の近傍とする（Ｓ５２）。このとき、前回と今回の内視鏡の挿入距離の差分に相当する探索半径を基に、仮想内視鏡データベース内の探索を実施する（Ｓ５４）。これにより探索を高速化・高精度化できる。
【００６８】
発明の実施の形態１０．
上述の各種処理により内視鏡先端位置が推定される。ここで、好ましくは、過去に推定した内視鏡先端位置を時系列で並べたときに外挿される現在の予測位値から著しく逸脱した位置を解としようとした場合に、その解をリジェクトする。図２３は、その処理の流れ図を示す。内視鏡位置の推定値を入力する（Ｓ６０）。一方、過去に推定した内視鏡先端位置を時系列で並べたときに外挿される現在の予測位値を計算し（Ｓ６２）、内視鏡位置の推定値と比較する（Ｓ６４）。２つの値の差が所定の値より小さければ採用するが、２つの値の差が所定の値以上であれば、推定値を採用しない。これにより、探索の誤りを防止する。
【００６９】
【発明の効果】
本発明による内視鏡誘導装置および方法によれば、検査対象の仮想内視鏡画像と内視鏡先端の位置および姿勢の情報からなるデータベースと実内視鏡画像を実時間で比較することにより、高度な画像診断技術によって与えられた患部へ、迅速かつ正確に内視鏡を誘導することが可能になる。たとえば、腫瘍摘出手術にあっては、残存する腫瘍組織を最低限に抑え、かつ短時間で、また患者への侵襲を最小限にとどめた形で手術を実施することが可能になり、ひいては患者の延命、早期退院を実現することが可能になる。
【００７０】
また、検査対象の３次元画像データ（ＣＴ画像、ＭＲＩ画像などの診断画像）に基づいて仮想内視鏡画像と比較するので、実内視鏡画像との比較が容易になる。
【００７１】
また、硬性内視鏡により得られた画像と、その画像を得たときの硬性内視鏡先端の位置および姿勢の情報を用いるので、硬性内視鏡と光ファイバー方式の内視鏡画像は同種画像であるため、データベースによる類似度の評価は容易になる。
【００７２】
また、内視鏡先端部の位置と姿勢を、２次元断面表示または３次元表示された検査対象の画像に重畳して表示するので、内視鏡手術従事者は、位置と方向の判断を誤ることなく複雑な手術を続行できる。
【００７３】
また、内視鏡画像にも体内表層下の患部（腫瘍など）を重畳して表示できるので、正確な内視鏡下での手術を実施できる。
【００７４】
また、さらに、検査対象の３次元画像データに基づいて仮想内視鏡画像を計算する画像生成手段を備えるので、多数の内視鏡先端の位置と姿勢での仮想内視鏡画像からなるデータベースを構築できる。
【００７５】
また、ジョイントヒストグラムまたは２次元ヒストグラムと呼ばれる図を用いて異種画像の位置合わせを行うので、最も類似度が高い仮想内視鏡画像を容易に決定できる。
【００７６】
また、前記の比較手段は相互情報量を用いるので、最も類似度が高い仮想内視鏡画像を容易に決定できる。
【００７７】
また、回転操作に不変な複素数連想処理を採用するので、仮想内視鏡画像のデータベースの小規模化および対ノイズ性能の向上が図れる。
【００７８】
また、前記の比較手段は適応的非線形写像実施後の最終マッチングスコアによる類似度を用いるので、最も類似度が高い仮想内視鏡画像を容易に決定できる。
【００７９】
また、前記の比較手段は画像を極座標系に変換した後に類似度を評価するので、評価が高速化できる。
【００８０】
また、内視鏡を前進させた場合に、探索範囲を前回の探索範囲の近くとして仮想内視鏡画像のデータベース内の探索を実施するので、探索を高速化できる。
【００８１】
また、好ましくは、内視鏡先端の推定位置が予測位値から著しく逸脱した位置である場合にその推定位置を採用しないので、誤った推定を防止できる。
【図面の簡単な説明】
【図１】内視鏡誘導装置のブロック図
【図２】内視鏡誘導プログラムの流れ図
【図３】仮想内視鏡画像データベース計算の流れ図
【図４】仮想内視鏡画像データベースの生成における視点情報の設定処理の流れ図
【図５】内視鏡画像のグレースケール化を用いた探索処理の流れ図
【図６】最も一致する仮想内視鏡画像データベース内に蓄積された画像を決定した処理の一例を示す図
【図７】現時点の内視鏡先端部の３次元位置およびカメラの向きを直交３平面画像上に矢印として重畳して表示した図
【図８】現時点の内視鏡先端部の３次元位置およびカメラの向きを直交３平面画像上に矢印として重畳して表示した図
【図９】内視鏡誘導プログラムの流れ図
【図１０】腫瘍位置を重畳して表示した図
【図１１】画像比較処理の流れ図
【図１２】実内視鏡画素値と仮想内視鏡画素値の２次元グラフ
【図１３】相互情報量を用いる画像比較処理の流れ図
【図１４】回転に不変な連想記憶システムの基本的な考え方を説明するための図
【図１５】硬質内視鏡を用いて内視鏡画像とその姿勢情報を得ることを示す図
【図１６】ハイブリッドシステムでの処理の流れ図
【図１７】光ファイバー方式の軟内視鏡に交換して手術を行う状況を示す図
【図１８】適応的非線形写像実施後の最終マッチングスコアによる類似度評価を用いる処理の流れ図
【図１９】小エリアへの分割を示す図
【図２０】直交座標系における実内視鏡画像と仮想内視鏡画像の類似度と回転角の関係のグラフ
【図２１】極座標系における実内視鏡画像と仮想内視鏡画像の類似度と回転角の関係のグラフ
【図２２】仮想内視鏡画像データベースの探索を高速化する処理の流れ図
【図２３】現在の予測位値から著しく逸脱した位置を採用しない処理の流れ図
【符号の説明】
１０ネットワークコントローラ、１２ハードディスク、１４ＣＰＵ、１６入力装置、１８メモリ、２２モニター。

Claims

検査対象の仮想内視鏡画像と内視鏡先端の位置および姿勢の情報からなるデータベースを記憶する記憶手段と、
検査対象の実軟性内視鏡画像を取得する入力手段と、
前記実内視鏡画像を前記データベース内の仮想内視鏡画像と比較して、前記内視鏡画像と最も類似度が高い仮想内視鏡画像を決定する比較手段と、
決定された仮想内視鏡画像の情報から、前記実内視鏡画像に対応する軟性内視鏡先端部の位置と姿勢を決定する決定手段と
を有する内視鏡誘導装置。
前記の仮想内視鏡画像は、検査対象の３次元画像データに基づいて生成された画像であることを特徴とする請求項１に記載された内視鏡誘導装置。
前記の仮想内視鏡画像と内視鏡先端の位置および姿勢の情報は、硬性内視鏡により得られた画像と、その画像を得たときの硬性内視鏡先端の位置および姿勢の情報であることを特徴とする請求項１に記載された内視鏡誘導装置。
さらに、決定手段により決定された内視鏡先端部の位置と姿勢を、２次元断面表示または３次元表示された検査対象の画像に重畳して表示装置の画面に表示する表示手段とを備えることを特徴とする請求項１ないし請求項３のいずれかに記載の内視鏡誘導装置。
前記の表示手段は、さらに、実内視鏡画像またはそれと最も類似度が高い仮想内視鏡画像に、当該画像では表示されていない体内の患部を重畳して表示することを特徴とする請求項１ないし請求項４のいずれかに記載の内視鏡誘導装置。
さらに、検査対象の３次元画像データに基づいて仮想内視鏡画像を計算する画像生成手段を備え、この画像生成手段は、設定された内視鏡先端の位置と姿勢ごとに、それに基いて３次元画像データの補間演算とレンダリング演算を実行して仮想内視鏡画像を取得することを特徴とする請求項１ないし請求項５のいずれかに記載の内視鏡誘導装置。
前記の比較手段は、画素位置(i,j)における実内視鏡画像の画素値と仮想内視鏡画像の画素値を、実内視鏡画像の画素値と仮想内視鏡画像の画素位置を座標軸とする２次元グラフにプロットしたときに最も少ない面積上に分布する仮想内視鏡画像をデータベースから探索し、最も類似度が高い仮想内視鏡画像とすることを特徴とする請求項１ないし請求項６のいずれかに記載の内視鏡誘導装置。
前記の比較手段は、相互情報量が最大の仮想内視鏡画像を仮想内視鏡画像データベースから探索し、最も類似度が高い仮想内視鏡画像とすることを特徴とする請求項１ないし請求項７のいずれかに記載の内視鏡誘導装置。
前記の比較手段は、適応的非線形写像を実施した後の最終マッチングスコアによる類似度を用いることを特徴とする請求項１ないし請求項８のいずれかに記載の内視鏡誘導装置。
前記の比較手段は、内視鏡を前進させた場合に、探索範囲を常に前回の探索範囲の近傍とし、前回と今回の内視鏡の挿入距離の差分に相当する探索半径を基に、仮想内視鏡画像のデータベース内の探索を実施することを特徴とする請求項１ないし請求項９のいずれかに記載の内視鏡誘導装置。
前記の比較手段は、実内視鏡画像と仮想内視鏡画像をそれぞれ極座標系に変換した後、最も類似度が高い仮想内視鏡画像を選ぶことを特徴とする請求項１ないし請求項１０のいずれかに記載の内視鏡誘導装置。
前記の比較手段は、類似度の評価において、あらかじめ実内視鏡画像と仮想内視鏡画像の各画像の画素強度の最大値を１に規格化した後、対応する画素ごとの強度差の２乗和を用いたことを特徴とする請求項１ないし請求項１１のいずれかに記載の内視鏡誘導装置。
前記の決定手段は、前記の比較手段により得られた内視鏡先端の推定位置が、過去に推定した内視鏡先端位置を時系列で並べたときに外挿される現在の予測位値から著しく逸脱した位置である場合にその推定位置を採用しないことを特徴とする請求項１ないし請求項１２のいずれかに記載の内視鏡誘導装置。