JPH11309A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 外部から遮蔽された対象物の内部空間を視野
の狭い内視鏡で撮影した画像を表示する場合に、内視鏡
画像あるいは内視鏡自体の対象物全体における３次元的
な位置関係および視線方向を容易に把握可能にする。 【解決手段】 内視鏡の対象物内部空間内の３次元位置
および視線方向を計測すると共に、内視鏡による撮影範
囲を含む対象物の３次元断層像を撮影し、この３次元断
層像に基づき内視鏡の視線方向とは異なる方向から見た
３次元画像を生成し、その生成された３次元画像と内視
鏡先端部のモデル画像との合成画像と共に、内視鏡の撮
影画像とを同時に表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、内視鏡で撮影した
画像を表示する画像表示装置に係り、特に、外部から直
接観察することができない内部空間を有する体内などの
内部画像を表示するのに好適な画像表示装置に関するも
のである。

【０００２】

【従来の技術】外科手術中における患者への侵襲を少な
くする手法として、内視鏡によって体内画像を撮影しな
がら手術を行う非開胸、非開腹手術が盛んに行われるよ
うになってきている。

【０００３】ところが、内視鏡はその視野が狭いため、
全体的な位置関係がわかりにくく、また内視鏡画像だけ
を見ていた場合に、現在どの方向を向いているのか、ど
の部分を見ているのかがわからないといった問題があ
り、この解決手法が強く望まれている。

【０００４】一方、脳外科手術の支援を目的とした画像
支援システムとして、次の文献「 Ramin Shahidi, "App
lications of Virtual Reality in Stereotactic Surge
ry:Volumetric Image Navigation via Surgical Micros
cope", CAR95 Computer Assisted Radiology, pp.1126-
1138(1995)」に紹介されているようなシステムがある。
この文献では、患部を露出させた定位脳手術におけるCo
mputer Aided Surgeryにおいて、術中の顕微鏡画像に術
前のＭＲＩ画像データを利用した３次元画像を合成表示
し、手術支援を行うと共に、ステレオカメラを用いて術
具をトラッキングし、術具と患部との関係も計測し、定
位脳手術を支援することが記述されている。

【０００５】そこで、この文献に記述された画像支援シ
ステムの顕微鏡を内視鏡に置き換えて内視鏡画像をＭＲ
Ｉ画像データと合成して表示する方法が考えられる。

【０００６】

【発明が解決しようとする課題】しかし、前記文献に記
述された画像支援システムの顕微鏡は、露出した術部を
ターゲットとして位置が固定されたものであるため、顕
微鏡画像がどの部分の位置の画像であるかを認識する必
要はない。これに対し、内視鏡は体内で位置が自由に移
動するため、その位置と視線方法を正確に認識する必要
がある。また、体内の位置と視線方向を認識した後、術
前に撮影した視野の大きなＭＲＩ画像データなどとの位
置合わせを行ったうえで表示する必要がある。従って、
前記の文献に記述された画像支援システムの顕微鏡を内
視鏡に置き換えたのみでは、非開胸、非開腹手術を支援
するための内視鏡画像を表示することはできない。

【０００７】また、内視鏡として立体内視鏡を用いた場
合、その両眼の視差によって該立体内視鏡で撮影してい
る体内画像を構成している複数の特徴点の３次元位置を
復元することができるが、各特徴点の３次元位置が判明
したとしても、術具によって撮影中の画像の一部が隠れ
てしまった場合、両眼の画像における特徴点同士の対応
付けが困難になるという問題がある。さらに、術具によ
って隠れた部分の位置が認識できないという問題があ
る。

【０００８】また、内視鏡では体内臓器の表面の画像し
か撮影できないため、臓器表面下で内出血しているよう
な状態を把握できないという問題がある。

【０００９】さらに、内視鏡画像の３次元位置を復元す
る場合、画像自体の歪によって誤差が生じてしまい、３
次元位置を高精度で復元できないという問題がある。

【００１０】本発明の第１の目的は、外部から遮蔽され
た対象物の内部空間を視野の狭い内視鏡で撮影した画像
を表示する場合に、内視鏡画像あるいは内視鏡自体の対
象物全体における３次元的な位置関係および視線方向を
容易に把握することができる画像処理システムを提供す
ることにある。

【００１１】また、本発明の第２の目的は、内視鏡画像
の一部が術具などの操作具によって隠れてしまった場合
でも、予め撮影しておいた画像と内視鏡画像との対応付
けを容易に行い、隠れた部分の位置を把握することがで
きる画像処理システムを提供することにある。

【００１２】また、本発明の第３の目的は、内視鏡では
撮影できない内側の状態を把握することができる画像処
理装置を提供することにある。

【００１３】さらに、本発明の第４の目的は、内視鏡画
像自体に歪に起因する３次元位置の復元誤差を補正し、
内視鏡画像の３次元位置を高精度で復元することができ
る画像処理装置を提供することにある。

【００１４】

【課題を解決するための手段】上記第１の目的を達成す
るために、本発明は、内視鏡の対象物内部空間内の３次
元位置および視線方向を計測すると共に、内視鏡による
撮影範囲を含む対象物の３次元断層像を撮影し、この３
次元断層像に基づき内視鏡の視線方向とは異なる方向か
ら見た３次元画像を生成し、その生成された３次元画像
と内視鏡先端部のモデル画像との合成画像と共に、内視
鏡の撮影画像とを同時に表示するように構成したことを
特徴とする。

【００１５】また、上記第２の目的を達成するために、
本発明は、立体内視鏡を用い、この立体内視鏡の対象物
内部空間内の３次元位置および視線方向を計測すると共
に、立体内視鏡による撮影範囲を含む対象物の３次元断
層像を撮影し、この３次元断層像に基づき立体内視鏡の
視線方向と同じ方向から見た３次元画像を生成し、さら
に、立体内視鏡の両眼の視差に基づき該立体内視鏡で撮
影した対象物の内部空間内の画像の複数の特徴点の３次
元位置を復元し、その復元された立体内視鏡画像の複数
の特徴点と３次元画像生成手段により生成された３次元
画像の複数の特徴点との対応付けを行い、対応付け後の
３次元画像と立体内視鏡の片眼の撮影画像とを合成して
表示するようにし、さらに、術具等の操作具で隠された
特徴点については立体内視鏡の視線方向と同じ方向から
見た３次元画像から求めるように構成したことを特徴と
する。

【００１６】さらに上記第３の目的を達成するために、
本発明は、３次元位置が復元された立体内視鏡画像上の
１点を指定し、その指定された立体内視鏡画像上の位置
を中心とし、該指定された位置を通り、立体内視鏡の視
線方向と垂直な１ないし複数の断面における３次元画像
を断層像撮影手段による３次元断層像から再生成し、そ
の再生成された１ないし複数の断面における重ね合わせ
３次元画像を生成し、表示手段に表示させるように構成
したことを特徴とする。

【００１７】さらに、上記第４の目的を達成するため
に、本発明は、対象物内部空間内に挿入された操作具の
先端の３次元位置を検出すると共に、立体内視鏡の両眼
の視差に基づき、前記操作具の先端の３次元位置を復元
し、これら２つの３次元位置を比較し、その差によって
立体内視鏡の撮影画像の３次元位置を復元するためのパ
ラメータを調整するように構成したことを特徴とする。

【００１８】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。

【００１９】図１は、本発明を適用した画像処理装置の
第１の実施形態を示す機能ブロック図である。この第１
の実施形態は、内視鏡を用いた手術を支援することを想
定した構成を示すものであり、以下では、手術を受ける
患者を被術者、内視鏡や術具を扱う人を術者、画像処理
に関する操作を行う人を操作者とする。なお、操作者と
術者は同一人物であっても良く、術者や操作者は一人で
も複数でも良い。また、操作の入力はポインティングデ
バイス、キー入力、音声入力などにより可能であるもの
とする。

【００２０】この第１の実施形態の画像処理装置は、大
別すると、術前に撮影したＭＲ等の３次元画像と内視鏡
によって撮影した体内の画像とを合成して出力する画像
合成装置１１、画像合成に関する各種の指示やパラメー
タを入力する入力装置１２、合成された画像を表示する
表示手段１３、Ｘ線，ＤＲ等の２次元画像を撮影する２
次元計測装置（２Ｄ計測装置）１４、ＣＴ，ＭＲＩ等の
３次元断層を撮影する３次元計測装置（３Ｄ計測装置）
１５、鉗子等の術具の３次元位置および内視鏡の３次元
位置，視線方向を計測する位置計測装置１６、術部の２
次元画像を撮影する内視鏡１７、心電計や血圧計などの
バイタルデータを計測するバイタルデータ計測装置１８
とから構成されている。

【００２１】画像合成装置１１は、内視鏡１７で撮影し
た画像や前記の各種の計測装置で計測したデータを記憶
するハードディスクや光磁気ディスクで構成されたデー
タ記憶装置１１１を備え、さらに座標系／位置合わせ手
段１１２、セグメンテーション手段１１３、３次元画像
生成手段１１４、断面画像生成手段１１５、３次元画像
復元等画像処理手段１１６、３次元コンピュータグラフ
ィック画像生成手段（３ＤＣＧ生成手段）１１７、画像
合成手段１１８を備えている。

【００２２】鉗子等の術具の３次元位置および内視鏡の
３次元位置，視線方向を計測する位置計測装置１６は、
図２に示すように、内視鏡１７および術具１９を先端部
に保持するマニピュレータ１６１，１６２に組み込まれ
ている。すなわち、マニピュレータ１６１を代表して説
明すると、このマニピュレータ１６１は水平方向の回転
機構１６３、垂直面内の回転機構１６４，１６５、水平
方向の回転機構１６６、内視鏡１７の円周方向への回転
機構１６７を備え、これらの各回転機構１６３〜１６７
には各回転角θ１〜θ５を検出するポテンショメータな
どの回転角度検出センサが組み込まれ、これらの回転角
度検出センサによって検出した各回転角θ１〜θ５と各
回転機構を結ぶリンクの長さおよび内視鏡の長さに基づ
き内視鏡１７の３次元位置および視線方向を特定するよ
うに構成されている。

【００２３】術具１９を保持するマニピュレータ１６２
についても同様の構成となっている。

【００２４】なお、磁気センサや電波を用いて術具の３
次元位置および内視鏡の３次元位置，視線方向を計測す
る構成にすることができる。

【００２５】入力装置１２は、キーボードやマウス、ト
ラックボール、タブレット、音声入力装置などで構成さ
れる。

【００２６】表示手段１１３は、ディスプレイやフィル
ム、ヘッドマウントディスプレイなどの周知の表示装置
で構成される。

【００２７】図３は、内視鏡を用いた手術を行う場合の
作業の流れを示すフローチャートであり、まず、術前に
Ｘ線ＣＴやＭＲＩなどの３次元計測装置１５を用い、被
術者の患部を含む領域の３次元断層像を撮影し、データ
記憶装置１１１に記憶させておく（ステップ３０１）。

【００２８】次に、記憶された３次元断層像を患部や臓
器ごとにセグメンテーションを行い、さらに特徴点の抽
出も行う（ステップ３０２）。続いて、セグメンテーシ
ョンされた３次元断層像を用いて術前の手術計画を作成
し、その手術計画に従って様々な角度から見た患部と周
辺組織との関係を示す治療計画画像あるいは参照画像を
作成し、データ記憶装置１１１内に記憶させる（ステッ
プ３０３）。このステップ３０３までが術前の作業であ
る。

【００２９】次に、以上のような準備作業が終了したな
らば、樹術を開始することになるが、手術開始に当っ
て、術前に撮影した３次元断層像と術中に撮影する内視
鏡画像（あるいは３次元断層像）との位置合わせを行う
ためのキャリブレーションを行う（ステップ３０４）。
このキャリブレーション実施後において、内視鏡１７に
よって患部に挿入した内視鏡１７によって術部の画像を
撮影し、その内視鏡画像と術前に作成しておいた治療計
画画像あるいは参照画像とを合成し、内視鏡画像が患部
のどの位置の画像であるかが分かるように表示手段１３
に表示し、非開腹手術、非開胸手術を支援する。

【００３０】図４は、図１の実施形態における各種の計
測データと画像処理の関係を示す機能説明図であり、４
０１は術前に撮影しておいたＸ線やＤＲ等の術前２次元
画像データ、４０２は術前に撮影しておいたＸ線ＣＴや
ＭＲＩ等の術前３次元画像データ、４０３は術中に撮影
したＸ線ＣＴやＭＲＩ、立体内視鏡等の術中３次元画像
データ、４０４は術中に撮影した内視鏡の術中２次元画
像データ、４０５は内視鏡１７の３次元位置および視線
方向ならびに術具１９の３次元位置を示す位置データ、
４０６は心電計等から出力されるバイタルデータ、４０
７はセグメンテーションされた３次元画像データ、４０
８は３次元位置が復元された内視鏡の画像データ、４０
９は術前に作成しておいた術前計画画像データである。

【００３１】なお、これらのデータ４０１〜４０９の全
てが必ずしも必要というわけではなく、少なくとも、Ｘ
線ＣＴなどの断層像撮影装置による術前３次元画像デー
タ４０２、内視鏡画像の術中２次元画像データ４０４、
術具等の位置データ４０５が必要である。これらのデー
タに基づき画像合成装置１１の各部が以下で説明するよ
うな処理を行う。なお、画像合成装置１１の各部は、そ
れぞれに必要なパラメータについて、ユーザから入力を
得る手段が用意されており、ユーザの入力が無い場合に
は、あらかじめ設定されたパラメータにて処理を行う。

【００３２】表示手段１３８には、手術のターゲットと
なる領域４１１、そのターゲット４１１周辺の臓器４１
２、グラフィックスで描画された内視鏡１７、同じくグ
ラフィックスで描画された鉗子などの術具１９などが表
示される。

【００３３】まず、各種の術前データと術中に得られる
データの座標系や位置合わせを座標系／位置合わせ手段
１１２により行う。ただし、座標系や位置が一致してい
る場合には不要である。

【００３４】ここでは、座標系は直交座標系に合わせる
ものとし、手術の前に、Ｘ線やＤＲ，ＭＲＩ，ＣＴなど
により、手術する部位を含む領域の術前２次元画像デー
タ４０１や術前３次元画像データ４０２を計測してお
き、術中に得られるデータとの位置は一致しているする
ものとする。

【００３５】次に、術前３次元画像データ４０２から、
手術中に参照する際に必要となる臓器などをしきい値に
基づく方法や領域拡張に基づく方法などによるセグメン
テーションをセグメンテーション手段１１３により行
い、セグメンテーションされた３次元画像データ４０７
を生成する。なお、この処理は行わなくてもよく、また
通常は術前に行うが、術中にセグメンテーションをし直
してもよい。

【００３６】次に、術前３次元画像データ４０２または
セグメンテーションされた３次元画像データ４０７よ
り、ボリュームレンダリングなどの可視化手法により、
３次元画像生成手段１１４で３次元画像を生成し、さら
に必要に応じて、術前計画画像データ４０９を作成す
る。

【００３７】手術中には、内視鏡１７や術具１９などの
位置データ４０５がリアルタイムで入力される。、３次
元画像生成手段１１４は術前３次元画像データ４０２、
術中３次元画像データ４０３またはセグメンテーション
された３次元画像データ４０７から、被術者の臓器など
の３次元画像を生成し、３ＤＣＧ生成手段２６は内視鏡
１７，術具１９の位置データ４０５から、内視鏡１７，
術具１９の３次元位置および視線方向（あるいは姿勢）
に応じた３次元のモデル画像をグラフィックス処理で生
成する。

【００３８】このとき、３次元のモデル画像を生成する
方向は、内視鏡１７の視線方向と垂直方向をデフォルト
とし、内視鏡１７の視線方向とは異なるようにする。内
視鏡１７の視線方向と垂直方向とは、図５に示すよう
に、内視鏡１７の視線方向５０１の上下方向５０２，５
０３および左右方向５０４，５０５のいずれかに相当す
る。これは、内視鏡１７が何処を向いているかを上下方
向または左右方向の画像によって把握するようにするた
めであり、例えば、内視鏡１７が箱体５０６の内側を向
いている場合には、側面５０７から他の側面５０８の方
向を見た画像が生成される。

【００３９】これにより、内視鏡１７自体の向きと患部
付近での３次元位置が分かり、内視鏡で撮影した画像と
内視鏡１７の位置関係、さらには術具の位置関係を容易
に把握できるようにする。その後、ユーザの指示があれ
ば、３次元画像生成方向を変更し、指示された方向から
見た臓器の画像および内視鏡１７，術具１９の３次元モ
デル画像を生成する。

【００４０】このようにして３次元画像生成手段１１４
で生成された画像は画像合成手段１１８によって合成さ
れ、その３次元合成画像４１０は表示手段１３に表示さ
れる。

【００４１】表示手段１３には、術中２次元画像データ
４０４のうちの内視鏡画像４１３も同時に表示される。

【００４２】以上の処理により、図４の表示手段１３に
表示された画像の例のように、術者は、内視鏡１７や術
具１９の３次元位置と、手術のターゲットとなる領域４
１１やその周辺の臓器４１２などの位置関係を容易に把
握することが可能となる。この表示方向は任意に変更可
能であり、３次元的に認識することができる。これによ
り、内視鏡１７の視野だけではわかりにくかった手術が
容易になる。

【００４３】図６および図７に上記の方法を用いて、術
前計画画像や２次元の内視鏡画像、バイタルデータなど
の複数のデータを合成表示した例を示す。

【００４４】図６では、表示手段１３の画面は１つであ
り、３次元合成画像４１０中に術具１９や内視鏡１７な
どの位置関係を３次元的に合成した画像が表示され、２
次元の内視鏡画像４１３と超音波画像４１４、バイタル
サイン４１４は現在の状況をリアルタイムで表示してい
る。４１６は患部の術前計画画像、４１７は患部を含め
た全体の３次元画像、４１８〜４２０は患部付近の複数
の断面像を示し、術前計画の参照を行っている。４２１
は内視鏡１７の３次元位置および視線方向を示す数値情
報、４２２は術具である鉗子の３次元位置および視線方
向を示す数値情報である。

【００４５】これらの表示画像の配置はユーザが任意に
指定できるものとし、ウィンドウ数、画面数（モニタ
数）も可変とする。すなわち、図７（ａ）に示すよう
に、表示画面を複数用意し、各画面に３次元合成画像４
１０、内視鏡画像４１３、超音波画像４１４等を１つず
つ表示してもよい。このとき、術中に計測される超音波
画像４１４や内視鏡画像４１３と、術前データを用いて
生成される３次元合成画像４１０は別の画面に表示する
ことにより、リアルタイム情報と、それ以外の情報を明
瞭に区別して把握することが可能になり、術中の混乱を
避けることが可能である。

【００４６】また、図７（ｂ）に示すように、複数の表
示画面によって１つのウィンドウを構成し、３次元合成
画像４１０を大画面で表示してもよい。さらに、図７
（ｃ）に示すように、重ね合わせが可能な画像、例え
ば、後述する３次元位置の復元された立体内視鏡画像４
２３と視点視線の同じＣＴ断面画像から再構成した３次
元術前計画画像４１６とＭＲＩ画像から再構成した血管
の３次元画像４２４などを複数選択した場合には、半透
明に各画像を重ね合わせ、その重ね合わせ画像４２５を
作成し、表示してもよい。このとき、半透明の度合い
は、任意に変更可能とする。

【００４７】次に、両眼に視差を持つ立体内視鏡を用い
て術部の画像を撮影し、術部画像を構成する複数の特徴
点の３次元位置を３Ｄ復元等画像処理手段１１６で復元
する手法について説明する。

【００４８】図８は、立体内視鏡によって撮影したター
ゲットとなる領域１１の画像の例を示す図であり、８０
１が左目用、８０２が右目用の内視鏡画像であり、１９
は術具である。

【００４９】左右の画像の対応点が分かれば、立体内視
鏡の光学的特性から奥行方向の情報を生成することが可
能である。これは、谷内田編「ＭＡＲＵＺＥＮ Ａｄｃ
ａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ ；コンピュータビ
ジョン；ｐｐ１１８−１２４」、および出口著「コンピ
ュータビジョンのための幾何学２ ステレオの仕掛けを
解き明かす；情報処理、ｖｏｌ３７，ｐｐ６６２」で説
明されている手法を用いることにより生成することが可
能である。

【００５０】しかし、術具１９が存在するため、左右の
画像間で対応点が取れない場合があったり、誤った対応
点をとる場合がある。

【００５１】そこで、本発明では、第１の手法として、
まず、左右の立体内視鏡画像から術具１９の画像を抽出
する。術具１９の画像は周辺領域の組織と色が違うこと
から比較的容易に識別することが可能である。

【００５２】次に、術具１９の画像を除いた領域から、
特徴点として、例えばエッジの交点を用いるとして、a
〜g、a'〜d'、f'〜h'を特徴点として抽出する。このと
き、術具の境界はエッジとしないことにする。特徴点と
しては、高輝度点や低輝度点などを用いてもよい。

【００５３】すると、左右の画像においてa〜dとa'〜
d'、及びf,gとf',g'が対応するが、e,h'に対応する点は
ない。これは術具１９の画像により、対応する点が隠さ
れてしまっているためである。立体内視鏡の光学的及び
幾何学的特性が既知であれば、１つの画像上のある点の
もう一方の画像上での点の位置は、ある直線上にあるこ
とが分かるため、そのライン上を探すことで、対応点を
見つけることが可能である。図８の例では、特徴点e及
びh'に対応する点は存在しないため、この点は無視する
ことにする。もし、同一ライン上に特徴点が複数ある場
合には、特徴点の属性（例えばエッジの方向など）から
対応点を決定する。

【００５４】以上の手法により、術野を手前で遮る術具
１９などによる、対応点の誤りを回避することが可能と
なり、ターゲットとなる領域１１の画像を構成する複数
の特徴点の３次元位置を容易に復元することができる。

【００５５】次に、立体内視鏡の両眼の視差に基づき、
術具を取り除いた画像を復元し、術具によって隠された
部分の特徴点を復元する手法について図９を用いて説明
する。

【００５６】ここでは、立体内視鏡の位置姿勢は固定状
態と考える。このとき、図９（ａ）のように、最初は術
具がなく、ターゲットとなる領域１１の臓器が表示され
ていて、徐々に同図（ｂ），（ｃ）のように術具１９が
立体内視鏡の視野に入ってくるような場合を考える。こ
のような場合、臓器のみが表示されている図９（ａ）の
状態では、すべての特徴点ａ〜ｈに関して３次元位置を
復元可能であるが、術具１９が視野に入ってくると、そ
の術具１９に遮られた部分、すなわち図９（ｂ）のe,
g、同図（ｃ）のc, e, hに関しては３次元位置は復元不
可能になる。

【００５７】そこで、立体内視鏡の位置姿勢が変わらな
い場合には、術具１９が視野内に存在しない状態で（こ
れは幾何学的な条件から求められる）、立体内視鏡画像
中の特徴点に関して３次元位置を復元し、術具１９が視
野に入ってからは、臓器の各特徴点３次元位置は、最初
に求めた復元結果を利用することにする。

【００５８】以上のような方法により、術具によって臓
器の画像が隠された場合であっても、立体内視鏡の両眼
の視差により、臓器の各特徴点の３次元位置が復元で
き、結果的に臓器の形状を把握することができる。

【００５９】臓器の各特徴点の３次元位置が復元できた
ならば、この３次元位置情報と、術具１９の位置情報か
ら、術具１９が重要な臓器に接触しそうになった場合に
警告を提示するなどのモニタリングが可能となり、立体
内視鏡だけでは奥行き関係が分かりにくい場合にも安全
な手術が可能となる。このとき、術具１９の３次元位置
は、位置計測装置１６センサ或いは立体内視鏡に映った
術具１９の位置から得ることができる。

【００６０】上記のようにして、立体内視鏡の左右の画
像において対応関係にある各特徴点の３次元位置の復元
が可能となるが、画像中のすべての特徴点に対応して３
次元位置を復元することは困難で、特徴がなく、対応の
付かなかった点の３次元位置は復元できない。

【００６１】そこで、次に、図１０を用いて、特徴点以
外の点の特徴点３次元位置の復元方法について説明す
る。図１０において、１０１は術前にセグメンテーショ
ンした３次元画像データ４０７から生成した臓器の３次
元モデルである。

【００６２】このとき、術前データの座標系と術中の立
体内視鏡などの座標系の統合は済んでいるものとする。

【００６３】まず、前述の手法により３次元位置を復元
した特徴点Ａ，Ｂ，Ｃと臓器の術前に作成した３次元モ
デル１０１上の特徴点Ａ’，Ｂ’，Ｃ’との対応をと
り、各特徴点が立体内視鏡画像と対応するように変形
し、位置合わせを行う。このとき、立体内視鏡の位置、
姿勢は位置計測装置１６の出力情報によって認識可能な
ため、３次元モデル１０１と立体内視鏡画像の対応は容
易に付くが、自動的に対応がとれない場合には、操作者
が対応点を指示しても良い。この位置合わせのための情
報を用いると、立体内視鏡画像中で、３次元位置が復元
されていない特徴点Ｘは、３次元モデル１０１上の対応
する点Ｘ’の位置で近似できることになる。

【００６４】この手法により、数点の特徴点同士の対応
をとることにより、立体内視鏡画像中に映ったモデル化
された臓器領域に関して、３次元位置を得ることができ
る。すなわち、立体内視鏡画像上の特徴点以外の点にお
ける３次元位置についても求めることができる。

【００６５】以上のような方法で３次元位置の復元され
た立体内視鏡画像と、術前に計測した３次元画像データ
４０７から生成した３次元画像との対応をとり、位置を
合わせ、しかも術前の３次元画像データ４０７から内部
の腫瘍情報などをセグメンテーションしておいて図７
（ｃ）に示したように合成表示することにより、表面情
報しか見ることができない立体内視鏡画像中に、腫瘍情
報など内部情報を重ねて表示することが可能となり、術
者へ提示できる情報量を増やすことができる。

【００６６】また、立体内視鏡の視野よりも大きな領域
の３次元画像に立体内視鏡画像を重ね合わせることによ
り、仮想的に広い視野で手術ができることになり、術者
の負担が軽減される。

【００６７】次に、立体内視鏡画像上の特徴点の３次元
位置を利用した断面画像を再構成する手法について図１
１を用いて説明する。

【００６８】まず、図１１（ａ）に示すような画像（こ
こでは、立体内視鏡の片目画像を代表して示す）が表示
されている状態であるとする。この状態で、操作者は断
面画像を見たい位置の中心１０２を内視鏡画像上で指定
する。その指定はマウスやタブレット、タッチパネルな
どのポインティングデバイスを用いる。

【００６９】指定された点の３次元位置は前述した手法
によって求まる。そこで、その指定した位置１０２を通
り、立体内視鏡の視線方向と垂直な平面の画像（視線方
向と同じ方向を見た時の画像）１０３を、術前に計測し
た術前３次元画像データ４０２または術中に撮影した術
中３次元画像データ４０３から再構成する。

【００７０】この場合、断面画像を生成する大きさや形
状は操作者が入力できるものとするが、デフォルトでは
例えば図１１（ｂ）に示すように指定点１０２を中心と
する画素数Ｎ×Ｎの正方形であるとし、指定した位置１
０２を断面画像上に重ねて表示する。

【００７１】断面の表示は、図１１（ｂ）に示すように
断面画像１０３のみで表示する他に、図１１（ｃ）に示
すように立体内視鏡画像を重ね合わせた画像１０４とし
てもよい。これにより、全体における立体内視鏡画像の
位置の把握や、断面画像による診断的情報などを得るこ
とができる。

【００７２】さらに、図１１（ｄ）に示すようにパラメ
ータにより断面位置を視線方向に沿って平行移動した画
像１０５を表示することにより、立体内視鏡画像では見
ることができない表面の下の情報を得ることができる。
このとき、指定した位置１０２を通る視線方向と断面位
置との交点１０６を表示することにより、指定位置１０
２との位置関係を分かりやすく提示することが可能とな
る。

【００７３】次に、図１１で説明した断面画像を奥行方
向に複数加算した画像を表示する手法について図１２を
用いて説明する。

【００７４】まず、図１１で説明したのと同様に、立体
内視鏡画像上の点１０２を指定することで、断面加算画
像を生成する範囲を指定する。次に、指定した点１０２
の位置から奥行き方向（立体内視鏡の視線方向の視点か
ら遠ざかる向き）に指定された深さ分（指定されない場
合はデフォルト値で）の断面画像１０３，１０５，１０
６を術前３次元画像データ４０３から生成し、それらを
加算した画像１０８を図１２（ｂ）に示すようにして表
示する。この場合、表示法は、図１１の場合と同様に立
体内視鏡画像を重ねて表示しても良いし、別に表示して
もよい。例えば図１２（ｃ）の断面画像中に血溜像１０
７が存在した場合、各断面画像を重ね合わせて表示する
ことにより、立体内視鏡の方向から見た場合の深さ方向
の位置情報を提示することができる。

【００７５】図１１で説明した例では、深さ方向の情報
を得るために断面位置を平行移動しなければならないと
いう手間がかかったが、図１２で説明した手法を用いる
ことにより、１度の操作で、一断面では得られない情報
を得ることが可能になり、表面深部の患部や血溜の位置
などを同時に把握できる。

【００７６】次に、単眼の内視鏡画像あるいは立体内視
鏡画像から各特徴点の３次元位置情報を復元するタイミ
ングについて図１３のフローチャートを用いて説明す
る。

【００７７】内視鏡（単眼内視鏡あるいは立体内視鏡）
が術者により体内へ挿入されているときには、その撮影
画像は刻々と変わるため、その都度、各特徴点の３次元
位置の復元を行っては無駄が多い。

【００７８】そこで、内視鏡の移動が停止するのを検出
し、停止した時点で撮影画像を構成する各特徴点の３次
元位置の復元処理を行う。例えば、内視鏡の位置・姿勢
データ（位置・視線方向データ）を位置計測装置１６よ
り入手し（ステップ１３１）、時間的に以前（例えば１
秒前）の位置・姿勢データと比較を行う（ステップ１３
２）。この比較の結果、値が異なった場合には、一定時
間（例えば１秒間）経過後、再びステップ１３１に戻
り、現在の位置・姿勢データを入手する。しかし、値が
同じの場合には、内視鏡は固定された（停止した）と判
断し、内視鏡画像の３次元位置の復元処理を行う（ステ
ップ１３３）。

【００７９】ここで、内視鏡が移動しない限り３次元位
置の復元を行わない方法をとると、観察している臓器が
変形した場合などに対応できないため、操作者からの指
示によるユーザ割込みによって３次元位置の復元処理を
実行するようにする（ステップ１３４）。さらに、内視
鏡の位置・姿勢が変更された場合には、内視鏡の制御機
構より、割り込みが発生し（ステップ１３５）、ステッ
プ１３１へ戻る。

【００８０】このようにすることにより、３次元位置の
復元処理における冗長な処理を省くことができ、処理時
間の短縮を図ることが可能になる。

【００８１】次に、立体内視鏡に映った術具位置を参照
して内視鏡画像の３次元位置を復元する差異のパラメー
タを調整するキャリブレーションについて図１４を用い
て説明する。

【００８２】各種の術具や内視鏡などを正確に制御する
ためには、各術具や内視鏡などの位置合わせを行う必要
がある。術具や内視鏡などを保持し、位置／姿勢を制御
するマニピュレータ間の誤差は、共通絶対位置を事前に
合わせることによりキャリブレーションすることができ
る。一方、立体内視鏡画像から３次元位置を復元した位
置に関しては、視差の誤差、画像の歪み、対応点のずれ
などから、誤差が生じる。

【００８３】そこで、立体内視鏡画像に映った術具から
復元した３次元位置とマニピュレータ１６１による制御
位置との位置合わせを行う。

【００８４】マニピュレータ１６１の位置を(x,y,z)と
し、立体内視鏡画像から復元された３次元位置を(u,v,
w)としたとき、次の「数１」により座標変換がされるも
のとする。

【００８５】

【数１】

【００８６】この場合、一般には、より高次の項を加え
た非線型な変換を行ってもよいが、その分未知の係数が
増え、計算量が増加するため、線形変換に非線型の項を
１つ加えた「数１」を用いることにする。

【００８７】さて、「数１」を用いた場合、未知の係数
は１５個となる。一組のマニピュレータ位置(x,y,z)と
立体内視鏡復元位置(u,v,w)からは３つの方程式を生成
できるため、すべての未知数を解くためには５点以上の
対応点が必要となる。５点あれば解を求められ、６点以
上の場合、最小２乗法などの手法で平均的により安定な
解を求めることになる。ここでは、５点の対応点(x0,y
0,z0)→(u0,v0,w0),....,(x4,y4,z4)→(u4,v4,w4)が与
えられたとすると、「数２」が得られる。

【００８８】

【数２】

【００８９】ここで、「数２」をマニピュレータ位置行
列Ｘ、係数行列Ａ、内視鏡復元位置行列Ｕを用いて書き
換えると、係数行列Ａは「数３」のように求められる。

【００９０】

【数３】

【００９１】以上のようにして求めた係数をパラメータ
として用い、立体内視鏡画像より復元された３次元位置
をマニピュレータ１６１の３次元位置へ変換することに
より、３次元位置の復元精度を向上することが可能とな
る。

【００９２】また、この手法を逆に用いてマニピュレー
タ１６２の異常を検知できる。このことについて図１４
のフローチャートを用いて説明する。

【００９３】マニピュレータ１６２を機械により自動駆
動していた場合、急激な電圧低下や、電磁ノイズによる
制御値の異常、アクチュエータの故障などにより異常動
作することが考えられ、危険が考えられる。そこで、立
体内視鏡画像に映った術具の位置と、術具の制御情報を
比較して監視することにより、異常を検知することがで
きる。

【００９４】まず、立体内視鏡画像から復元した臓器等
の特徴点の３次元位置と術具位置とのキャリブレーショ
ンを行う。（ステップ１４１）手術中は一定間隔（例え
ば１秒間隔）で立体内視鏡画像から術具の３次元位置を
復元し（ステップ１４２）、術具制御情報との比較を行
い（ステップ１４３）、その差がしきい値を超えた場合
には、術具の移動を停止し（ステップ１４４）、手術を
中断する。術者が位置関係の確認を行い（ステップ１４
５）、問題がなければステップ１４１に戻り、キャリブ
レーションを行い手術を再開する。

【００９５】このようにすることにより、より安全にマ
ニピュレータ１６２を用いた手術を行うことが可能とな
る。

【００９６】以上説明した実施形態によれば、内視鏡下
の手術において、手術の低侵襲化、時間短縮、安全性向
上、術者の負担軽減などが達成できる。

【００９７】具体的には、視野の狭い内視鏡では確認す
ることができない全体における３次元的な位置関係、す
なわち内視鏡がどの方向を向いているのか、どの部分を
見ているのかなどの位置関係を容易に把握することが可
能となる。

【００９８】また、術前の画像や現在の状況を示す様々
な情報を合成し、選択的に表示することが可能なため、
非開腹手術等における術者の現状認識を補助することが
できる。

【００９９】また、術具等によって立体内視鏡画像の一
部が隠れてしまった場合でも、立体内視鏡画像から体内
画像の特徴点の３次元位置の復元を対応点の特定に時間
をかけずに精度よくできるようになり、その結果として
術前の画像との位置合わせが容易になる。

【０１００】さらに、術具と臓器との距離などを計測可
能であり、重要臓器を侵襲しそうになった場合などに警
告を出すこともできる。

【０１０１】また、内視鏡では観察できない表面深部の
状態を、容易な操作により、術前の断層画像より生成し
て提示することができる。

【０１０２】さらに、内視鏡画像の歪に起因する３次元
位置の復元精度を向上させ、内視鏡画像の３次元位置を
高精度で検出することが可能になったうえ、術具の位置
を画像上でモニタリングすることで、術具を保持するマ
ニピュレータの異常を検知できるなどの効果がある。

【０１０３】ところで、本発明は、内視鏡下の外科手術
を支援する場合に限らず、内部空間が外部から遮蔽さ
れ、外部から内視鏡を挿入して内部空間を観察する場合
に同様に適用することができる。図１５に、その一例を
示す。

【０１０４】図１５において、１５１は地中から発掘さ
れた古代の棺であり、内部には空気に触れると急速に品
質が変質するような装飾品等の文化財が収納されている
とする。このような棺１５１については、内部をさらす
ことなく内部の文化財の調査を行うことが必要になる。

【０１０５】そこで、棺１５１の全体の断層像、あるい
は底部の２次元平面画像を高エネルギーの産業用Ｘ線Ｃ
Ｔによって撮影した後、棺１５１の一部の小さな隙間か
らマニピュレータ１６１に保持された内視鏡１７を挿入
し、棺１５１の内部の画像を撮影する。そして、産業用
Ｘ線ＣＴによって撮影した事前画像と内視鏡によって撮
影した画像とを前記の実施形態と同様の画像処理によっ
て処理する。この場合の画像処理装置の構成は、図１に
おける構成から心電計等の計測装置および術具を保持す
るマニピュレータを削除した構成になる。

【０１０６】これにより、内視鏡で撮影している内在物
と、棺１５１内における３次元的な位置関係を容易に把
握することができる。

【０１０７】さらに、産業用Ｘ線ＣＴによって撮影した
事前画像から生成した３次元モデルに体し、内視鏡画像
をテキスチャとしてマッピングすることにより、画像処
理装置内に内在物である装飾品等の文化財の３次元画像
データを蓄積することができる。

【０１０８】このような応用の他に、内部が見えない構
造物、例えば上下水道設備、原子力設備、建築物などの
構造物を対象にして、内部を調査する場合に適用するこ
とができる。

【０１０９】

【発明の効果】以上詳細に説明したように、本発明によ
る画像処理装置によれば、外部から遮蔽された対象物の
内部空間を視野の狭い内視鏡で撮影した画像を表示する
場合に、内視鏡画像あるいは内視鏡自体の対象物全体に
おける３次元的な位置関係および視線方向を容易に把握
することができる。

【０１１０】また、内視鏡画像の一部が術具などの操作
具によって隠れてしまった場合でも、予め撮影しておい
た画像と内視鏡画像との対応付けを容易に行い、隠れた
部分の位置を把握することができる。

【０１１１】また、内視鏡では撮影できない内側の状態
を把握することができる。

【０１１２】さらに、内視鏡画像自体に歪に起因する３
次元位置の復元誤差を補正し、内視鏡画像の３次元位置
を高精度で復元することができる。

【０１１３】特に、内視鏡下の手術支援に適用した場
合、手術の低侵襲化、時間短縮、安全性向上、術者の負
担軽減などを図れるという優れた効果が得られる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の第１の実施形
態を示す機能ブロック図である。

【図２】位置計測装置を内蔵したマニピュレータの例を
示す図である。

【図３】内視鏡を用いた手術を行う場合の作業の流れを
示すフローチャートである。

【図４】各種の計測データと画像処理の関係を示す機能
説明図である。

【図５】内視鏡の視線方向と垂直な方向の説明図であ
る。

【図６】合成表示画面の例を示す説明図である。

【図７】合成表示画面の他の例を示す説明図である。

【図８】立体内視鏡画像からの特徴点の３次元位置復元
のための対応点を求める処理の説明図である。

【図９】術前画像を用いて立体内視鏡画像の特徴点の３
次元位置を復元する処理の説明図である。

【図１０】特徴点でない位置の３次元位置を復元する処
理の説明図である。

【図１１】内視鏡画像上で指定した位置の断面画像を表
示する例の説明図である。

【図１２】内視鏡画像上で指定した位置の断面加算画像
を表示する例の説明図である。

【図１３】立体内視鏡画像からの３次元位置を復元処理
のフローチャートである。

【図１４】術具位置の監視処理のフローチャートであ
る。

【図１５】箱体の内部を内視鏡で観察する場合に適用し
た第２の実施形態を示す概略構成図である。

【符号の説明】

１１…画像合成装置、１２…入力装置、１３…表示手
段、１４…２Ｄ計測装置、１５…３Ｄ計測装置、１６…
位置計測装置、１７…内視鏡、１９…術具、１１１…デ
ータ記憶装置、１１２…座標系／位置合わせ手段、１１
３…セグメンテーション手段、１１４…３Ｄ画像生成手
段、１１５…断面画像生成手段、１１６…３Ｄ復元等画
像処理手段、１１７…３ＤＣＧ生成手段、１６１，１６
２…マニピュレータ。

Claims (9)

【特許請求の範囲】
1. 【請求項１】 外部から遮蔽された対象物の内部空間内
   の画像を表示する画像処理装置において、 前記対象物の内部空間内に挿入され、該内部空間内で３
   次元位置および視線方向が任意に変更可能な内視鏡と、 この内視鏡の前記内部空間内の３次元位置および視線方
   向を計測する計測手段と、 前記内視鏡による撮影範囲を含む前記対象物の３次元断
   層像を撮影する断層像撮影手段と、 前記計測手段によって計測された内視鏡の視線方向を参
   照し、前記断層像撮影手段による３次元断層像に基づき
   前記内視鏡の視線方向とは異なる方向から見た３次元画
   像を生成する３次元画像生成手段と、 前記計測手段によって計測された前記対象物の内部空間
   内の内視鏡の３次元位置および視線方向を参照し、前記
   対象物の内部空間内における内視鏡先端部のモデル画像
   を生成する内視鏡モデル画像生成手段と、 前記３次元画像生成手段により生成された３次元画像と
   前記内視鏡モデル画像生成手段により生成された内視鏡
   先端部のモデル画像との合成画像と共に、前記内視鏡の
   撮影画像とを表示する表示手段と、を備えることを特徴
   とする画像処理装置。
2. 【請求項２】 外部から遮蔽された対象物の内部空間内
   の画像を表示する画像処理装置において、 前記対象物の内部空間内に挿入され、該内部空間内で３
   次元位置および視線方向が任意に変更可能な内視鏡と、 この内視鏡の前記内部空間内の３次元位置および視線方
   向を計測する第１の計測手段と、 前記対象物の内部空間内に挿入され、該内部空間内で３
   次元位置および視線方向が任意に変更可能な操作具と、 この操作具の前記内部空間内の３次元位置を計測する第
   ２の計測手段と、 前記内視鏡による撮影範囲を含む前記対象物の３次元断
   層像を撮影する断層像撮影手段と、 この断層像撮影手段による３次元断層像に基づき前記内
   視鏡の視線方向とは異なる方向から見た３次元画像を生
   成する３次元画像生成手段と、 前記第１の計測手段によって計測された前記対象物の内
   部空間内の内視鏡の３次元位置および視線方向を参照
   し、前記対象物の内部空間内における内視鏡先端部のモ
   デル画像を生成すると共に、前記第２の計測手段によっ
   て計測された前記操作具の前記内部空間内における３次
   元位置を参照し、前記対象物の内部空間内における操作
   具先端部のモデル画像を生成するモデル画像生成手段
   と、 前記３次元画像生成手段により生成された３次元画像と
   前記モデル画像生成手段により生成された内視鏡先端部
   および操作具先端部のモデル画像との合成画像と共に、
   前記内視鏡の撮影画像とを表示する表示手段と、を備え
   ることを特徴とする画像処理装置。
3. 【請求項３】 外部から遮蔽された対象物の内部空間内
   の画像を表示する画像処理装置において、 前記対象物の内部空間内に挿入され、該内部空間内で３
   次元位置および視線方向が任意に変更可能な立体内視鏡
   と、 この内視鏡の前記内部空間内の３次元位置および視線方
   向を計測する計測手段と、 前記立体内視鏡による撮影範囲を含む前記対象物の３次
   元断層像を撮影する断層像撮影手段と、 前記計測手段によって計測された内視鏡の視線方向を参
   照し、前記断層像撮影手段による３次元断層像に基づき
   前記立体内視鏡の視線方向と同じ方向から見た３次元画
   像を生成する３次元画像生成手段と、 前記立体内視鏡の両眼の視差に基づき該立体内視鏡で撮
   影した前記対象物の内部空間内の画像の複数の特徴点の
   ３次元位置を復元する３次元画像復元手段と、 前記３次元画像生成手段により生成された３次元画像の
   複数の特徴点と前記３次元画像復元手段によって復元さ
   れた前記立体内視鏡画像の複数の特徴点との対応付けを
   行い、対応付け後の３次元画像と立体内視鏡の片眼の撮
   影画像とを合成する画像合成手段と、 合成後の画像を表示する表示手段と、を備えることを特
   徴とする画像処理装置。
4. 【請求項４】 前記３次元画像復元手段は、前記立体内
   視鏡で撮影した前記対象物の内部空間内の画像の複数の
   特徴点以外の点の３次元位置を、前記３次元画像生成手
   段により生成された３次元画像から求めることを特徴と
   する請求項３記載の画像処理装置。
5. 【請求項５】 前記３次元画像復元手段は、対象物の内
   部空間内に操作具が挿入される前に前記立体内視鏡で撮
   影した画像と、前記操作具が挿入され、かつ該操作具が
   立体内視鏡で撮影された状態での立体内視鏡の出力画像
   とのマッチングを行い、前記操作具の像を除く領域を抽
   出した後、その領域中の複数の特徴点の３次元位置を前
   記立体内視鏡の両眼の視差に基づいて復元することを特
   徴とする請求項３記載の画像処理装置。
6. 【請求項６】 前記３次元画像復元手段によって３次元
   位置が復元された立体内視鏡画像上の１点を指定する手
   段と、 指定された立体内視鏡画像上の位置を中心とし、該指定
   された位置を通り、前記立体内視鏡の視線方向と垂直な
   １ないし複数の断面における３次元画像を前記断層像撮
   影手段による３次元断層像から再生成する３次元画像再
   生成手段と、 再生成された１ないし複数の断面における重ね合わせ３
   次元画像を生成し、前記表示手段に表示させる手段と、
   をさらに備えることを特徴とする請求項３〜５記載のい
   ずれかの画像処理装置。
7. 【請求項７】 前記３次元画像復元手段における立体内
   視鏡画像の３次元位置の復元処理は、該立体内視鏡の移
   動が停止した時点、または操作者の指示のあった時点で
   行うことを特徴とする請求項３〜６記載のいずれかの画
   像処理装置。
8. 【請求項８】 前記対象物内部空間内に挿入された操作
   具の先端の３次元位置を検出する検出手段と、 前記立体内視鏡によって撮影された画像中から前記操作
   具の先端を識別する識別手段と、 前記立体内視鏡の両眼の視差に基づき、前記識別手段に
   よって識別された前記操作具の先端の３次元位置を復元
   する復元手段と、前記検出手段によって検出された前記
   操作具の先端の３次元位置と前記復元手段によって復元
   された前記操作具の先端の３次元位置を比較し、前記３
   次元画像復元手段において前記立体内視鏡の撮影画像の
   ３次元位置を復元するためのパラメータを調整する手段
   と、をさらに備えることを特徴とする請求項３〜７記載
   のいずれかの画像処理装置。
9. 【請求項９】 前記対象物の内部空間は低侵襲手術にお
   ける体内であり、前記操作具は低侵襲手術における術具
   であることを特徴とする請求項１〜８記載の画像処理装
   置。