WO2004107982A1

WO2004107982A1 - 超音波内視鏡装置

Info

Publication number: WO2004107982A1
Application number: PCT/JP2004/008151
Authority: WO
Inventors: Tomonao Kawashima
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2003-06-06
Filing date: 2004-06-04
Publication date: 2004-12-16
Anticipated expiration: 2005-12-06
Also published as: EP1632184B1; US20060183992A1; JP4414682B2; JP2004358096A; EP1632184A4; EP1632184A1

Abstract

本発明の超音波内視鏡装置は、被検体の光学像を取得する光学像取得装置と、前記被検体の超音波像を取得する超音波像取得装置と、前記光学像取得時の前記被検体に対する前記光学像取得装置の位置情報を取得する位置情報取得装置と、前記位置情報取得装置により得られた位置情報を基に前記光学像取得装置により得られた光学像と前記超音波像取得装置により得られた超音波像とをマッチングさせるマッチング回路とを備えたことを特徴とする。

Description

明細超音波内視鏡装置技術分野

本発明は、被検体の光学像と超音波像を取得する超音波内視鏡装置に関する。背景技術

従来、患者の開口部から挿入して体腔内を超音波により走査する超音波内視鏡が種々実用化されている。

この超音波内視鏡の先端には、通常、超音波による走査をしてそのエコーを受信する超音波振動子と、食道、胃、十二指腸、大腸などの管腔表面の光学像を観察するための光学観察窓が設けられている。

ところで、一般に、この超音波内視鏡による超音波像は、光学像との空間的な位置関係を把握しにくいという問題がある。このため、術者には超音波像として管腔のどの部位がモニタに表示されているのかわかりにくく、超音波像により正しく患部を診断することには熟練を要していた。

超音波内視鏡で空間的な位置関係を把握しにくい理由は以下の通りである。 .

第 1に超音波の走査面は光学像では目に見えない。

第 2に超音波の走査面は常に光学像の視野内におさまる訳ではない。

第 3に超音波により走査する際、超音波を患部まで到達させるために超音波媒体である脱気水を管腔内に充満させたり、バル一ンを用いたりするが、これらが光学像の視野を妨げるだめ、結局、超音波像による観察は光学像による観察とは時間を置いた別の観察となっていた。

このことに対応して、近年では、別々に撮像された光学像と超音波像とを合成して表示することで、光学像と超音波像との空間的な位置関係を正確に把握できる超音波内視鏡装置が、特開 2 0

0 2 - 1 7 7 2 9号公報に提案されている。

さらに、特開 2 0 0 2 — 1 7 7 2 9号公報に提案されている技術を用いることにより、水平方向への病変の広がりの診断と、垂直方向への病変の深達度診断とを同時に行うことができ、超音波内視鏡検査の診断能を向上させることができる。

光学像と超音波像とを合成する際には、あらかじめ双方の画像デ一夕の位置関係を対応づける必要がある。そこで、この特開 2 0 0 2 - 1 7 7 2 9号公報の技術では、 1つの方法として、光学像から被検体病変部表面の 3次元立体把握が可能な、立体 3次元内視鏡計測システムと、 3次元超音波像再構成システムとを組合せ、両者によって得られた病変部表面の 3次元形態画像情報をパターンマッチングさせる方法を提案している。

さらに、この中で、光学像から病変部表面の 3次元形態画像情報を把握する方法として、次の 2つの方法を提案している。

第 1の方法は、三角測量を基本原理とした、スリット光投影を用いた光切断'法 'による立体計測方法である。これぼ'次のような手法である。

まず、レーザーを光源とする投影装置を用いてスリット光を発生させ、物体面に照射すると、その物体面にその形状のまま投影され、この物体面での光強度分布をスコープで撮影すると、その物体形状に応じて変化する輝度パターンが得られる。この輝度パ夕一ンを解析することで、物体までの距離 Z、そして、 X、 Y座標を加えた 3次元位置を把握することができる。

第 2の方法は、内視鏡に装着される広角レンズによる歪曲収差を補正する仕組みを使う方法である。

このような従来の光学像から病変部表面の 3次元形態画像情報を把握する技術において、スリット光投影を用いた光切断法による立体計測方法では、レーザー光を導光するための特別な光学系を内視鏡に設ける必要がある。また、歪曲収差を補正する方法では、内視鏡に広角レンズを装着する必要があるため、立体 3次元内視鏡計測システムのための内視鏡には特別のものが必要になつてしまい、 3次元超音波像再構成システムのための内視鏡とは別体にならざるを得ない。

さらに、立体計測方法は、物体面が無地の面であることが前提であり、管腔表面のように不均一な階調をもつ面への投影では、正確に物体面の 3次元位置を把握できるとは言いがたい。

従って、このような技術による超音波内視鏡装置を用いて光学像と超音波像とを合成して表示するためには、一方のシステムで患者を検査した後、内視鏡を抜去し、もう一度別の内視鏡を揷入して検査し直さなければならない。その結果、この超音波内視鏡装置による検査は検査時間を長引かせ、洗浄消毒等の検査前後の内視鏡メンテナンスの手間を倍加させるだけでなく、患者への負担を強いるというデメリットが生じてしまう。また、光学像と超音波像の位置関係を対応づける際の正確さに欠けていた。

本発明は、前記事情に鑑みてなされたものであり、患者から内視鏡を差し替える必要なく、光学像と超音波像の互いの位置と方向とを正確に対応づけて表示することのできる超音波内視鏡装置を提供することを目的とする。発明の開示

本発明の超音波内視鏡装置は、被検体の光学像を取得する光学像取得装置と、前記被検体の超音波像を取得する超音波像取得装置と、前記光学像取得時の前記被検体に対する前記光学像取得装置の位置情報を取得する位置情報取得装置と、前記位置情報取得装置により得られた位置情報を基に前記光学像取得装置により得られた光学像と前記超音波像取得装置により得られた超音波像とをマッチングさせるマッチング回路とを備えたことを特徴とする

図面の簡単な説明

図 1は、本発明の第 1の実施の形態に係る超音波内視鏡装置の全体構成を示すプロック図である。

図 2は、本発明の第 1の実施の形態に係る内視鏡の揷入部の挿入側先端の拡大して示す断面図である。

図 3は、本発明の第 1の実施の形態に係る画像処理装置を示すブロック図である。

図 4は、本発明の第 1の実施の形態に係るは形状マッチング回路を示すプロック図である。

図 5は、本発明の第 1の実施の形態に係る手引き走査の作用を示す説明図である。

図 6は、本発明の第 1の実施の形態に係る 3次元画像デ一夕を示す概念図である。図 7は、本発明の第 1の実施の形態に係る 3次元画像データの切り直しを示す説明図である。

図 8は、本発明の第 1 の実施の形態に係る表面形状データを示す説明図である。

図 9は、本発明の第 1の実施の形態に係る内視鏡による関心領域の撮像を示す説明図である。

図 1 0は、本発明の第 1の実施の形態に係る光学像と超音波像の合成を示す説明図である。

図 1 1は、本発明の第 1の実施の形態に係るモニタに表示される画像を示す説明図である。

図 1 2は、本発明の第 1の実施の形態第 1の実施の形態に適用可能な電子ラジアル走査型超音波内視鏡とその走査を説明するための図である。

図 1 3は、本発明の第 1の実施の形態に適用可能なコンペックス走査型超音波内視鏡とその走査を説明するための図である。

図 1 4は、本発明の第 1の実施の形態第 1の実施の形態に適用可能な 2次元アレイ型超音波内視鏡とその走査を説明するための図である。

図 1 5は、本発明の第 2の実施の形態に係る形状マッチング回路を示すブロック図である。

図 1 6は、本発明の第 3の実施の形態に係る形状マッチング回路を示すブロック図である。

図 1 7は、本発明の第 4の実施の形態に係る画像処理装置を示すブロック図である。

図 1 8は、本発明の第 5の実施の形態に係る画像処理装置を示すブロック図である。

図 1 9は、本発明の第 5の実施の形態に係るモニ夕に表示される画像を示す説明図である。発明を実施するための最良の形態

以下、図面を参照して本発明の実施の形態を説明する。

(第 1の実施の形態）

図 1乃至図 1 1は本発明の第 1の実施の形態に係り、図 1は超音波内視鏡装置の全体構成を示すプロック図である。図 2は内視鏡の挿入部の挿入側先端の拡大して示す断面図である。図 3は画像処理装置を示すブロック図である。図 4は形状マッチング回路を示すブロック図である。図 5は手引き走査の作用を示す説明図である。図 6は 3次元画像データを示す概念図である。図 7は 3 次元画像デ一夕の切り直しを示す説明図である。図 8は表面形状デ一夕を示す説明図である。図 9は内視鏡による関心領域の撮像を示す説明図である。図 1 0は光学像と超音波像の合成を示す説明図である。図 1 1はモニタに表示される画像を示す説明図である。

(構成）

図 1 に示すように、本実施の形態の超音波内視鏡装置 1は、超音波内視鏡 2 と、超音波観測装置 3 と、光学観察装置 4 と、位置検出装置 5 と、画像処理装置 6 と、表示手段あるいは表示装置としてのモニ夕 7 と、キ一ボード 8 と、マウス 9 とを有している。超音波内視鏡 2は、挿入部 2 1 と、操作部 2 5 とを連設したものである。

挿入部 2 1は、可撓性のある材質で構成され、被検体の体腔内へ揷入可能になっている。操作部 2 5は、揷入部 2 1の先端部の超音波振動子 2 2を駆動するモ一夕 2 3を備えている。

挿入部 2 1の先端部には空間に磁場を励起する送信コィル 2 4 を設けている。

位置情報取得手段あるいは位置情報取得装置としての位置検出装置 5は、コイル駆動回路 1 1 と、複数の受信コイル 1 2 と、位置算出回路 1 3 とを有している。

コイル駆動回路 1 1は、送信コイル 2 4にコイル励振信号を出力する。複数の受信コィル 1 2は、所定の配置方法で特定の位置に固定され、送信コイル 2 4が作り出す磁場を逐次検知して電気的な受信信号を出力する。

位置算出回路 1 3は、受信コイル 1 2が出力する受信信号から揷入部 2 1の先端部の位置と方向を示すデータ（以下、位置方向デ一夕という）を算出する。

なお、複数の受信コイル 1 2は直方体の筐体に一体的に固定されている。以下、この筐体と受信コイル 1 2 とを合わせて受.信コィルュニヅト 1 0 と呼ぶ。

図 1の中では受信コイル 1 2は紙面の都合上、受信コイルュニット 1 0の中で直線上に並べて固定されて表されているが、実際には 2次元平面上あるいは 3次元空間上に並べて固定されているものとする。

図 2を用いて挿入部 2 1の挿入側先端を詳細に説明する。

図 2に示すように、挿入部 2 1の先端部 2 6 にはポリメチルぺンテン等の材質でできた音響的に半透明な先端キヤップ 2 7が設けられている。先端キヤップ 2 7の内部には、超音波像取得手段あるいは超音波像取得装置としての超音波振動子 2 2が設けられており、先端キヤップ 2 7内には超音波伝達媒体 2 8が充填されている。超音波振動子 2 2は可撓性のある材質で作られたフレキシブルシャフト 2 9 に接続されている。フレキシブルシャフト 2 9は図 1に示した内視鏡 2の操作部 2 5内のモ一夕 2 3の回転軸へ接続されており、図 2の矢印方向に回転するように設けられている。超音波振動子 2 2はフレキシブルシャフト 2 9内の信号線 (図示せず）を介して内視鏡操作部 2 5経由で超音波観測装置 3 へエコー信号を出力する。

挿入部 2 1の先端には空間に磁場を作り出すソレノィドコイルである 2個の送信コイル 2 4が設けられている。 2個の送信コィル 2 4は、信号線 3 0を介して位置検出装置 5内のコイル駆動回路 1 1 と接続している。この送信コィル 2 4のうちの一つは図 2 の「 1 2時方向」と書かれた方向を軸として、もう一方は「法線方向」と書かれた方向を軸として導線がコィル状に巻かれているこの「法線方向」は挿入部 2 1 の挿入軸方向、「 1 2時方向」はこれに直交する方向である。「法線方向」は超音波振動子 2 2 がラジアル走査して得られる超音波像の法線方向と一致する。また、 1 2時方向に卷かれた送信コイル 2 4は、導線の卷かれている方向が、法線方向に直交する方向のうち超音波像の 1 2時方向に一致するよう設けられているものとする。なお、超音波振動子 2 2がラジアル走査を行う場合の作用は後述する。

これらの他に、挿入部 2 1の先端部 2 6 には、光学像をカラ一で撮像するための電荷結合素子型固体撮像素子カメラ（以下、 C C Dカメラと呼ぶ） 3 1 と、 C C Dカメラ 3 1での撮像に必要な光を体腔内に照射するための撮像光照射窓 3 2 とが設けられている。

光学像取得手段あるいは光学像取得装置としての C C Dカメラ 3 1は、光学観察装置 4 と接続しており、揷入部 2 1内の信号線 (図示せず）を介して内視鏡操作部 2 5経由で光学観察装置 4へ撮像信号を出力する。光学観察装置 4はこの撮像信号を基に体腔内の光学像を作成する。また、撮像光照射窓 3 2は揷入部 2 1内に設けられた光ファイバ等の導光路（図示せず）を経由して光源装置（図示せず）からの撮像光が届くよう構成されており、 C C Dカメラ 3 1での撮像に必要な撮像光を体腔内に照射するごとができる。

そして、挿入部 2 1の先端部には、上記した揷入部 2 1の先端部の各部を一体的に保持するための硬性の硬性フレーム 3 3が図 2のように設けられている。

図 3を参照して図 1 に示した画像処理装置 6 の構成を詳細に説明する。

図 3に示すように、画像処理装置 6は、超音波像メモリ 4 1 と、 3次元データ構築回路 4 2 と、大容量の第 1の 3次元画像メモリ（以下、単に 3次元画像メモリ 4 3 ) と、断面抽出回路 4 4 と、断面画像メモリ 4 5 と、表面形状演算手段あるいは表面形状演算回路としての表面抽出回路 4 6 と、光学像メモリ 4 7 と、表面形状演算手段あるいは表面形状演算回路としての表面形状推定回路 4 8 と、大容量の第 2の 3次元画像メモリ（以下、単に 3次元画像メモリ 4 9 ) と、マッチング手段としての形状マッチング回路 5 0 と、座標変換回路 5 1 と、表面画像メモリ 5 2 と、合成回路 5 3 と、表示回路 5 4 と、スイッチ 5 5 と、これらを制御するコントローラ 5 6 とを有している。

スィッチ 5 5は、位置検出装置 5からのデ一夕の出力先を超音波像メモリ 4 1 と光学像メモリ 4 7のうち一方に切り替える。コントロ一ラ 5 6は、キ一ボード 8やマウス 9からの入力に応じてこれら各部お'よび各回路を制御する。 ' - 次に、図 4を用いて図 3に示した形状マヅチング回路 5 0の構成を詳細に説明する。

図 4に示すように、形状マッチング回路 5 0は、第 1の表面形状メモリ 5 7 と、第 2の表面形状メモリ 5 8 と、相互相関回路 5 9 とを設けている。

また、本実施形態の位置検出装置 5は、前記超音波像取得時の前記被検体に対する前記超音波像取得手段の位置と方向の情報を取得するようになっている。

(作用）

以下、第 1の実施の形態の作用を説明する。

図 1、図 3及び図 4において、実線は光学像に関連する信号またはデ一夕の流れ、破線は超音波像に関連する信号またはデ一夕の流れ、 2点鎖線は挿入部 2 1の先端部の位置と方向に関連する信号またはデ一夕の流れ、太線は 3次元画像に関連する信号またはデ一夕の流れ、点線はマッチング情報の流れ、曲線の矢印はその他の信号またはデ一夕の流れを示している。

超音波像を構築する作用について説明する。

超音波振動子 2 2は、超音波観測装置 3内からのパルス電圧状の励起信号を受け取って媒体の疎密波である超音波ビームに変換する。

超音波ビームは超音波伝達媒体 2 8 と先端キップ 2 7 とを伝わり超音波内視鏡 2外部へと放射され、被検体内からの反射ェコ一が超音波ビームとは逆の経路を迪つて超音波振動子 2 2へ戻る o

超音波振動子 2 2は反射エコーを電気的なエコー信号に変換して励起信号とは逆の経路で超音波観測装置 3へ伝達する。さらに、この作用を反復的に繰り返す一方で、操作部 2 5内のモー夕 2 3が回転することによりフレキシブルシャフト 2 9 と超音波振動子 2 2がそれそれ図 2のプロヅク矢印の方向へ回転する。このため超音波ビームが超音波内視鏡 2の挿入部 2 1の軸方向に直交する平面（以下、ラジアル走査面という）内を順次放射状に照射され、いわゆるメカニカルラジアル走査が実現する。

以下、メカニカルラジアル走査は単にラジアル走査と呼ぶ。超音波観測装置 3は、超音波振動子 2 2からのエコー信号に包絡線検波、対数増幅、 A Z D変換、スキャンコンバート（ラジアル走査で生成された極座標系の画像デ一夕を直交座標系の画像デ一夕に変換する処理）等の公知の処理を施して超音波像の画像デ —夕（以下、単に超音波像という）を構築する。この超音波像は画像処理装置 6内の超音波像メモリ 4 1 に出力される。

次に、光学像を構築する作用について説明する。

C C Dカメラ 3 1は、体腔内表面の撮像情報を基に撮像信号を生成する。具体的には受けた光を電気的な撮像信号へ変換する。— そして、撮像信号を光学観察装置 4へ出力する。光学観察装置 4 はこの撮像信号を基に光学像の画像データ（以下、単に光学像という）を構築する。この光学像は画像処理装置 6内の光学像メモリ 4 7に出力される。

次に、挿入部 2 1の先端部の位置方向デ一夕を算出する作用について説明する。

コィル駆動回路 1 1は、送信コィル 2 4にコィル励振信号を逐次出力する。送信コイル 2 4は、空間に磁場を生成する。

受信コイル 1 2は、磁場を逐次検知して位置算出回路 1 3に電気的な受信信号を出力する。

位置算出回路 1 3は、受信信号を基に位置方向デ一夕を算出し、画像処理装置 6へ出力する。この位置方向デ一夕は送信コイル 2 4の受信コィルュニット 1 0に対する位置と方向とを含んだデ —夕とする。具体的には、位置方向デ一夕は送信コイル 2 4の位置だけでなく、超音波内視鏡 2の挿入軸方向（図 2の「法線方向」と示された方向）と、超音波像に平行な特定の方向（図 2の「 1 2時方向」と書かれた方向）とを含んでいるものとする。ここで、超音波内視鏡 2の挿入軸方向は超音波像の法線方向である。

さらに、本実施の形態の超音波観測装置 3は、図 2の 1 2時方向が、超音波像の 1 2時方向になるよう超音波像を作成する。従つて、結局、位置方向—デ一夕は、超音波像の法線方向と Γ 2時方向を示すデ一夕を含むことになる。

次に、画像処理装置 6の作用を説明する。

第 1 に、超音波像に関連する信号あるいはデ一夕の流れについて説明する。

まず、術者はキ一ボード 8やマウス 9を介し、コントローラ 5 6にスイッチ 5 5を切り替えさせる。ここでは、位置方向デ一夕の出力先が超音波.像メモリ 4 1 に設定される。

この後、術者はラジアル走査をしながら超音波内視鏡 2の揷入部 2 1をゆつくり引き抜く。すると図 5に示すように挿入部 2 1 の先端部がゆっくり移動する（以下、この走査方法を手引き走査と呼ぶことにする）。手引き走査に伴い、連続した複数の超音波像 6 2が得られる。図 5のように、挿入部 2 1の先端部が常に閧心領域 6 1 の近くにいるよう手引き走査を実行すれば、ほとんどの超音波像内に関心領域 6 1が含まれる。超音波観測装置 3 はこのように生成される超音波像を次々と超音波像メモリ 4 1に出力する。コントローラ 5 6は各超音波像と

Ϊ

それが入力された瞬間の位置方向データとを関連付けて超音波像メモリ 4 1 に記憶させるようにする。例えば、コントローラ 5 6 は位置方向データを超音波像の画像データのヘッダもしくはフッ夕のデ一夕として記憶させるようにする。近年のデジタル技術の進歩によ、超音波観測装置 3はラジアル走査に対して'ほとんど遅延なく超音波像を構築でき、また近年の位置検出装置 5は磁場の送信に対してほとんど遅延なく位置方向データを算出できるので、超音波像メモリ 4 1 には、事実上、各超音波像とそのエコー信号が取得された瞬間の位置方向デ一夕とが記憶されることになる。

このようにして、超音波像メモリ 4 1 には連続した複数の超音波像が、おのおのの位置方向データと関連付けられて記憶される o

3次元データ構築回路 4 2は、超音波像メモリ 4 1から連続する複数の超音波像を読み出し、各々が重複する部分を平均化したり、超音波像間に補間処理を施してアドレスが 3次元の直交座標で表現される 3次元画像デ一夕を作成し、 3次元画像メモリ 4 3 に出力する。

3次元画像デ一夕の概念を図 6を参照して説明する。図 6に示すように、 3次元画像デ一夕 6 3はァドレスが 3次元の直交座標で表現されるセル 6 4からなり、各々のセル 6 4はェコ一信号を基にして得た輝度値をデ一夕に持つ。

断面抽出回路 4 4は、 3次元画像データ 6 3のうち、適当な複数の断面に相当する多数のセル 6 4を抽出し、断面の画像データ (以下、断面画像デ一夕という）を作成する。

断面画像デ一夕は断面画像メモリ 4 5 に出力され、記憶される。なお、断面の位置や方向はあらかじめキ一ボード 8やマウス 9 を介して術者が設定するものとし、本実施の形態では説明の都合上、互いに垂直な複数の断面が設定されているものとする。

表面抽出回路 4 6は、図 7に示すように、 3次元画像デ一夕 6 3 を平行な断面像（以下、平行スライス像デ一夕 6 5 という）に切り直す。そして、平行スライス像デ一夕 6 5の各々から管腔表面に相当するセルを抽出する。各平行スライス像デ一夕 6 5から表面を抽出する方法は本出願人による特開平 1 0— 1 9 2号公報に詳述されているような公知の処理方法を用いる。この後、表面抽出回路 4 6は、 3次元画像デ一夕 6 3 とは別に、表面に相当するセルを 1、表面以外に相当するセルを 0にして 2値化しだ表面形状データを作成し、形状マッチング回路 5 0内の表面形状メモリ 5 7に出力する。

この表面形状デ一夕の概念を図 8を用いて詳細に説明する。なお、図 8では説明の都合上、表面形状デ一夕 6 6の各セル 6 7はメッシュが粗く表現されているが、実際には抽出された表面 6 8 (セルのデータが 1のセルから構成される）が図 8 に表現されている程度に滑らかに表現できるようメッシュが細かく切られている。

次に、光学像に関連する信号及びデ一夕の流れについて説明すまず、術者はキ一ボード 8やマウス 9を介し、コントローラ 5 6 にスイッチ 5 5を切り替えさせる。ここでは、位置方向デ一夕の出力先が光学像メモリ 4 7に設定される。この後、術者は光学像を撮像しながら超音波内視鏡 2の挿入部 2 1 を移動させ、図 9 に示すように、関心領域 6 1が様々な角度で撮像されるようにす光学観察装置 4はこのように生成される光学像を次々と光学像メモリ 4 7に出力する。

コントローラ 5 6は各光学像とそれが入力された瞬間の位置方向デ一夕とを関連付けて光学像メモリ 4 7に記憶させるようにする。例えば、コントローラ 5 6は位置方向データを光学像の画像デ一夕のヘッダもしくはフッ夕のデータとして記憶させるようにする。光学観察装置 4は C C Dカメラ 3 1 による撮像に対してほとんど遅延なく光学像を構築でき、位置検出装置 5は磁場の送信に対してほとんど遅延なく位置方向デ一夕を算出できるので、光学像メモリ 4 7には、事実上、各光学像とそれが撮像された瞬間の位置方向デ一夕とが記憶されることになる。

このようにして、光学像メモリ 4 7には、連続した複数の光学像が、おのおのの位置方向デ一夕と関連付けられて記憶される。

表面形状推定回路 4 8は、光学像メモリ 4 7から連続する複数の光学像を読み出し、表面形状を推定する。' この表面形状を推定する方法は本出願人による特開平 1 1 — 2 9 5 6 1 8号公報に詳述されているような公知の処理方法を用いる。ここに開示されている処理方法は本願と同様に位置検出装置 5を使って揷入部 2 1 の先端部の位置及び方向を検出し、さらに C C Dカメラ 3 1からの光学像を用いて被検体の表面形状を精度良く推定する方法であ o

この後、表面形状推定回路 4 8は、表面に相当するセルを 1、表面以外に相当するセルを 0にして 2値化した表面形状デ一夕を作成し、形状マツチング回路 5 0内の表面形状メモリ 5 8に出力する。この表面形状デ一夕の概念図は先に述べた図 8 と同じである。

さらに、表面形状推定回路 4 8は、この表面形状にもともとの光学像のカラ一の輝度値をマッピングすることで、表面形状デ一夕とは別に管腔表面の 3次元画像データを作成し、 3次元画像メモリ 4 9 に出力する。 3次元画像データの概念図は先に述べた図 6 と同じである。 3次元画像デ一夕はアドレスが 3次元の直交座標で表現されるセルからなり、各々のセルは撮像信号から得た管腔表面の輝度値を R (赤）、 G (緑）、 B (青）をデータに持つ o

次に、形状マッチング回路 5 0の作用とマッチング情報の流れについて説明する。

形状マッチング回路 5 0は表面形状メモリ 5 7内の、超音波像から得た表面形状データと、表面形状メモリ 5 8内の、光学像から得た表面形状デ一夕とを比較し、光学像から得た表面形状デ一夕をどのように回転、並進、拡大/縮小させたら最も良く超音波像から得た表面形状データと一致するかを演算する。この様子を図 1 0に示す。

具体的には、図 1 0に示すように、相互相関回路 5 9が光学像から得た表面形状デ一夕 7 2 に対し、回転、並進、拡大 Z縮小の変換を施して超音波像から得た表面形状デ一夕 7 1 との相互相関値 Fを算出し、回転、並進、拡大縮小の変換の程度を微小に変えながらこれを繰り返すことで相互相関値が最大となる時の回転のオイラー角（ , θ , φ ) 、並進の変位（（ί χ , δ y , δ ζ ) 、拡大縮小率を算出する。そして相互相関値が最大となる時のこれらの値をマッチング情報として座標変換回路 5 1に出力する以下に、解析的なモデルを説明する。 f ( X , y , z ) を超音波像から得た表面形状データ 7 1、 g ( X , y , ζ ) を光学像から得た表面形状デ一夕 7 2 とすると各々の関数は以下の値を取る。

1 ;(x,y,z) =表!）

f (x,y,z) = (1 )

,0 ;(x，y，z) = 人外

1 ； (Χ,Υ,Ζ) =^RE)

g (x,y,z) (2)

0 ;(x,y,z) タ卜

光学像から得た表面形状デ一夕 7 2に対し、回転、並進、拡大 /縮小を施すと、表面形状デ一夕 7 2上の点（ x， y , ζ ) は以下の式で点（x，， y，， ζ， ) に座標変換される。

X' X

y = αΤχ(Ψ) Τγ(β)Τζ(Φ) y + sy (3) ζ' ζ

ンここで T x ( φ ) , Τ y ( θ ) , Τ ζ ( φ ) はそれそれ χ軸、 y軸、 z軸のまわりの回転行列とする。

式（ 3 ) から、 x ' 、 y，、 z ⁵ はそれぞれ（x , y， z ) 、 ( φ , θ , φ ) , ( δ χ , δ y , δ ζ ) , ひの関数として書かれることになる。

すると、相互相関値 Fは、（ , θ , φ ) 、 ( δ X , δ y , δ ζ ) 、ひの関数として以下の式で与えられる。

F( »,Sy,8z_a) = _(χ∑_ζ) f(x,y,z)-g(x'y'z') (4)

求める値は以下を満足して、相互相関値 Fを最大にする ^ 0, θο , φο, ( 6 χ ) ο , ( δ y ) ο , ( d z ) o , ひ οであり、ネ目互相関回路 5 9はこれらを求めるために、ψ、 θ , ø ) 、 ( δ χ , δ y , δ ζ ) 、ひの値を微小に変えながら式（ 3 ) と式（ 4 ) の演算を繰り返す。

F ( φο , Θ 0 , ο , ( δ χ ) ο ( δ y ) ο , ( δ ζ ) ο , a ο；

= m a χ F ( 5 ) 結局、相互相関回路 5 9は座標変換回路 5 1へマヅチング情報として 0， 0 o， 0 0 , ( δ x ) o , d y ) ο , { δ ζ ) ο , ο を出力することになる。

これらの値が超音波像から得た表面形状データと光学像から得た表面形状デ一夕との一致を与える座標変換パラメ一夕である。次に、 3次元画像の合成と表示について説明する。

座標変換回路 5 1は 3次元画像メモリ 4 9内の光学像から得た 3次元画像データ 6 3に座標変換を施す。

この際、座標変換回路 5 1は、形状マッチング回路 5 0からのマッチング情報を基にして、光学像から得た表面形状デ一夕 7 2 が超音波像から得た表面形状データ 7 1 と最も良く一致するよう、光学像から得た表面形状デ一夕 7 2を回転、並進、拡大 Ζ縮小させるのと同じ方法で、光学像から得た 3次元画像デ一夕 6 3を回転、並進、拡大/縮小させる。

具体的には、座標変換回路 5 1は相互相関回路 5 9からの 0 , Θ 0 , φ 0 , ( δ χ ) ο , ( δ y ) ο , ( δ ζ ) ο , ひ οの各値を基に、式（ 3 ) で書かれる座標変換処理を 3次元画像メモリ 4 9 内の光学像から得た 3次元画像デ一夕 6 3 に施す。座標変換された 3次元画像デ一夕（以下、表面画像デ一夕という）は表面画像メモリ 5 2へ出力され、記憶される。このように処理することで、断面画像メモリ 4 5内の断面画像デ一夕の座標系と表面画像メモリ 5 2内の表面画像デ一夕の座標系が一致するのである。

合成回路 5 3は断面画像データと表面画像データを合成し、陰面消去等の処理を施して、図 1 1 に示す光学像から得た表面 7 3 と超音波像から得た断面 7 とを合成して、関心領域 6 1が表示された 3次元画像を構築する。

この 3次元画像は表示回路 5 4でモニタ 7の画面 7 aに出力できるよう、ビデオ信号等の信号に変換され、モニタ 7に出ガされる。

モニタ 7ほこの 3次元画像を表示する。

(効果）

このような第 1の実施の形態によれば、患者から内視鏡を差し替える必要なく、光学像と超音波像の互いの位置と方向とを正確に対応づけて表示することができるので、検査時間を短縮し、洗浄消毒等の検査前後の内視鏡メンテナンスの手間を減らし、患者への負担を低減できる。

尚、第 1の実施の形態では、表面抽出回路 4 6が 3次元画像バ —夕を平行スライス像デ一夕 6 5に切り直して表面を抽出した後、表面形状デ一夕 6 6を作成するよう構成したが、各超音波像からそのまま表面を抽出してそれらを補間することで表面形状デ一夕 6 6を作成するよう構成しても良い。このように構成しても特開平 1 0— 1 9 2号公報に詳述されている表面抽出の方法を用いることができる。また、表面抽出の方法は他の公知のいかなる方法でも良い。

また、第 1の実施の形態では、表面形状推定回路 4 8が特開平 1 1 - 2 9 5 6 1 8号公報に開示されている方法で表面形状を推定するよう構成したが、本方法のほかに、挿入部 2 1の先端部の位置及び方向を検出し、さらに C C Dカメラ 3 1からの同一被検体-に対する時刻の異なつ""た光学像を用いて、いわば時差のあるステレオ視で被検体の表面形状を推定する他の方法であつても良い図 1 2は第 1の実施の形態に適用可能な電子ラジアル走査型超音波内視鏡とその走査を説明するための図である。図 1 3は第 1 の実施の形態に適用可能なコンべックス走査型超音波内視鏡とその走査を説明するための図である。図 1 4は第 1の実施の形態に適用可能な 2次元アレイ型超音波内視鏡とその走査を説明するための図である。

第 1の実施の形態では、用いられる超音波内視鏡として超音波振動子 2 2を機械的に回転してラジアル走査するメカニカルラジアル走査型超音波内視鏡 2を用いたが、本発明はこれに限定されるものではなく、図 1 2に示す短冊状の超音波振動子 8 2を揷入軸に対し環状にァレィ状に設けた電子ラジアル走査型超音波内視鏡 8 1や、図 1 3に示す挿入軸に沿って超音波振動子 9 2をァレィ状に設けたコンペックス走査型超音波内視鏡 9 1 を用いてもよい。

コンベックス走査型超音波内視鏡 9 1 を用いた場合には、手引き走査に代えて、図 1 3に示すよう挿入部 9 3を揷入軸を中心にねじる走査（ねじり走査）になる。

さらに、図 1 4に示すように、近年期待が高まっている超音波振動子を平面にアレイ状に配した 2次元アレイ—超音波振動子 1 0 2を用いた 2次元アレイ型超音波内視鏡 1 0 1 を本発明に適用してもよい。

2次元アレイ型超音波内視鏡 1 0 1を用いた場合には、手引き走査やねじり走査に代えて、超音波振動子 1 0 2による走査のみで、平面状でなく 3次元的な走査（ボリュ一ム走査）ができ、一度に 3次元の超音波像を取得することになる。つまり、このように構成することで、図 2 に示した送信コイル 2 4を用いずとも超音波による走査のみから 3次元画像デ一夕を構築できるので、超音波の走査の際には送信コィル 2 4が不要になる。

また、図 2に示した第 1の実施の形態では、送信コィル 2 4を 2個独立に設けたが、これは図 1 2、図 1 3、図 1 4に示すよう、 2軸に巻かれたコイル 8 4が一体になつたものであっても良く、送信コイルの形態は各種適用可能である。さらには図 1 に示す送信コィル 2 4 と受信コィル 1 2が逆であっても、揷入部 2 1の先端部の位置方向データは算出できるので、一向に差し支えない。なお、図 1 2、図 1 3及び図 1 4では C C Dカメラ 3 1 と撮像光照射窓 3 2 'とは省略されているが、実際にはこれらの超音波内視鏡 8 1 , 9 1 , 1 0 1でも設けられている。

(第 2の実施の形態）

以下、図 1 5 を用いて、第 2の実施の形態の超音波内視鏡装置 'の構成と作用とを説明する。

図 1 5は本発明の第 2の実施の形態に係る形状マツチング回路を示すブロック図である。

図 1 5を用いた第 2の実施の形態の説明において、図 1乃至図 1 1に示した第 1の実施の形態と同様の構成要素には同じ符号を付して説明を省略している。

(構成）

図 1 5に示すように、第 2の実施の形態は、形状マッチング回路 1 1 0の構成と作用が第 1の実施の形態と異なる。

形状マツチング回路 1 1 0は、表面形状メモリ 5 7 と、表面形状メモリ 5 8 と、重心算出手段としての重心算出回路 1 1 1 と、重心比較回路 1 1 2 と、並進回路 1 1 3 と、慣性主軸算出手段としての慣性主軸算出回路 1 1 4 と、慣性主軸比較回路 1 1 5 と、回転回路 1 1 6 と、相互相関回路 1 1 7 とを設けている。

その他の構成は第 1の実施の形態と同じである。 (作用）

図 1 5の実線は光学像に関連する信号またはデ一夕の流れ、破線は超音波像に関連する信号またはデータの流れ、点線はマツチング情報の流れを示している。

第 1の実施の形態では、相互相関回路で、光学像から得た表面形状デ一夕に対し、回転、並進、 '拡大縮小の変換を施して超音波像から得た表面形状デ一夕との相互相関値 Fを算出し、回転、並進、拡大縮小の変換の程度を微小に変えながらこれを繰り返すことで相互相関値が最大となる時の回転のオイラー角 θ , φ ) 、並進の変位（ ί χ ， δ y ₅ δ ζ ) 、拡大 Ζ縮小率ひを算出した。

一方、第 2の実施の形態では、光学像から得た表面形状デ一夕と超音波像から得た表面形状デ一夕の形状はほとんど同じであることに着目し、並進は両表面形状データの重心の位置関係から、回転は両表面形状データの慣性主軸の位置関係から、そして、拡犬/縮小のみ相互相関回路 1 1 7を使い、 ( δ X , δ y , d ζ ) 、ひを算出する。

まず、重心算出回路 1 1 1は、両表面形状メモリに記憶された表面形状デ一夕を読み出し、それそれの重心の位置べクトルを算出する。重心の位置ベクトル Gの演算は以下の式で与えられる。 G =Zi Ii- ri

ここで iは表面形状メモリを構成するセルにつけられた番号で、 r iは各セルの位置ベクトル、 I iば各セルのデータ（表面は 1 、それ以外は 0.) である。重心比較回路 1 1 2は、両表面形状デ一夕で算出された重心の位置ベクトル Gの差ベクトルを算出することで、両表面形状デ一夕間の位置ずれ、すなわち並進の変位（ χ， δ y , δ ζ ) を算出する。その後、重心比較回路 1 1 2は、この値を座標変換回路

■ /、 5 1 と並進回路 1 1 3に出力する。 J 並進回路 1 1 3は、表面形状メモリ 5 8内の光学像から得た表面形状データ 7 2に対し、並進（平行移動）の処理を施し、超音波像から得た表面形状データ 7 1 と重心を合わせ、回転回路 1 1 6 と慣性主軸算出回路 1 1 4に出力する。慣性主軸算出回路 1 1 4は、表面形状メモリ 5 7に記憶された超音波像からの表面形状デ一夕を読み出し、その慣性主軸の単位ベクトルを算出する。また、慣性主軸算出回路 1 1 4は、並進回路 1 1 3で重心を合わせられた光学像からの表面形状デ一夕の慣性主軸の単位ベクトルをも算出する。慣性主軸とは、通常古典力学で扱われる、どのような剛体にも固有に存在する 1組の直交 3 軸である。

そこで、慣性主軸算出回路 1 1 4は、表面形状デ一夕を輝度値 I i、位置ベクトル r iで表されるセルの集合と見なし、さらに輝度値を質量と読み替えることで表面形状データを剛体と見なして、表面形状デ一夕から剛体と同様に慣性主軸を—算出する。

ここで、慣性主軸算出回路 1 1 4は、超音波像からの表面形状データと、光学像からの表面形状データのそれそれについて慣性主軸の直交する 3軸の右手系の単位ベクトルを算出する。慣性主軸の算出方法は古典力学及び線形代数で公知である。

慣性主軸比較回路 1 1 5は、両表面形状デ一夕で算出された慣性主軸の単位べクトル間の関係を算出する。両者間の関係は 3行 3列の直交行列で表現され、ここから回転のオイラー角（ , Θ , φ ) が算出される。この値が両表面形状データ間の回転ずれである。その後、慣性主軸比較回路 1 1 5は、この値を座標変換回路 5 1 と回転回路 1 1 6 に出力する。

回転回路 1 1 6は、並進回路 1 1 3から出力された光学像から得た表面形状デ一夕に対し、回転の処理を施し、超音波像から得た表面形状デ一夕と方向を合わせ、相互相関回路 1 1 7へ出力す o 相互相関回路 1 1 7は、表面形状メモリ 5 7から超音波像から得た表面形状データ 7 1を読み出す。そして、相互相関回路 1 1 7は、回転回路 1 1 6から出力された光学像から得た表面形状デ一夕を拡大または縮小し、両表面形状データの相互相関を取る。さらに拡大または縮小を倍率ひを変えながら繰り返すことで、相互相関値が最大になるひを求め、座標変換回路 5 1へ出力する。

その他め作用は第 1の実施の形態と同じである。

(効果）

第 1の実施の形態では、マッチング情報として相互相関値が最大になる回転のォイラ一角（， θ , φ ) 、並進の変位（ d x , δ y , δ ζ ) 、拡大/縮小率を全て独立変数と見なして算出していたが、第 2の実施の形態では、並進の変位（ d x , δ y , δ ζ ) は重心算出回路 1 1 1 と重心比較回路 1 1 2 とから、回転のオイラー角（^ , θ , φ ) は慣性主軸算出回路 1 1 4 と慣性主軸比較回路 1 1 5 とから算出され、相互相関回路 1 1 7が算出するのは拡大ノ縮小率ひのみである。相互相関は一般に処理が重いため、第 2の実施の形態によれば、第 1の実施の形態に比べて処理を高速に実施できる。

第 2の実施の形態のその他の効果は第 1の実施の形態と同じである。

(第 3の実施の形態）以下、図 1 6を用いて、第 3の実施の形態の超音波内視鏡装置の構成と作用とを説明する。

図 1 6は本発明の第 3の実施の形態に係る形状マツチング回路を示すブロック図である。

図 1 6を用いた第 3の実施の形態の説明において、図 1 5 に示した第 2の実施の形態と同様の構成要素には同じ符号を付して説明を省略している。

(構成）

図 1 6に示すように、第 3の実施の形態は、第 2の実施の形態と形状マツチング回路 1 2 0の構成と作用とが異なる。第 2の実施の形態とは異なる個所のみ説明する。

形状マッチング回路 1 2 0は、調整回路 1 2 1を新たに設けている。

その他の第 3の実施の形態の構成は第 2の実施の形態と同じである。

(作用）

第 2の実施の形態は、重心比較回路 1 1 2の出力である並進の変位（ d X , δ y , δ ζ ) と、慣性主軸比較回路 1 1 5の出力である回転のオイラー角（， θ , φ ) を直接座標変換回路 5 1へ出力するよう構成していた。しかし、第 3の実施の形態ではこれらの出力を粗調整値として調整回路 1 2 1へ出力させる。相互相関回路 1 1 7は、この粗調整値とは別に第 1の実施の形態と同じく回転のオイラー角（¾^ , θ , φ ) 、並進の変位（ 5 x , δ y , δ ζ ) 、拡大/縮小率ひを算出する。ただし、このとき相互相関.回路 1 1 7で算出される回転のオイラー角（ , θ , φ ) と並進の変位（ 5 χ， δ y , δ ζ ) に関しては、重心比較回路 1 1 2、慣性主軸比較回路 1 1 5での調整に加えた再度の調整値となり微調整値である ₉

調整回路 1 2 1は、回転のォイラ一角 θ , φ ) 、並進の変位（ 5 x , y , δ ζ ) については粗調整値と微調整値とから、正確な値を算出し座標変換回路 5 1へ出力する。また、調整回路 1 2 1は、相互相関回路 1 1 7からの拡大縮小率 αをそのまま出力する。

(効果）

第 2の実施の形態では、マツチング情報として粗調整値を座標変換回路 5 1へ出力していたが、光学像から得られた表面形状デ —夕と超音波像から得られた表面形状データとでは、体腔内で撮像された範囲が微妙に異なる場合があり、これらの粗調整値が回転のオイラー角と並進の変位を正確に表していない可能性がある ο

第 3の実施の形態では、相互相関回路 1 1 7で微調整値を算出するよう構成したので、形状マツチング回路 1 2 0は第 2の実施の形態に比べて正確なマツチング情報を出力できる。さらに相互相関回路 1 1 7が微調整値を算出する前に粗調整を実施することで、独立変数を変えながら行う相互相関処理を、独立変数の変化範囲を限定して行うことができ、第 1の実施の形態に比べて処理を高速に実施できる。

その他の効果は第 1の実施の形態と同じである。

(第 4の実施の形態) '

以下、図 1 7を用いて、第 4の実施の形態の超音波内視鏡装置の構成と作用とを説明する。

図 1 7は本発明の第 4の実施の形態に係る画像処理装置を示すブロック図である。

図 1 7を用いた第 4の実施の形態の説明において、図 1乃至図 1 1 に示した第 1の実施の形態と同様の構成要素には同じ符号を付して説明を省略している。

(構成）

図 1 7に示すように、第 4の実施の形態は、画像処理装置 2 0 6 において、第 1の実施の形態の座標変換回路 5 1の代わりにマヅピング回路 2 5 1 を設けている。

その他の構成は第 1の実施の形態と同じである。

(作用）

第 1の実施の形態では光学像から得た 3次元画像デ一夕 6 3をそのまま用いて図 1 1に示す 3次元画像の表面を表現していたが、第 4の実施の形態では超音波像から得た表面形状データに光学像から得た 3次元画像デ一夕の輝度値をマッビングして表面を表現する。具体的には以下の通りである。

マッピング回路 2 5 1には、表面抽出回路 4 6からの表面形状デ一夕、形状マツチング回路 5 0からのマヅチング情報、 3次元画像メモリ 4 9からの 3次元画像デ一夕 6— 3が入力する。このうちの表面形状データは超音波像から得られており、 3次元画像デ一夕は光学像から得た管腔表面の R (赤）、 G (緑）、 B (青）を輝度値のデータに持つ。

マッピング回路 2 5 1は、超音波像から得た表面形状デ一夕の各セルに対し、マッチング情報を基にして、光学像から得た 3次元画像データのセルを対応づける。そして、光学像から得た 3次元画像データの輝度値を超音波像から得た表面形状デ一夕にマッビングして、表面画像メモリ 5 2へ出力する。

その他の作用は第 1の実施の形態と同じである。

(効果）

このような第 4の実施の形態では、第 1の実施の形態と同様の効果が得られる。

(第 5の実施の形態）

以下、図 1 8及び図 1 9 を用いて、第 5の実施の形態の超音波内視鏡装置の構成と作用とを説明する。

図 1 8及ぴ図 1 9は本発明の第 5の実施の形態に係り、図 1 8 は画像処理装置を示すブロック図、図 1 9はモニタに表示される画像を示す説明図である。

図 1 8及び図 1 9を用いた第 5の実施の形態の説明において、図 1乃至図 1 1 に示した第 1の実施の形態と同様の構成要素には同じ符号を付して説明を省略している。

(構成）

図 1 8に示すように、第 5の実施の形態は、画像処理装置 3 0 6において、第 1の実施の形態の合成回路 5 3の代わりに対応付け回路 3 5 3を設けている。

対応付け回路 3 5 3には、術者のマウス 9操作により、モニタ 7の画面 7 a上のマウスカーソルの座標値が、マウス力一ソル座標値デ一夕として、逐次コントローラ 5 6から入力する。

また、第 5の実施の形態は、画像処理装置 3 0 6 において、第 1の実施の形態の断面画像メモリ 4 5、 3次元画像メモリ 4 9、表面画像メモリ 5 2、座標変換回路 5 1 の代わりに平行スライス像メモリ 3 6 0を設けている。平行スライス像メモリ 3 6 0は表面抽出回路 4 6が作成する平行スライス像デ一夕を全て保存する o

その他の構成は第 1の実施の形態と同じである。 (作用）

第 1の実施の形態では図 1 1に示す 3次元画像を合成して表示していたが、第 5の実施の形態では光学像と超音波像の原画像を ' そのまま同時表示し、双方の対応点を表示する。この様子を図 1 9に示す。

具体的には以下の通りである。

図 1 8に示す対応付け回路 3 5 3は、図 Γ 9に示ずように適当な光学像 3 7 1をモニタ 7の画面 7 aの左側に表示させる。この光学像 3 7 1 に対して、術者がキ一ボード 8やマウス 9で所望のものを選んで、術者がマウス 9でモニタ 7の画面 7 a上のマウスカ一ソル 3 7 2を動かすと、コントロ一ラ 5 6はマウスカーソル座標値データを対応付け回路 3 5 3へ出力する。

次に、術者は、マウスクリック等の操作により、光学像 3 7 1 上で 1点を指定する。対応付け回路 3 5 3はこの点にマ一力 3 7 3を付す。

次に対応付け回路 3 5 3は形状マッチング回路 5 0からのマツチング情報を基に、光学像 3 7 1上のマーカ 3 7 3への対応点を含んだ平行スライス像デ一夕を平行スライス像メモリ 3 6 0の中から選択して読み出す。その後、対応付け回路 3 5 3は平行スラィス像デ一夕上の対応点にマーカ 3 7 5を付して、平行スライス像 3 7 4をモニタ 7の画面右側に表示する。その他の作用は第 1の実施の形態と同じである。

(効果）

第 1の実施の形態によれば、図 1 1 に示す光学像 3 7 1から作成した表面を 3次元画像に合成して表示していたが、この場合、解像度は光学像 3 7 1の原画像よりも落ちる可能性がある。第 5 の実施の形態は、画像処理装置 3 0 6により、光学像 3 7 1を解像度の良い原画像のままで観察'でき、なおかゥ超音波の'輝度値を持つ断面と対比することができる。

(変形例）

第 5の実施の形態では、表示する超音波のデ一夕として平行スライス像デ一夕を用いるよう構成したが、対応付け回路 3 5 3が光学像 3 7 1上のマーカ 3 7 3への対応点に最も近い原画の超音波像を超音波像メモリ 4 1から選び出すよう構成しても良い。このように構成することで、モニタ 7の画面上に表示される画像はどちらも原画像になり、さらに同原画像の位置関係を対応づけながら全く劣化なく観察することができる。

以上述べた様に本発明によれば、患者から内視鏡を差し替えることなく、光学像と超音波像の互いの位置と方向とを正確に対応づけて表示することができるので、検査時間を短縮し、洗浄消毒等の検査前後の内視鏡メンテナンスの手間を減らし、患者への負担を低減できる。以上、本発明の実施形態について説明したが、上記実施形態に限定されるものではなく、本発明の精神を逸脱しない範囲で幾多の変化がなしえることは勿論である。産業上の利用可能性

以上説明したように本発明によれば、光学像と超音波像の互いの位置と方向とを正確に対応づけて表示するごとのできる超音波内視鏡装置を提供することができる。

Claims

請求の範囲

1 . 被検体の光学像を取得する光学像取得装置と、

前記被検体の超音波像を取得する超音波像取得装置と、前記光学像取得時の前記被検体に対する前記光学像取得装置の位置情報を取得する位置情報取得装置と、

前記位置情報取得装置により得られた位置情報を基に前記光学像取得装置により得られた光学像ど前記超音波像取得装置により得られた超音波像とをマッチングさせるマッチング回路と、

を備えたことを特徴とする超音波内視鏡装置。

2 . 前記位置情報を基に前記光学像から第 1の表面形状を算出する第 1の表面形状演算回路と、

前記超音波像から第 2の表面形状を算出する第 2の表面形状演算回路と、

を更に有し、

前記マッチング回路は、前記第 1および第 2の表面形状を用いてマッチングすることを特徴とする請求項 1 に記載の超音波内視

3 . 前記位置情報取得装置が、前記超音波像取得時の前記被検体に対する前記超音波像取得装置の位置情報を取得し、

前記第 2の表面形状演算回路が、前記位置情報を基に第 2の表面形状を算出すること、を特徴とする請求項 2に記載の超音波内視鏡装置。

4 . 前記光学像の輝度値を表面画像デ一夕に用い、前記超音波像の輝度値を断面画像デ一夕に用いて、前記表面画像データと前記断面画像デ一夕とを合成して 3次元画像を構築する合成回路を設けたことを特徴とする請求項 1 に記載の超音波内視鏡装置。

5 . 前記光学像から得られた画像と前記超音波像から得られた画像を同時表示す-る表示装-置と、'

一方の画像上の任意点に対する、他方への対応点を算出する対応付け制御回路と、

を設けたことを特徴とする請求項 1に記載の超音波内視鏡装置

6 . 前記マッチング回路は、相互相関処理を用いて前記マツチングを行うことを特徴とする請求項 2 に記載の超音波内視鏡装置。

7 . 前記マッチング回路には、前記第 1の表面形状と前記第 2の表面形状の重心を算出する重心算出回路が設けられていることを特徴とする請求項 2に記載の超音波内視鏡装置。

8 . 前記マッチング回路には、前記第 1の表面形状と前記第 2の表面形状の慣性主軸を算出する慣性生軸算出回路が設けられていることを特徴とする請求項 2 に記載の超音波内視鏡装置。

9 . 前記マッチング回路には、前記第 1の表面形状と前記第 2の表面形状の重心を算出する重心算出回路、もしくは前記第 1の表面形状と前記第 2の表面形状の慣性主軸を算出する慣性主軸算出回路を設け、

前記相互相関処理の前に、前記重心もしくは前記慣性主軸を算出したことを特徴とする請求項 6に記載の超音波内視鏡装置。

1 0 . 前記超音波像取得装置は、それ自身でボリューム走査を行うことを特徴とする請求項 1 に記載の超音波内視鏡装置。

1 1 . 前記超音波像取得装置は、超音波振動子を 2次元アレイ状に配した 2次元アレイ超音波振動子であることを特徴とする請求項 1 0に記載の超音波内視鏡装置。

1 2 . 被検体の光学像を取得する光学像取得手段と、

前記被検体の超音波像を取得する超音波像取得手段と、前記光学像取得時の前記被検体に対する前記光学像取得手段の位置情報を取得する位置情報取得手段と、

前記位置情報取得手段により得られた位置情報を基に前記光学像取得手段により得られた光学像と前記超音波像取得手段により得られた超音波像とをマッチングさせるマッチング手段と、

を備えたことを特徴とする超音波内視鏡装置。

1 3 . 前記位置情報を基に前記光学像から第 1の表面形状を算出する第 1の表面形状演算手段と、

前記超音波像から第 2の表面形状を算出する第 2の表面形状演算手段と、を更に有し、

前記マツチング手段は、前記第 1および第 2の表面形状を用い 'てマッチングすることを特徴とする請求項 1 2に記載の超音波内視鏡装置。

1 4 . 前記位置情報取得手段が、前記超音波像取得時の前記被検体に対する前記超音波像取得手段の位置情報を取得し、

前記第 2の表面形状'演算手段が、前記位置情報を基に第 2'の表面形状を算出することを特徴とする請求項 1 3 に記載の超音波内 1 5 . 前記光学像の輝度値を表面画像データに用い、前記超音波像の輝度値を断面画像データに用いて、前記表面画像デ一夕と前記断面画像デ一夕とを合成して 3次元画像を構築する合成手段を設けたことを特徴とする請求項 1 2 に記載の超音波内視鏡装置。 1 6 . 前記光学像から得られた画像と前記超音波像から得られた画像を同時表示する表示手段と、

一方の画像上の任意点に対する、他方への対応点を算出する対応付け制御手段と、

を設けたことを特徴とする請求項 1 2に記載の超音波内視鏡装置。

1 7 . 前記マッチング手段は、相互相関処理を用いて前記マヅチングを行うことを特徴とする請求項 1 3 に記載の超音波内視鏡装置 o

1 8 . 前記マッチング手段には、前記第 1の表面形状と前記第 2 の表面形状の重心を算出する重心算出手段が設けられていることを特徴とする請求項 1 3に記載の超音波内視鏡装置。

1 9 . 前記マツチング手段には、前記第 1の表面形状と前記第 2 の表面形状の慣性主軸を算出する慣性主軸算出手段が設けられていることを特徴とずる請求項 1 3に記載の超音波内視鏡装置。 2 0 . 前記マッチング手段には、前記第 1の表面形状と前記第 2 の表面形状の重心を算出する重心算出手段、もしくは前記第 1の表面形状と前記第 2の表面形状の慣性主軸を算出する慣性主軸算出手段を設け、

前記相互相関処理の前に、前記重心もしくは前記慣性主軸を算出したことを特徴とする請求項 1 7に記載の超音波内視鏡装置。