JPH11295618A - 内視鏡画像処理装置 - Google Patents

内視鏡画像処理装置

Info

Publication number
JPH11295618A
JPH11295618A JP10099516A JP9951698A JPH11295618A JP H11295618 A JPH11295618 A JP H11295618A JP 10099516 A JP10099516 A JP 10099516A JP 9951698 A JP9951698 A JP 9951698A JP H11295618 A JPH11295618 A JP H11295618A
Authority
JP
Japan
Prior art keywords
image
endoscope
coil
shape
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10099516A
Other languages
English (en)
Other versions
JP4054104B2 (ja
Inventor
Jun Hasegawa
潤 長谷川
Tetsuo Nonami
徹緒 野波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP09951698A priority Critical patent/JP4054104B2/ja
Priority to US09/288,492 priority patent/US6295368B1/en
Publication of JPH11295618A publication Critical patent/JPH11295618A/ja
Application granted granted Critical
Publication of JP4054104B2 publication Critical patent/JP4054104B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/062Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using magnetic field

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Endoscopes (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

(57)【要約】 【課題】 画像の状態にかかわらず、対象物体の絶対的
な形状を精度良く推定する。 【解決手段】 内視鏡システム1は、内視鏡検査を行う
内視鏡装置2と、体腔内の内視鏡の先端の3次元位置を
検出するための内視鏡位置検出装置3と、内視鏡により
観察した対象物体の形状を推定するための画像処理装置
4とを備えて構成され、画像処理装置4は、ベット5に
横たわる患者6の体腔内に電子内視鏡7の挿入部8を挿
入し、体腔内の対象物体の形状を求める手段として使用
される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は内視鏡画像処理装
置、更に詳しくは同一の対象物体に対して異なる位置か
ら撮像された画像を用いて対象物体の絶対形状を推定す
る形状推定部分に特徴のある内視鏡画像処理装置に関す
る。
【0002】
【従来の技術】視野に重なりをもって配置された撮像手
段の、相対的な配置が既知の場合に、撮像された画像か
ら対象物の形状を推定する問題に対しては、いわゆるス
テレオ画像からの形状推定問題として種々の方法が提案
されている。
【0003】さらに近年では、動きからの3次元構造抽
出についていくつかの提案がなされている。これは複数
の画像から撮像手段の相対的な移動をも推定しようとす
る手法である。
【0004】これらの手法はいずれも、複数の画像間で
対象物上の同一の点の各画像上における位置が関連付け
られることを原情報として用いる。
【0005】対象物上の同一の点の各画像上における位
置の検出に対しても種々の方法が提案されている。人工
的な対象物の場合、角、輪郭成分が明瞭であることが多
いため、線分抽出等の構造抽出による手法は有効である
が、一般的な自然画像に対しては適用が難しい。時系列
画像に対してしばしば用いられる濃度勾配法は、画像間
での対象物の見かけの移動が非常に小さく、画像品質が
良い場合には良好な結果が得られるが、撮像条件の制約
が大きい。
【0006】そこで一般的には、画像上の着目点とその
周辺領域を参照領域として抽出し、探索対象物の画像上
から抽出した領域との間で相関演算を行い最大相関値を
与える位置を対応点とする手法(ブロックマッチング)
がしばしば用いられる。このブロックマッチング法は画
像上のテクスチャが明瞭であれば比較的安定した結果を
もたらすが、テクスチャが不明瞭な場合には誤った対応
点を検出してしまうことがある。
【0007】さらに本質的な欠点として、対象物が立体
でありブロック内に例えば背景との境界を含む場合には
検出結果は信頼できない。また、対象物面が撮像手段に
対して傾いている、あるいは距離の差がある等、複数の
撮像手段の画像間での像の変形が大きい、または像の大
きさの差異が大きい場合も信頼できない。
【0008】立体形状の推定に関わる問題としてはオク
ルージョン及び推定結果の整合の問題が挙げられる。特
に、ステレオからの推定においては対象物の背後に隠
れ、撮像されない部分、あるいは一方の撮像手段のみに
撮像される部分とが存在し、これらの領域の扱いが問題
となる。
【0009】撮像手段の数が多ければ必然的に撮像され
る領域は多くなり、隠される領域は少なくなるが、特に
撮像手段の位置が既知でない場合、あるいは推定が正確
でない場合には、これらの画像間の整合は容易でない。
【0010】このように従来提案されてきた手法のほと
んどは、人工物を撮像した画像を対象物としているか、
または、自然画像を対象物とした場合に当然発生するこ
れらの問題に対し、いずれかの仮定をおくことにより、
影響を除外あるいは軽減した条件において考察されてお
り、実用上十分な能力をもっているとは言えない。
【0011】例えば、従来提案されている手法の適用が
困難であり、かつ、機能が実現された場合に実用的な価
値の大きい画像の種類として、生体用内視鏡から得られ
る画像がある。
【0012】細長の挿入部を体腔内に挿入することによ
って、切開を必要とすることなく、体腔内の患部等を観
察したり、必要に応じ処置具を用いて治療処置のできる
内視鏡においては、先端部の大きさは機能上最小限に抑
える必要があるため、医師が観察、あるいは処置を行う
ために必要な部材以外は組み込むことができない。
【0013】経内視鏡的に対象物の形状を把握すること
に関して既にいくつかの提案がなされている。例えば観
察対象物に対しパターン光等を投影する方式(特開昭6
3−240831号公報)、先端部に複眼を持つ方式
(特開昭63−244011号公報)であるが、いずれ
も内視鏡先端部あるいは光源部に特殊な構造が要求され
るため、装置の大型化、複雑化を招き一般的に用いるこ
とが難しい。
【0014】同一出願人による特開昭63−24671
6号公報には内視鏡先端を手元操作により移動させて得
た複数の画像から対象物形状を推定する手法及び、操作
に伴う先端の移動量を計測する計測機構が開示されてい
る。この方法によれば現内視鏡の機能を損なうことな
く、絶対的な対象物形状の推定を行うことができる。
【0015】また、同一出願人による特開平6−728
9号公報では、対象となる物体のそばに大きさが既知な
基準物を置いて、内視鏡先端を手元操作により移動させ
て得た複数の画像から対象物と基準物の相対的な形状を
推定する手法及び、対象物のそばに置いた基準物の大き
さから対象物の大きさを推定する手法が開示されてい
る。
【0016】前述した特開昭63−246716号公報
の構成では、時系列的に得られた複数の画像から対象物
体の相対的な形状を推定すると共に、この操作に伴う内
視鏡先端の撮像手段の移動量を計測しその計測値から絶
対的な形状を推定することは可能である。
【0017】しかし、前記計測機構の与え得る精度は撮
像手段の分解能等を考え合わせると不十分ではないまで
も十分であるとは言い難い。
【0018】また、特開平6−7289号公報の構成で
は、時系列的に対象物体を撮像する場合に、対象物体と
共に形状の大きさが既知な基準物を同時に撮像すること
により、対象物体の絶対的な形状を求めるようになって
いる。
【0019】しかし、生体用内視鏡を使って対象物体の
そばに基準物を置いて同時に撮像することは、内視鏡の
操作者にとって大きな負担になるという問題点があっ
た。
【0020】そこで、特開平9−26547号公報にお
いて、同一の対象物体に対して異なる位置から撮像され
た画像を基に、撮像手段から対象物体までの絶対的な距
離を精度良く容易に推定することのできる装置が提案さ
れている。
【0021】
【発明が解決しようとする課題】しかしながら、上記特
開平9−26547号公報では、対象物体に対し異なる
位置から撮影した画像から相対的な形状を推定し、画像
上のハレーションやレーザ光を照射したときの画像を用
いて内視鏡先端と対象までの距離を算出して絶対的な形
状を推定していたため、距離算出に用いられる画像の状
態により精度が変わるといった問題がある。
【0022】本発明は、上記事情に鑑みてなされたもの
であり、画像の状態にかかわらず、対象物体の絶対的な
形状を精度良く推定することのできる内視鏡画像処理装
置を提供することを目的としている。
【0023】
【課題を解決するための手段】本発明の内視鏡画像処理
装置は、対物レンズを介して被検体を内視鏡画像として
撮像する撮像手段と、前記撮像手段で撮像された複数の
画像を記憶する画像記憶手段と、前記画像記憶手段に記
憶された複数の画像の画像信号に基づき、該画像間の相
対的な形状を推定する相対形状推定手段と、前記対物レ
ンズの近傍に設けられた第1のコイル手段と、所定の位
置に固定された第2のコイル手段を有し磁界を用いて前
記第1のコイル手段の位置情報を検出する位置情報検出
手段と、前記画像情報記憶手段に記憶された各々の画像
に対応して前記位置情報検出手段で検出された位置情報
を取得する位置情報取得手段と、前記相対形状推定手段
で推定した相対的な形状情報と前記位置情報取得手段で
取得した位置情報とに基づき前記被検体の形状を推定す
る被検体形状推定手段とを備えて構成される。
【0024】本発明の内視鏡画像処理装置では、前記位
置情報取得手段が前記画像情報記憶手段に記憶された各
々の画像に対応して前記位置情報検出手段で検出された
位置情報を取得すると共に、前記被検体形状推定手段が
前記相対形状推定手段で推定した相対的な形状情報と前
記位置情報取得手段で取得した位置情報とに基づき前記
被検体の形状を推定することで、画像の状態にかかわら
ず、対象物体の絶対的な形状を精度良く推定することを
可能とする。
【0025】
【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態について述べる。
【0026】第1の実施の形態:図1ないし図13は本
発明の第1の実施の形態に係わり、図1は内視鏡システ
ムの構成を示す構成図、図2は図1の内視鏡位置検出装
置の機能構成を示すブロック図、図3は図2の内視鏡位
置検出装置の構成を示す構成図、図4は図3の内視鏡位
置検出装置の要部である2ポートメモリ等の構成を示す
構成図、図5は図4の2ポートメモリの動作を示すタイ
ミング図、図6は図1の画像処理装置の構成を示す構成
図、図7は図3の内視鏡位置検出装置のソースコイル推
定位置座標算出処理の原理を説明する第1の説明図、図
8は図3の内視鏡位置検出装置のソースコイル推定位置
座標算出処理の原理を説明する第2の説明図、図9は図
3の内視鏡位置検出装置のソースコイル推定位置座標算
出処理の原理を説明する第3の説明図、図10は図6の
画像処理装置の作用を説明する第1の説明図、図11は
図6の画像処理装置の作用を説明する第2の説明図、図
12は図6の画像処理装置の作用を説明する第3の説明
図、図13は図6の画像処理装置の処理の流れを示すフ
ローチャートである。
【0027】(構成)図1に示すように、本実施形態の
内視鏡システム1は、内視鏡検査を行う内視鏡装置2
と、体腔内の内視鏡の先端の3次元位置を検出するため
の内視鏡位置検出装置3と、内視鏡により観察した対象
物体の形状を推定するための画像処理装置4とを備えて
構成される。
【0028】ここで、画像処理装置4は、ベット5に横
たわる患者6の体腔内に電子内視鏡7の挿入部8を挿入
し、体腔内の対象物体の形状を求める手段として使用さ
れる。
【0029】電子内視鏡7は、可撓性を有する細長の挿
入部8の後端に湾曲操作ノブを設けた操作部9が形成さ
れ、この操作部9からユニバーサルコード10が延出さ
れ、ビデオイメージングシステム(ビデオプロセッサ)
11に接続されている。ここで、上記内視鏡装置2は、
電子内視鏡7及びビデオプロセッサ11から構成され
る。
【0030】この電子内視鏡7は、ライトガイドが挿通
されビデオプロセッサ11内の光源部からの照射光を伝
送し、挿入部8の先端に設けられた照明窓12から伝送
した照明光を出射し、患者等を照明する。照明された患
部等の被写体は照射窓に隣接して設けられた観察窓13
に取り付けた対物レンズにより、その結像位置に配置さ
れたカラーフィルタを有する撮像素子に像を結び、この
撮像素子は光電変換する。
【0031】光電変換された信号はビデオプロセッサ1
1の映像信号処理部により信号処理されて標準的な映像
信号が生成され、ビデオプロセッサ11に接続された画
像観察モニタ14に表示される。
【0032】この電子内視鏡7には鉗子チャンネル15
が設けてあり、この鉗子チャンネル15の挿入口15a
から例えば1個の磁気発生素子(またはソースコイル)
16を有するプローブ17が挿通されることにより、電
子内視鏡7の先端部にソースコイル16が設置される。
【0033】このプローブ17の後端から延出されたソ
ースケーブル18は、その後端のコネクタが内視鏡位置
検出装置3の装置本体19に着脱自在に接続される。そ
して、装置本体19側から高周波信号伝達手段としてソ
ースケーブル18を介して磁気発生手段となるソースコ
イル16に高周波信号(駆動信号)を印加することによ
り、ソースコイルの16の磁気を伴う電磁波を周囲に放
射する。
【0034】また、患者6が横たわるベット5には、複
数の磁気検出素子(またはセンスコイル)20kが所定
の位置に配置されている。この場合、センスコイル20
kを構成する単心コイルは全部で12個で、ベット5を
基準とする座標系XYZの各軸と同一方向を向いた3つ
の単心コイルがそれぞれ4組配置されている。
【0035】センスコイル20kは、ベット5のコネク
タから検出信号伝達手段としてのセンスケーブル21を
介して内視鏡位置検出装置3の装置本体19に接続され
ている。この装置本体19には使用者が装置を操作する
ための操作パネル22またはキーボード等が設けられて
いる。また、この装置本体19はケーブル23で画像処
理装置4の装置本体24と接続され、各装置間のデータ
の送受信が行われる。
【0036】また、画像処理装置4の装置本体24はビ
デオプロセッサ11とケーブル25で接続され、ビデオ
プロセッサ11から送られてくる画像信号(RGB信号
と同期信号)を受け取る。そして、この画像処理装置4
の装置本体24は、ビデオプロセッサ11からの対象物
体の連続的な画像信号から相対的な形状を推定し、内視
鏡位置検出装置3の装置本体19からの電子内視鏡7の
先端の位置データから対象物体の絶対的な形状を算出す
る。
【0037】さらに、この画像処理装置4の装置本体2
4は、任意の視点から観察したときの2次元データを作
成してモニタ25に表示する。
【0038】内視鏡位置検出装置3は、図2に示すよう
に、ソースコイル16を起動する駆動ブロック26と、
センスコイル20kが受信した信号を検出する検出ブロ
ック27と、検出ブロック27で検出した信号を信号処
理するホストプロセッサ28とから構成される。
【0039】図3に示すように、電子内視鏡7の挿入部
8に設置されるプローブ17には、上述したように、磁
界を生成するためのソースコイル16が配置されてお
り、ソースコイル16は、駆動ブロック26を構成する
高周波の駆動信号を生成するソースコイル駆動回路31
に接続されている。
【0040】ソースコイル駆動回路部31は、ソースコ
イル16を正弦波の駆動信号電流で駆動し、駆動周波数
はソースコイル駆動回路部31内部の図示しない駆動周
波数設定データ格納手段或いは駆動周波数設定データ記
憶手段に格納された駆動周波数設定データ(駆動周波数
データとも記す)により設定される。この駆動周波数デ
ータは、ホストプロセッサ28において電子内視鏡6の
先端の3次元位置の検出処理等を行うCPU(中央処理
ユニット)32によりPIO(パラレル入出力回路)3
3を介してソースコイル駆動回路部31内の駆動周波数
データ格納手段(図示せず)に格納される。
【0041】一方、12個のセンスコイル20kは、検
出ブロック27を構成するセンスコイル信号増幅回路部
34に接続されている。
【0042】図4に示すように、センスコイル信号増幅
回路部34では、センスコイル20kが1個につき1系
統設けられた増幅回路35kに接続されており、各セン
スコイル20kで検出された微小な信号が増幅回路35
kにより増幅されフィルタ回路36kでソースコイル1
6が発生する周波数が通過する帯域をもち不要成分を除
去して出力バッファ37kに出力された後、ADC(ア
ナログ・デジタル・コンバータ)38kでホストプロセ
ッサ28が読み込み可能なデジタル信号に変換される。
【0043】なお、検出ブロック27は、センスコイル
信号増幅回路部34及びADC38kより構成され、セ
ンスコイル信号増幅回路部34は増幅回路35k、フィ
ルタ回路36k及び出力バッファ37kより構成され
る。
【0044】図3に戻り、このセンスコイル信号増幅回
路部34の12系統の出力は、12個の前記ADC38
kに伝送され、制御信号発生回路部40から供給される
クロックにより所定のサンプリング周期のデジタルデー
タに変換される。このデジタルデータは、制御信号発生
回路部27からの制御信号によりローカルデータバス4
1を介して2ポートメモリ42に書き込まれる。
【0045】なお、2ポートメモリ42は、図4に示す
ように、機能的には、ローカルコントローラ42a、第
1のRAM42b、第2のRAM42c及びバススイッ
チ42dよりなり、図5に示すようなタイミングによ
り、ローカルコントローラ42aからのA/D変換開始
信号によりADC38kがA/D変換を開始し、ローカ
ルコントローラ42aからの切り換え信号によりバスス
イッチ42dが第1のRAM42b、第2のRAM42
cを切り換えながら、第1RAM42b、第2のRAM
42cを交互に読み出しメモリ及び書き込みメモリとし
て用い、書き込み信号により、電源投入後は、常時デー
タの取り込みを行っている。
【0046】再び、図3に戻り、CPU32は、制御信
号発生回路部27からの制御信号により2ポートメモリ
42に書き込まれたデジタルデータをローカルデータバ
ス43、PCIコントローラ44及びPCIバス45
(図4参照)からなる内部バス46を介して読みだし、
メインメモリ47を用いデジタルデータに対して周波数
抽出処理(フーリエ変換:FFT)を行い、ソースコイ
ル16の駆動周波数に対応する周波数成分の磁界検出情
報に分離抽出し、分離した磁界検出情報のデジタルデー
タから電子内視鏡7の先端の空間位置座標を算出する。
【0047】CPU32において、ソースコイル16に
対応した磁界検出情報、すなわち、各センスコイル20
kに発生する起電力(正弦波信号の振幅値)と位相情報
が算出される。なお、位相情報は、起電力の極性±を示
す。
【0048】次に画像処理装置4について説明する。図
6に示すように、画像処理装置4では、ビデオプロセッ
サ11から送られてきた画像信号をデジタルに変換して
画像データとして記憶手段51に順次記憶する。記憶手
段51に記憶された画像データは相対形状推定手段52
に送られ、相対形状推定手段52は対象物体の相対的な
形状を推定する。
【0049】一方、内視鏡位置検出装置3により検出さ
れたソースコイル16の3次元空間上の位置が位置情報
取得手段53へ送られ、位置情報取得手段53は、対象
物体の相対的な形状を推定するときに使われた画像間の
移動量を算出する。
【0050】また、被写体形状推定手段54は、位置情
報取得手段53で算出された移動量と相対形状推定手段
52により推定された相対的な形状から対象物体の絶対
的な形状を推定する。
【0051】被写体形状推定手段54で推定された形状
を任意の視点から観察したときの画像データを3D−2
D変換手段55で求め、その画像をモニタ25に表示す
る。
【0052】(作用)図1に示すように電子内視鏡7の
鉗子チャンネルの挿入口15aから挿通されたソースコ
イル16を挿入部8の先端に固定し、電子内視鏡7の操
作部9を操作することにより同一の対象物体に対して先
端を移動させる。
【0053】対象物体に対して電子内視鏡7の先端の移
動を始めると同時に、内視鏡位置検出装置3が電子内視
鏡7の先端の位置(ソースコイル16の位置)を検出す
ると共に、画像処理装置4に設けられた操作パネル22
等の入力装置により絶対的な形状を推定する処理を実行
する。
【0054】まず、内視鏡位置検出装置3の作用につい
て説明する。本出願人が先に出願した特願平10−69
075号に詳細に説明しているが、図7に示すように、
半径が極めて小さく薄い円形コイルでは、特開平9−8
4745号公報に記載されているように、円形コイルに
電流を流すと磁気双極子と同様に、3次元空間上の点P
の磁位は次のような式で表すことができる。
【0055】
【数1】 μ :透磁率 N1 :円形コイルの巻数 a :円形コイルの半径 I :円形コイルに流れる電流 従って、点PにおけるX,Y,Z軸と同一方向の磁界
(HPx、HPy、HPz)は、
【数2】 のように求められる。図8に示すような3次元空間(以
下ワールド座標系XW −YW −ZW)において、磁界を
発生する単心コイル(以下ソースコイル)の位置を(x
gW、ygW、zgW)とし、3次元空間上の任意の位置を点
P(xPW、yPW、zPW)とする。
【0056】ソースコイルを基準とした座標系をローカ
ル座標系XL −YL −ZL とすると、ローカル座標系に
おける点Pの座標(xPl、yPl、zPl)は
【数3】 l :ローカル座標系における原点Oから点Pへのベ
クトル PW :ワールド座標系における原点Oから点Pへのベク
トル GW :ワールド座標系におけるソースコイルの位置への
ベクトル R:回転マトリックス と表すことができる。
【0057】但し、Rは回転マトリックスで、図9に示
す極座標系の回転マトリックスRは
【数4】 となる。αはZW 軸を中心とした回転量を、βはXW
を中心とした回転量を示す。
【0058】ソースコイルを基準としたローカル座標系
において、点Pに発生する磁界Hl(HPxl 、HPyl
Pzl )は式(3)より
【数5】 となる。
【0059】従って、ワールド座標系の点PにおけるX
W 、YW 、ZW 軸と同一方向の磁界HW (HPxW 、H
PyW 、HPzW )は、
【数6】 となる。
【0060】3次元空間XYZ上に磁界を発生する1つ
のソースコイルを位置(xg,yg,zg)、向き(gx
y,gz)に配置した場合、適当な位置P(xd,yd
d)に発生する磁界Hx,Hy,Hzは、式(6)から次
のように表される。
【0061】
【数7】 但し、kSは定数、rはソースコイルと点Pとの距離で
あって、磁界Hx,Hy,Hzの向きはX,Y,Z軸と同
一方向である。
【0062】点Pの位置に座標軸X,Y,Zと同一に向
いた単心コイルCx,Cy,Czが配置された場合、それ
ぞれの単心コイルCx,Cy,Czに発生する電圧Vx,V
y,Vz
【数8】 となる。ここで、X軸に向いた単心コイルCxは、コイ
ルを構成する導線を巻くときの軸をX軸と同一方向にし
たコイルであって、Y軸,Z軸と同一に向いた単心コイ
ルCy,Czも同様なコイルである。
【0063】図1に示したように、本実施の形態では、
単心コイルからなるセンスコイル20kを3次元空間上
に複数配置し、具体的にはベット5おいて、X軸に向い
た4つのセンスコイルと、Y軸に向いた4つのセンスコ
イルと、Z軸に向いた4つのセンスコイルの計12個の
センスコイル20kを配置している。この12個のセン
スコイル20kの電圧、位置、向きが全て既知であるこ
とから、式(8)によりソースコイル16の位置
(xg,yg,zg)と向き(gx,gy,gz)を未知数と
する12個の非線形方程式が得られる。
【0064】この12個の非線形方程式の解、すなわ
ち、ソースコイル16の位置と向きを反復改良によって
求める(Gauss−Newton法)。
【0065】xをソースコイルの位置(xg,yg
g)と向き(gx,gy,gz)のパラメータとし、その
パラメータの初期値をx(0)とする。
【0066】いま、反復改良によりk次の推定値x(k)
が得られ、センスコイルに発生する電力のモデル関数V
(x)をx(k)のまわりでTayLor展開すると、そ
の一次近似は
【数9】 となる。
【0067】このとき、Vmをセンスコイルによって測
定された電圧とすると観測方程式は
【数10】 (ここで、式が等号ではなくnearly equalとなっている
のは、Vmに測定誤差が含まれるため)と表される。式
(10)の右辺の第1項を左辺に移動すると
【数11】 となる。但し、
【数12】 ΔVm(k)=Vm−V(x(k))=Vm−Vm(k) …(12)
【数13】Δx(k)=x−x(k) …(13)
【数14】 (i=1〜n,j=1〜m) (行方向:未知数の数n、列方向:センスコイルの数
m) である。解Δx(k)は、式(11)より
【数15】 Δx(k)=(B(k)WA(k)-1(k)WΔVm(k) …(15) と表される。ただし、BはAの転置、Wは重み行列であ
る。
【0068】よって、式(13)より改良したパラメー
タの推定値は
【数16】 x(k+1)=x(k)+Δx(k) …(16) と求められる。
【0069】図1に示したように12個のセンスコイル
20kを並べると、行列Aは
【数17】 重み行列Wは
【数18】 と表される。ただし、重み行列Wのσi(i=0,1,
…,12)は、各センスコイルの測定電圧の変動量で、
例えば、環境ノイズ等がある。
【0070】また、第k番目のΔVmは
【数19】 となることから、ソースコイルの位置と向きは、次の手
順(1)から(4)で求められる。
【0071】手順(1);k=0とし、ソースコイルの
初期値を位置(xg,yg,zg(0)、向き(gx,gy
z(0)とする(例えば、ソースコイルを測定する空間
の中心位置とZ軸方向のベクトル(0,0,1))。 手順(2);式(17),(18),(19)により第
k番目の行列を計算する。 手順(3);式(16)により第k番目の更新量Δx
(k)を計算する。手順(4);更新量Δx(k)が小さくな
るまで上記手順(2)から(4)を繰り返す。
【0072】本実施の形態では、X,Y,Z軸方向に向
いたセンスコイルをそれぞれ配置してソースコイルの位
置を推定したが、これに限らず、各々のセンスコイルを
任意の位置や向きに配置した場合でも、センスコイルの
位置と向きが既知であればソースコイルの位置が推定で
きる。
【0073】次に、画像処理装置3の作用について説明
する。まず、対象物の相対的な形状を推定する手法につ
いて説明する。
【0074】特開平9−26547号公報に記載されて
いるように、電子内視鏡7により撮像手段を移動しなが
ら画像の撮像を行い、この時系列に撮像された2次元の
画像データを画像処理装置3に入力する。このとき、図
10に示すように、内視鏡先端を移動することにより同
一の対象物体の時系列画像を撮像する。
【0075】撮像素子によって撮影された対象物体の画
像信号をビデオプロセッサ11内で処理し、処理した画
像信号を画像処理装置4が取り込み、画像信号をデジタ
ル信号に変換して記憶手段51にデジタルの画像データ
0 〜In として記憶する。これにより、P0 ないしP
n で示す撮像手段の移動軌跡に対応して時系列画像I0
〜In が得られる。
【0076】画像処理装置4の相対形状推定手段52
は、得られた時系列画像I0 〜Inの最初の画像I0
対して複数の点Pab(a=0,1,…,q、b=0,
1,…,r)を設定し、テンプレートマッチングの手法
(参照文献:コンピュータ画像処理入門 総研出版
(株) 田村秀行監修:p.148 〜p.150 )により、残り
の画像Ii (i=1,2,…,n)で設定された点Pab
と同一の点の位置を検出する。
【0077】各画像の同一の点の位置が検出されること
で、画像I0 で設定された点Pabに対して残りの画像I
i(i=1,2,…,n)との位置のズレ、すなわち、
点Pabの各画像毎の移動量であるシフトマップSi (i
=1,2,…,n)が求められる。
【0078】画像Iiに対するシフトマップSi は、次
のようにx方向とy方向の移動量として表す。
【0079】
【数20】 (Sx00 ,Sy00 ) ・・・・・・・・・ (Sxq0 ,Syq0 ) ・ ・ Si = ・ ・ ・ (Sxab ,Syab ) ・ ・ ・ ・ ・ (Sx0r ,Sy0r ) ・・・・・・・・・ (Sxqr ,Syqr ) …( 20) なお、テンプレートマッチングの手法は、同一出願人に
よるUSP4,962,540に開示されているカラー
マッチング手法を適用してもよい。
【0080】次に、前記求められたシフトマップより撮
像手段の運動(内視鏡先端部16の動き)を推定する。
【0081】図11に中心射影の座標系を示す。画像原
点Oからの距離eだけ離れたところにZ軸に垂直に画像
面をおく。空間中の点(X,Y,Z)は、この点(X,
Y,Z)と原点Oとを結ぶ直線と画像面とが交わる点に
投影されるものとする。その交点の画像上の座標を
(x,y)とすると、幾何学的な関係からx,yは、
【数21】 となる。
【0082】撮像手段の運動により空間中の点X=
(X,Y,Z)がX′=(X′,Y′,Z′)に移動し
たとき、そのときの撮像手段の運動は、原点を通る視軸
回りの回転を表す回転ベクトルRと、並進ベクトルh=
(hx ,hy ,hz )を用いて次のように表される。
【0083】
【数22】X=RX′+h …(22) ここで、点X,X′を原点からの距離r,r′と単位方
向ベクトルm(Nベクトル)を用いて表すとそれぞれ、
【数23】 となる。ただし、
【数24】 である。よって、式(24)を用いると式(22)は、
【数25】rm=r′Rm′+h …(25) となる。
【0084】ここで、図12(a)及び(b)に示すよ
うに、3本のベクトルm,Rm′,hは空間中の同一平
面上に存在するため、それらのスカラ3重積が0とな
る。
【0085】
【数26】 |mhRm′|=(m,h×Rm′) …(26) ただし、×:外積、(*,*):内積前記テンプレート
マッチングにより画像間の同一の点を検出する場合、検
出誤差によりシフトマップに誤差が含まれる可能性があ
る。そこで、本例では最小二乗法を用いて、画像内で設
定される複数の点に対して、
【数27】 を満足するように回転ベクトルRと並進ベクトルhを求
める。ただし、推定される並進ベクトルhは単位ベクト
ルh′として推定される。
【0086】次に、前記推定された撮像手段の運動よ
り、撮像手段から対象物体までの相対的な距離を算出す
る。
【0087】式(25)の両辺とm,Rm′との内積を
とると、それぞれ、
【数28】 r=r′(m,Rm′)+(h,m) r(m,Rm′)=r′+(h,Rm′) …(28) となる。これを解けば各点までの距離が次のように得ら
れる。
【0088】
【数29】 ただし、並進ベクトルhが単位ベクトルh′として推定
されるため、r,r′は次式のように適当な倍率kで決
定される。
【0089】
【数30】r =kr …(30)
【数31】r′=kr′ …(31) したがって、画像I0 を撮像したときの撮像手段の位置
から、各画像Ii(i=1,2,…,n)を撮像したと
きの撮像手段の位置までのそれぞれの相対的な運動(R
i ,hi (i=1,2,…,n))が推定される。
【0090】この各画像Ii(i=1,2,…,n)毎
に推定された相対的な運動とシフトマップとにより、各
画像毎の撮像手段の位置から対象物体までの相対的な距
離を推定する。この相対距離は、撮像手段から対象物体
を観察したときの相対的な形状に相当する。
【0091】一方、内視鏡位置検出装置3では、上述し
た方法により、電子内視鏡7の先端に固定されたソース
コイル16が発生する電磁波を、ベット5に設置したセ
ンスコイル20kにより検出し、ベット5を基準とする
3次元空間上のソースコイル16の位置P0 〜Pn を求
め、その位置を画像処理装置4の位置情報取得手段53
へ送る。
【0092】画像処理装置4の被写体形状推定手段54
は、位置情報取得手段53を介して内視鏡位置検出装置
3から送られてきた電子内視鏡7の先端の3次元位置P
0〜Pn を記憶し、相対的な形状を推定するの用いた第
0番目の画像データI0 と第n番目の画像データIn
対応する位置
【数32】 を抽出し、電子内視鏡7の先端の移動量
【数33】 を算出する。
【0093】算出された移動量|h|は、カメラ(この
場合電子内視鏡先端)の並進ベクトルhの大きさになる
ため、移動量|h|と相対的な形状から対象物体の絶対
的な形状が算出できる(なお、上述したように複数の画
像データを用いて相対的な形状を推定する場合、並進ベ
クトルhは大きさ1の単位ベクトルh′として求められ
る)。
【0094】推定された絶対的な形状を適当な視点位置
から見たときの2次元画像を生成し、モニタ14に表示
する。
【0095】これらの処理を図13のフローチャートを
用いて説明する。ステップS1で、画像処理装置4に取
り込まれる画像データと位置データのセット数を初期化
する。
【0096】ステップS2では、例えば画像処理装置4
と接続された情報入力装置(キーボード等)により画像
データと位置データを取り込みを開始する否かの信号を
入力し、それを検出する。
【0097】ステップS2において、データの取り込み
を開始する場合はステップS3へ進み、そうでないとき
はステップS1へ戻る。
【0098】ステップS3では、画像処理装置4はビデ
オプロセッサ11から送られてくる画像データIi と内
視鏡位置検出装置3から送られてくる位置データPi
を取り込み、記憶する。
【0099】ステップS4ではiをインクリメントし、
ステップS5においてデータの取り込みの終了が検出さ
れなかったとき、ステップS3へ進み次に送られてくる
画像データIi+1 と位置データPi+1 を取り込み行う。
【0100】また、テップS5でデータの取り込みが終
了したことを検出した場合、ステップS6へ処理を移行
して、ステップS6で記憶された画像データI0 〜In
から対象物体の相対的な形状を推定する。
【0101】ステップS7では、記憶された位置データ
Po 〜Pn から相対的な形状を推定するの用いた第0番
目の画像データI0 と第n番目の画像データIn に対
応する位置データPo 、Pn を抽出し、その移動量|h
|を算出する。
【0102】ステップS8では、ステップS6で推定さ
れた相対的な形状とステップS7で算出された移動量|
h|(カメラの並進ベクトルの大きさ)から、対象物体
の絶対的な形状を算出する。
【0103】なお、本実施の形態では、ソースコイル1
6を鉗子チャンネルから挿通し、挿入部8の先端に配置
したが、挿入部の先端部分にソースコイルを埋め込み、
ソースコイル16を完全に固定するしてもよい。
【0104】また、本実施の形態では、内視鏡位置検出
装置3の装置本体19と画像処理装置4の装置本体24
とを別々に設けたが、それぞれがCPUとソフトウェア
によって処理される場合には、1つの装置とモニタで構
成することができる。
【0105】(効果)このように本実施の形態によれ
ば、電子内視鏡7の先端に磁界を発生する単心コイルか
らなる1つのソースコイル16を配置することにより、
先端の移動量が正確に求められ、対象物体の絶対的な形
状を推定することができる。
【0106】第2の実施の形態:図14及び図15は本
発明の第2の実施の形態に係わり、図14は回転フィル
タの構成を示す構成図、図15は図14の回転フィルタ
に同期した同期信号に基ずく各信号のタイミングを示す
タイミング図である。
【0107】第2の実施の形態は、第1の実施の形態と
ほとんど同じであるので、異なる点のみ説明し、同一の
構成には同じ符号をつけ説明は省略する。
【0108】(構成)本実施の形態の内視鏡システム1
の構成は、第1の実施の形態の内視鏡装置2が面順次方
式であって、ビデオプロセッサ11は内部の光源部に白
色光を面順次光に変換する回転フィルタ及びこの回転フ
ィルタに同期した同期信号を内視鏡位置検出装置3へ送
る同期信号出力手段とを備え、また、内視鏡検出装置3
はビデオプロセッサ11からの回転フィルタに同期した
同期信号からセンスコイル20kに発生する信号を取り
込むための制御信号を作成する制御信号生成手段を有し
て構成される。
【0109】図14に示すように、ビデオプロセッサ1
1内の回転フィルタ81は、赤(R)、緑(G)、青
(B)の各波長領域の光を透過するRフィルタ82r、
Gフィルタ82g、Bフィルタ82bが周方向に沿って
配列され、回転フィルタ81のRフィルタ82r、Gフ
ィルタ82g、Bフィルタ82bの各フィルタ間には光
を透過しない遮光領域83が設けられている。その他の
構成は第1の実施の形態と同じである。
【0110】(作用)回転フィルタ81を透過した光
は、電子内視鏡7の先端から対象物体に照射され、その
反射光が先端部の対物レンズを通って撮像素子に結像さ
れる。
【0111】撮像素子は、回転フィルタ81の回転フィ
ルタ81のRフィルタ82r、Gフィルタ82g、Bフ
ィルタ82bの各フィルタに光が透過している期間(以
下、露光期間と呼ぶ)に電荷を貯える。撮像素子に貯え
られた電荷は、光が透過していない期間(以下、遮光期
間と呼ぶ)にビデオプロセッサ11内に取り込まれ、画
像信号に変換するための処理が行われる。
【0112】撮像素子から読み出された信号は、デジタ
ルの画像データに変換され、赤(R)、緑(G)、青
(B)のそれぞれの記憶領域に記憶される。
【0113】ビデオプロセッサ11は、赤(R)、緑
(G)、青(B)のそれぞれの画像データが記憶される
と、記憶された画像データを同時に読み出し、ビデオの
標準信号に変換してモニタ14と画像処理装置4へ送
る。
【0114】また、図15に示すようにビデオプロセッ
サ11内では、回転フィルタ81の回転を一定に保つた
めの同期信号(Rk,Gk,Bk)を発生し、この同期信
号に同期して回転フィルタの露光・遮光期間が繰り返さ
れ(図15(a))、遮光期間中に撮像素子から電荷
(画像信号)が読み出される(図15(b))。このと
き、ビデオプロセッサ11は、この同期信号を内視鏡位
置検出装置3へ送る(図15(c))。
【0115】内視鏡位置検出装置本体19では、回転フ
ィルタ81の同期信号(Rk,Gk,Bk)からセンスコ
イル20kに発生する信号を検出するための制御信号を
作り出す。そして、この制御信号により電子内視鏡7の
先端の3次元位置を測定するタイミングと、撮像手段に
より撮像されるタイミングとの同期が正確に取られて、
センスコイル20kの出力が取り込まれる(図15
(d))。その他の作用は第1の実施の形態と同じであ
る。
【0116】(効果)このように本実施の形態では、第
1の実施の形態の効果に加え、画像データと位置データ
との同期が正確にとれることから、対象物体の絶対的な
形状を正確に求めることができる。
【0117】第3の実施の形態:第3の実施の形態は、
第2の実施の形態とほとんど同じであるので、異なる点
のみ説明し、同一の構成には同じ符号をつけ説明は省略
する。
【0118】(構成)本実施の形態の内視鏡システム1
の構成は、第2の実施形態の画像処理装置4に外部記憶
装置を接続した構成となっている。その他の構成は第2
の実施の形態と同じである。
【0119】(作用)第2の実施形態で説明したよう
に、ビデオプロセッサ11から出力された画像データと
内視鏡位置検出装置本体19から出力される位置データ
は同期して画像処理装置本体24に送られる。
【0120】画像処理装置4には、ハードディスクやデ
ジタルの光磁気ディスク等の外部記憶装置が接続されて
おり、ビデオプロセッサ11と内視鏡位置検出装置3か
ら送られてくる画像データと位置データを関連付けて外
部記憶装置に記憶する。
【0121】画像データと位置データは同期して送られ
てくるため、表1に示すように、画像データと位置デー
タを交互に記憶する。
【0122】
【表1】 また、絶対的な形状を推定するのに必要な画像データI
i と位置データPi(i=0,1,2,…,n)を画像
処理装置4内に記憶し、記憶されたデータを表2のよう
にそれぞれの領域に記憶する。
【0123】
【表2】 画像処理装置4は、外部記憶装置に記憶されたデータを
読み出し、記憶手段51に記憶し、第1の実施の形態で
説明した図13のステップS6以降の処理を実行するこ
とにより対象物体の絶対的な形状を推定する。
【0124】推定された絶対的な形状を適当な視点位置
から見たときの2次元画像を生成し、モニタ14に表示
する。
【0125】また第1の実施形態のように、ビデオプロ
セッサ11と内視鏡位置検出装置3との同期が正確に取
れていない場合、表3に示すように画像処理装置4の処
理が実行されてから撮像素子から画像信号を読み出す時
間tIa(a=0,1,2,…,n)とセンスコイルから
検出する時間tIb(b=0,1,2,…,m)を画像デ
ータIa(a=0,1,2,…,n)と位置データPb
(b=0,1,2,…,m)に関連付けて外部記憶装置
に記憶する。
【0126】
【表3】 画像処理装置4は、外部記憶装置に記憶された画像デー
タと位置データと関連情報を読み出し、画像処理装置4
の記憶手段51に記憶し、絶対的な形状を推定する。
【0127】ここで、記憶された画像データと位置デー
タが同期していないため、撮像素子により画像データを
撮影した位置と位置データとが一致していないことか
ら、記憶された位置データから撮像素子が撮影した位置
を推定する必要がある。
【0128】画像データIi の撮影位置の前後に検出さ
れた位置データを
【数34】 とすると、画像データIi が撮影された時間tIiと位置
データが検出された時間tpj、tPj+1から重み付けを行
い、画像データIi の位置PIiを次のように推定する。
【0129】
【数35】 ここでは、線形な重み付け加算により画像データが撮影
された位置を推定したが、撮像素子が撮影を行った前後
の検出された位置データから非線型な重み付け加算等を
行ってもよい。
【0130】(効果)このように本実施の形態では、第
2の実施の形態の効果に加え、ビデオプロセッサ11か
らの画像データと内視鏡位置検出装置3からの位置デー
タが関連付けて記憶されるため、対象物体を必要なとき
の測定できる。
【0131】また、第1実施の形態のようにビデオプロ
セッサ11と内視鏡位置検出装置3が同期していない場
合でも、位置データと画像データの取り込みのタイミン
グに関するデータを同時に記憶することによって、撮像
素子の撮影位置を記憶された位置データから予測するこ
とができる。
【0132】[付記] (付記項1) 対物レンズを介して被検体を内視鏡画像
として撮像する撮像手段と、前記撮像手段で撮像された
複数の画像を記憶する画像記憶手段と、前記画像記憶手
段に記憶された複数の画像の画像信号に基づき、該画像
間の相対的な形状を推定する相対形状推定手段と、前記
対物レンズの近傍に設けられた第1のコイル手段と、所
定の位置に固定された第2のコイル手段を有し、磁界を
用いて前記第1のコイル手段の位置情報を検出する位置
情報検出手段と、前記画像情報記憶手段に記憶された各
々の画像に対応して前記位置情報検出手段で検出された
位置情報を取得する位置情報取得手段と、前記相対形状
推定手段で推定した相対的な形状情報と前記位置情報取
得手段で取得した位置情報とに基づき、前記被検体の形
状を推定する被検体形状推定手段とを具備したことを特
徴とする内視鏡画像処理装置。
【0133】(付記項2) 挿入部に湾曲操作可能な湾
曲部を有する内視鏡と、前記挿入部の先端に設けられた
対物レンズと、前記対物レンズを介して被検体を撮像す
る撮像手段と、前記撮像手段で撮像された複数の内視鏡
画像を記憶する画像記憶手段と前記画像記憶手段に記憶
された複数の内視鏡画像の画像信号に基づき、該複数の
内視鏡画像間の相対的な形状情報を推定する相対形状推
定手段と、前記挿入部の先端に設けられた第1のコイル
手段と、所定の位置に固定された第2のコイル手段を有
し、磁界を用いて前記第1のコイル手段の位置情報を検
出する位置情報検出手段と、前記画像情報記憶手段に記
憶された各々の内視鏡画像に対応して前記位置情報検出
手段で検出された位置情報を取得する位置情報取得手段
と、前記相対形状推定手段で推定した相対的な形状情報
と前記位置情報取得手段で取得した位置情報とに基づ
き、前記被検体の形状を推定する被検体形状推定手段と
を具備したことを特徴とする内視鏡画像処理装置。
【0134】(付記項3) 対物レンズを介して被検体
像を撮像手段で撮像する撮像行程と、前記撮像手段で撮
像された複数の被検体像をそれぞれ記憶する撮像画像記
憶行程と、前記撮像画像記憶行程で記憶された複数の被
検体像の画像信号に基づき、該複数の被検体像間の相対
的な形状情報を推定する相対形状推定行程と、前記対物
レンズの近傍に設けられた第1のコイル手段の位置情報
を、所定の位置に固定された第2のコイル手段を有する
位置情報検出手段によって磁界を用いて検出する位置情
報検出行程と、前記撮像画像記憶行程で記憶された各々
の被検体像に対応して前記位置情報検出行程で検出され
た位置情報を取得する位置情報取得行程と、前記相対形
状推定行程で推定された相対的な形状情報と前記位置情
報取得行程で取得した位置情報とに基づき、前記被検体
の形状を推定する被検体形状推定行程とを有することを
特徴とする形状推定方法。
【0135】(付記項4) 同一の対象物体に対して異
なる位置より撮像する撮像手段を有する内視鏡と、前記
撮像手段により撮像された複数の画像から、前記対象物
体の相対的な形状を推定する相対形状推定手段と、コイ
ルによって前記内視鏡先端の3次元空間上の位置を検出
する位置検出手段と、前記相対形状推定手段により推定
された対象物体の相対形状と前記位置検出手段の出力か
ら、前記対象物体の絶対的な形状を推定する手段とを備
えたことを特徴とする内視鏡画像処理装置。
【0136】(付記項5) 前記位置検出手段は、磁界
を発生するソースコイルを前記内視鏡の先端に設置し、
前記ソースコイルが発生した磁界を検出するセンスコイ
ルを3次元空間上に複数配置し、前記センスコイルの出
力から前記ソースコイルの3次元空間上の位置を検出す
ることを特徴とする付記項4に記載の内視鏡画像処理装
置。
【0137】(付記項6) 前記位置検出手段は、磁界
を発生するソースコイルを3次元空間上に複数配置し、
前記ソースコイルが発生した磁界を検出するセンスコイ
ルを前記内視鏡の先端に設置し、前記センスコイルの出
力から前記センスコイルの3次元空間上の位置を検出す
ることを特徴とする付記項4に記載の内視鏡画像処理装
置。
【0138】(付記項7) 前記ソースコイルは単心コ
イルからなることを特徴とする付記項5または6に記載
の内視鏡画像処理装置。
【0139】(付記項8) 前記センスコイルは単心コ
イルからなることを特徴とする付記項5または6に記載
の内視鏡画像処理装置。
【0140】(付記項9) 前記センスコイルは3軸コ
イルからなることを特徴とする付記項5または6に記載
の内視鏡画像処理装置。
【0141】(付記項10) 前記撮像手段により対象
物体を撮影するタイミングに前記位置検出手段の検出を
行うタイミングを同期させる同期手段を有することを特
徴とする付記項4に記載の内視鏡画像処理装置。
【0142】(付記項11) 前記対象物体の絶対的な
形状を任意の視点を設定したときの2次元画像を生成す
る手段を有することを特徴とする付記項4に記載の内視
鏡画像処理装置。
【0143】(付記項12) 前記撮像手段により撮影
された複数の画像と前記位置検出手段により検出された
前記内視鏡先端の位置を記憶する前記記憶手段をを有す
ることを特徴とする付記項4に記載の内視鏡画像処理装
置。
【0144】(付記項13) 前記記憶手段は、前記撮
像手段が内視鏡画像を撮影した時刻と、前記位置検出手
段が内視鏡先端の位置を検出した時刻を画像と位置のデ
ータに関連付けて記憶することを特徴とする付記項12
に記載の画像処理装置。
【0145】(付記項14) 前記位置検出手段は、前
記記憶手段に記憶された内視鏡先端の位置と前記位置検
出手段が内視鏡先端の位置を検出した時刻と前記撮像手
段が内視鏡画像を撮影した時刻から、前記撮影手段が撮
影を行った時刻の内視鏡先端の位置を推定する位置推定
手段を有することを特徴とする付記項13に記載の内視
鏡画像処理装置。
【0146】(付記項15) 前記位置推定手段は、前
記記憶手段に記憶された複数の内視鏡先端の位置と検出
した時刻から任意の時刻の内視鏡先端の位置を補間して
求める補間手段を備え、前記記憶手段に記憶された内視
鏡画像を撮影した時刻と前記補間手段から内視鏡先端の
位置を推定することを特徴とする付記項14に記載の画
像処理装置。
【0147】
【発明の効果】以上説明したように本発明の内視鏡画像
処理装置によれば、位置情報取得手段が画像情報記憶手
段に記憶された各々の画像に対応して位置情報検出手段
で検出された位置情報を取得すると共に、被検体形状推
定手段が相対形状推定手段で推定した相対的な形状情報
と位置情報取得手段で取得した位置情報とに基づき被検
体の形状を推定するので、画像の状態にかかわらず、対
象物体の絶対的な形状を精度良く推定することができる
という効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る内視鏡システ
ムの構成を示す構成図
【図2】図1の内視鏡位置検出装置の機能構成を示すブ
ロック図
【図3】図2の内視鏡位置検出装置の構成を示す構成図
【図4】図3の内視鏡位置検出装置の要部である2ポー
トメモリ等の構成を示す構成図
【図5】図4の2ポートメモリの動作を示すタイミング
【図6】図1の画像処理装置の構成を示す構成図
【図7】図3の内視鏡位置検出装置のソースコイル推定
位置座標算出処理の原理を説明する第1の説明図
【図8】図3の内視鏡位置検出装置のソースコイル推定
位置座標算出処理の原理を説明する第2の説明図
【図9】図3の内視鏡位置検出装置のソースコイル推定
位置座標算出処理の原理を説明する第3の説明図
【図10】図6の画像処理装置の作用を説明する第1の
説明図
【図11】図6の画像処理装置の作用を説明する第2の
説明図
【図12】図6の画像処理装置の作用を説明する第3の
説明図
【図13】図6の画像処理装置の処理の流れを示すフロ
ーチャート
【図14】本発明の第2の実施の形態に係る回転フィル
タの構成を示す構成図
【図15】図14の回転フィルタに同期した同期信号に
基ずく各信号のタイミングを示すタイミング図
【符号の説明】
1…内視鏡システム 2…内視鏡装置 3…内視鏡位置検出装置 4…画像処理装置 5…ベット 7…電子内視鏡 8…挿入部 9…操作部 10…ユニバーサルコード 11…ビデオプロセッサ 12…照明窓 13…観察窓 14…画像観察用モニタ 15…鉗子チャンネル 15a…挿入口 16…ソースコイル 17…プローブ 18…ソースケーブル 19、24…装置本体 20k…センスコイル 21…センスケーブル 22…操作パネル 23…ケーブル 25…モニタ 26…駆動ブロック 27…検出ブロック 28…ホストプロセッサ 31…ソースコイル駆動回路 32…CPU 33…PIO 34…センスコイル信号増幅回路部 35k…増幅回路 36k…フィルタ回路 37k…出力バッファ 38k…ADC 40…制御信号発生回路部 41…ローカルデータバス 42…2ポートメモリ 46…内部バス 47…メインメモリ 51…記憶手段 52…相対形状推定手段 53…位置情報取得手段 54…被写体形状推定手段 55…3D−2D変換手段
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成11年3月4日
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0059
【補正方法】変更
【補正内容】
【0059】従って、ワールド座標系の点PにおけるX
W 、YW 、ZW 軸と同一方向の磁界HW (HPxW 、H
PyW 、HPzW )は、
【数6】 となる。

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 対物レンズを介して被検体を内視鏡画像
    として撮像する撮像手段と、 前記撮像手段で撮像された複数の画像を記憶する画像記
    憶手段と、 前記画像記憶手段に記憶された複数の画像の画像信号に
    基づき、該画像間の相対的な形状を推定する相対形状推
    定手段と、 前記対物レンズの近傍に設けられた第1のコイル手段
    と、 所定の位置に固定された第2のコイル手段を有し、磁界
    を用いて前記第1のコイル手段の位置情報を検出する位
    置情報検出手段と、 前記画像情報記憶手段に記憶された各々の画像に対応し
    て前記位置情報検出手段で検出された位置情報を取得す
    る位置情報取得手段と、 前記相対形状推定手段で推定した相対的な形状情報と前
    記位置情報取得手段で取得した位置情報とに基づき、前
    記被検体の形状を推定する被検体形状推定手段とを具備
    したことを特徴とする内視鏡画像処理装置。
JP09951698A 1998-04-10 1998-04-10 内視鏡画像処理装置 Expired - Fee Related JP4054104B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP09951698A JP4054104B2 (ja) 1998-04-10 1998-04-10 内視鏡画像処理装置
US09/288,492 US6295368B1 (en) 1998-04-10 1999-04-08 Endoscopic image processing system capable of estimating absolute shape of object entity

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09951698A JP4054104B2 (ja) 1998-04-10 1998-04-10 内視鏡画像処理装置

Publications (2)

Publication Number Publication Date
JPH11295618A true JPH11295618A (ja) 1999-10-29
JP4054104B2 JP4054104B2 (ja) 2008-02-27

Family

ID=14249426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09951698A Expired - Fee Related JP4054104B2 (ja) 1998-04-10 1998-04-10 内視鏡画像処理装置

Country Status (2)

Country Link
US (1) US6295368B1 (ja)
JP (1) JP4054104B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002091915A1 (en) * 2001-05-17 2002-11-21 Oticon A/S Method and apparatus for obtaining position data relating to a probe in the ear canal
WO2002091920A1 (en) * 2001-05-17 2002-11-21 Oticon A/S Method and apparatus for obtaining geometrical data relating to the ear canal of the human body
JP2006158760A (ja) * 2004-12-09 2006-06-22 Gifu Univ 医療用挿入練習装置
US7110124B2 (en) * 2001-05-17 2006-09-19 Oticon A/S Method and apparatus for obtaining geometrical data relating to a canal
JP2007010672A (ja) * 2005-07-01 2007-01-18 Texmag Gmbh Vertriebsgesellschaft 運動する帯状物のマークを検出する方法
JP2011528252A (ja) * 2008-07-17 2011-11-17 ネーデルランツ オルガニサティー フォール トゥーゲパストナトゥールヴェテンシャッペリーク オンデルズーク テーエンオー ユーザによる3次元環境の検査のためのシステム、方法およびコンピュータプログラム
JP2013031660A (ja) * 2011-08-02 2013-02-14 Samsung Electronics Co Ltd 医療映像処理方法及び装置、映像誘導を利用したロボット手術システム
JP2016522006A (ja) * 2013-03-28 2016-07-28 エンドチョイス インコーポレイテッドEndochoice, Inc. 小型マルチビュー素子内視鏡システム
US10165929B2 (en) 2009-06-18 2019-01-01 Endochoice, Inc. Compact multi-viewing element endoscope system
US11419480B2 (en) 2016-06-16 2022-08-23 Fujifilm Corporation Navigation device, navigation method, and endoscope system
US11547275B2 (en) 2009-06-18 2023-01-10 Endochoice, Inc. Compact multi-viewing element endoscope system

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002021894A2 (en) * 2002-01-21 2002-03-21 Phonak Ag Method for the reconstruction of the geometry of the inner surface of a cavity
JP4414682B2 (ja) * 2003-06-06 2010-02-10 オリンパス株式会社 超音波内視鏡装置
JP4914574B2 (ja) * 2005-04-18 2012-04-11 オリンパスメディカルシステムズ株式会社 内視鏡形状検出装置
US8016749B2 (en) 2006-03-21 2011-09-13 Boston Scientific Scimed, Inc. Vision catheter having electromechanical navigation
US7440121B2 (en) * 2006-09-20 2008-10-21 Lawrence Livermore National Security, Llc Optically measuring interior cavities
WO2009027585A1 (fr) * 2007-08-31 2009-03-05 Institut De Recherche Sur Les Cancers De L'appareil Digestif Ircad Dispositif flexible de determination d'une forme en trois dimensions
JP5295555B2 (ja) * 2007-12-10 2013-09-18 オリンパスメディカルシステムズ株式会社 内視鏡システム
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
US8337397B2 (en) 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
CN105596005B (zh) * 2009-03-26 2019-01-22 直观外科手术操作公司 用于内窥镜导航的系统
US8926502B2 (en) 2011-03-07 2015-01-06 Endochoice, Inc. Multi camera endoscope having a side service channel
US9101287B2 (en) 2011-03-07 2015-08-11 Endochoice Innovation Center Ltd. Multi camera endoscope assembly having multiple working channels
US11278190B2 (en) 2009-06-18 2022-03-22 Endochoice, Inc. Multi-viewing element endoscope
WO2012077116A1 (en) 2010-12-09 2012-06-14 Peermedical Ltd. Flexible electronic circuit board for a multi-camera endoscope
US9901244B2 (en) 2009-06-18 2018-02-27 Endochoice, Inc. Circuit board assembly of a multiple viewing elements endoscope
US9492063B2 (en) 2009-06-18 2016-11-15 Endochoice Innovation Center Ltd. Multi-viewing element endoscope
US12137873B2 (en) 2009-06-18 2024-11-12 Endochoice, Inc. Compact multi-viewing element endoscope system
US9706903B2 (en) 2009-06-18 2017-07-18 Endochoice, Inc. Multiple viewing elements endoscope system with modular imaging units
US9402533B2 (en) 2011-03-07 2016-08-02 Endochoice Innovation Center Ltd. Endoscope circuit board assembly
US9872609B2 (en) 2009-06-18 2018-01-23 Endochoice Innovation Center Ltd. Multi-camera endoscope
US9713417B2 (en) 2009-06-18 2017-07-25 Endochoice, Inc. Image capture assembly for use in a multi-viewing elements endoscope
US9101268B2 (en) 2009-06-18 2015-08-11 Endochoice Innovation Center Ltd. Multi-camera endoscope
EP2442706B1 (en) 2009-06-18 2014-11-12 EndoChoice Innovation Center Ltd. Multi-camera endoscope
US9642513B2 (en) 2009-06-18 2017-05-09 Endochoice Inc. Compact multi-viewing element endoscope system
US11864734B2 (en) 2009-06-18 2024-01-09 Endochoice, Inc. Multi-camera endoscope
US12220105B2 (en) 2010-06-16 2025-02-11 Endochoice, Inc. Circuit board assembly of a multiple viewing elements endoscope
EP3718466B1 (en) 2010-09-20 2023-06-07 EndoChoice, Inc. Endoscope distal section comprising a unitary fluid channeling component
US9560953B2 (en) 2010-09-20 2017-02-07 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
US12204087B2 (en) 2010-10-28 2025-01-21 Endochoice, Inc. Optical systems for multi-sensor endoscopes
JP5944912B2 (ja) 2010-10-28 2016-07-05 エンドチョイス イノベーション センター リミテッド マルチセンサ内視鏡のための光学系
EP2648602B1 (en) 2010-12-09 2018-07-18 EndoChoice Innovation Center Ltd. Flexible electronic circuit board multi-camera endoscope
EP2672878B1 (en) 2011-02-07 2017-11-22 Endochoice Innovation Center Ltd. Multi-element cover for a multi-camera endoscope
DE112012000752A5 (de) * 2011-02-11 2013-11-21 Olaf Christiansen Endoskopisches Bildverarbeitungssystem mit Mitteln, welche im Erfassungsbereich einer optischen Digitalkamera eine geometrische Vermessungsinformation erzeugen
CA2798729A1 (en) 2011-12-13 2013-06-13 Peermedical Ltd. Rotatable connector for an endoscope
CA2798716A1 (en) 2011-12-13 2013-06-13 Endochoice Innovation Center Ltd. Removable tip endoscope
US9560954B2 (en) 2012-07-24 2017-02-07 Endochoice, Inc. Connector for use with endoscope
US9993142B2 (en) 2013-03-28 2018-06-12 Endochoice, Inc. Fluid distribution device for a multiple viewing elements endoscope
US9986899B2 (en) 2013-03-28 2018-06-05 Endochoice, Inc. Manifold for a multiple viewing elements endoscope
CN105072976B (zh) * 2013-03-29 2017-05-17 富士胶片株式会社 内窥镜下外科手术装置
US10499794B2 (en) 2013-05-09 2019-12-10 Endochoice, Inc. Operational interface in a multi-viewing element endoscope

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH067289A (ja) * 1992-03-27 1994-01-18 Olympus Optical Co Ltd 内視鏡画像処理装置
JPH08542A (ja) * 1994-04-21 1996-01-09 Olympus Optical Co Ltd 内視鏡位置検出装置
JPH0984745A (ja) * 1995-07-17 1997-03-31 Olympus Optical Co Ltd 内視鏡形状検出装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6055479A (ja) 1983-09-05 1985-03-30 Omron Tateisi Electronics Co 物体認識装置
JP2603947B2 (ja) 1986-09-26 1997-04-23 オリンパス光学工業株式会社 原色画像間の対応領域検出装置
JP2911894B2 (ja) 1986-11-13 1999-06-23 オリンパス光学工業株式会社 内視鏡画像取込み方法および内視鏡装置
JPS63244011A (ja) 1987-03-31 1988-10-11 Olympus Optical Co Ltd 電子内視鏡
JPS63240831A (ja) 1987-03-30 1988-10-06 株式会社東芝 計測内視鏡装置
US5558091A (en) * 1993-10-06 1996-09-24 Biosense, Inc. Magnetic determination of position and orientation
JPH0926547A (ja) 1995-07-10 1997-01-28 Olympus Optical Co Ltd 内視鏡画像処理装置
JPH09140665A (ja) 1995-11-29 1997-06-03 Toshiba Corp 医療用画像診断装置
US6016439A (en) * 1996-10-15 2000-01-18 Biosense, Inc. Method and apparatus for synthetic viewpoint imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH067289A (ja) * 1992-03-27 1994-01-18 Olympus Optical Co Ltd 内視鏡画像処理装置
JPH08542A (ja) * 1994-04-21 1996-01-09 Olympus Optical Co Ltd 内視鏡位置検出装置
JPH0984745A (ja) * 1995-07-17 1997-03-31 Olympus Optical Co Ltd 内視鏡形状検出装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002091915A1 (en) * 2001-05-17 2002-11-21 Oticon A/S Method and apparatus for obtaining position data relating to a probe in the ear canal
WO2002091920A1 (en) * 2001-05-17 2002-11-21 Oticon A/S Method and apparatus for obtaining geometrical data relating to the ear canal of the human body
US7110124B2 (en) * 2001-05-17 2006-09-19 Oticon A/S Method and apparatus for obtaining geometrical data relating to a canal
US7251025B2 (en) * 2001-05-17 2007-07-31 Oticon A/S Method and apparatus for obtaining position data relating to a probe in the ear canal
JP2006158760A (ja) * 2004-12-09 2006-06-22 Gifu Univ 医療用挿入練習装置
JP2007010672A (ja) * 2005-07-01 2007-01-18 Texmag Gmbh Vertriebsgesellschaft 運動する帯状物のマークを検出する方法
JP2011528252A (ja) * 2008-07-17 2011-11-17 ネーデルランツ オルガニサティー フォール トゥーゲパストナトゥールヴェテンシャッペリーク オンデルズーク テーエンオー ユーザによる3次元環境の検査のためのシステム、方法およびコンピュータプログラム
US10165929B2 (en) 2009-06-18 2019-01-01 Endochoice, Inc. Compact multi-viewing element endoscope system
US10912445B2 (en) 2009-06-18 2021-02-09 Endochoice, Inc. Compact multi-viewing element endoscope system
US11547275B2 (en) 2009-06-18 2023-01-10 Endochoice, Inc. Compact multi-viewing element endoscope system
JP2013031660A (ja) * 2011-08-02 2013-02-14 Samsung Electronics Co Ltd 医療映像処理方法及び装置、映像誘導を利用したロボット手術システム
JP2016522006A (ja) * 2013-03-28 2016-07-28 エンドチョイス インコーポレイテッドEndochoice, Inc. 小型マルチビュー素子内視鏡システム
US11419480B2 (en) 2016-06-16 2022-08-23 Fujifilm Corporation Navigation device, navigation method, and endoscope system

Also Published As

Publication number Publication date
US6295368B1 (en) 2001-09-25
JP4054104B2 (ja) 2008-02-27

Similar Documents

Publication Publication Date Title
JP4054104B2 (ja) 内視鏡画像処理装置
JP6371729B2 (ja) 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム
CN103313675B (zh) 用于内窥镜手术的术中照相机校准
CN104582559B (zh) 内窥镜系统和内窥镜系统的工作方法
KR100954650B1 (ko) 캡슐형 의료 장치
US7343036B2 (en) Imaging method for a capsule-type endoscope unit
JP6083103B2 (ja) 画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラム
US9373166B2 (en) Registered video endoscopy and virtual endoscopy
JP4630564B2 (ja) 手術支援装置、方法及びプログラム
US20030055317A1 (en) System for detecting the shape of an endoscope using source coils and sense coils
US20110128352A1 (en) Fast 3d-2d image registration method with application to continuously guided endoscopy
WO2005077253A1 (ja) 内視鏡システム
US20110242301A1 (en) Image processing device, image processing method, and program
WO2008076910A1 (en) Image mosaicing systems and methods
JP2004358096A (ja) 超音波内視鏡装置
US20100168516A1 (en) Capsule guiding system and capsule guiding method
JP2000175861A (ja) 内視鏡形状検出装置
Wang et al. 3-D electromagnetic position estimation system using high-magnetic-permeability metal for continuum medical robots
US7831077B2 (en) Method and apparatus for generating an image using MRI and photography
JP7023196B2 (ja) 検査支援装置、方法およびプログラム
JP3571675B2 (ja) コイル位置測定装置およびコイル位置測定方法
CN115462903A (zh) 一种基于磁导航的人体内外部传感器协同定位系统
JP2019072259A (ja) 内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法
JP3748924B2 (ja) 内視鏡形状検出装置
CN119257740A (zh) 电磁导航的路径生成方法、生成系统、终端及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070904

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071207

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees