JPH0926547A - 内視鏡画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 同一の対象物体に対して異なる位置から撮像
された画像を基に対象物体までの絶対的な距離を精度良
く容易に推定する。 【解決手段】 同一の対象物体に対して撮像手段を移動
しながら異なる位置より撮像した複数の画像を取り込
み、一旦メモり６１に格納する。この複数の画像を基
に、相対形状推定手段６２，距離推定手段６３，絶対形
状推定手段６４により、対象物体の相対的な形状と、撮
像手段から対象物体上の適当な位置までの距離とを推定
し、得られた対象物体の相対形状及び対象物体までの距
離から、対象物体の絶対的な形状を推定する。求めた対
象物体の形状の画像データを一旦メモリ６５に格納し、
モニタ５に入力して対象物体の立体形状画像を表示す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、同一の対象物体に
対して異なる位置から撮像された画像を用いて撮像手段
から対象物体までの距離を推定する内視鏡画像処理装置
に関する。

【０００２】

【従来の技術】視野に重なりをもって配置された撮像手
段の、相対的な配置が既知の場合に、撮像された画像か
ら対象物の形状を推定する問題に対しては、いわゆるス
テレオ画像からの形状推定問題として種々の方法が提案
されている。

【０００３】さらに近年では、動きからの３次元構造抽
出についていくつかの提案がなされている。これは複数
の画像から撮像手段の相対的な移動をも推定しようとす
る手法である。

【０００４】これらの手法はいずれも、複数の画像間で
対象物上の同一の点の各画像上における位置が関連付け
られることを原情報として用いる。

【０００５】対象物上の同一の点の各画像上における位
置の検出に対しても種々の方法が提案されている。人工
的な対象物の場合、角、輪郭成分が明瞭であることが多
いため、線分抽出等の構造抽出による手法は有効である
が、一般的な自然画像に対しては適用が難しい。時系列
画像に対してしばしば用いられる濃度勾配法は、画像間
での対象物の見かけの移動が非常に小さく、画像品質が
良い場合には良好な結果が得られるが、撮像条件の制約
が大きい。

【０００６】そこで一般的には、画像上の着目点とその
周辺領域を参照領域として抽出し、探索対象物の画像上
から抽出した領域との間で相関演算を行い最大相関値を
与える位置を対応点とする手法（ブロックマッチング）
がしばしば用いられる。このブロックマッチング法は画
像上のテクスチャが明瞭であれば比較的安定した結果を
もたらすが、テクスチャが不明瞭な場合には誤った対応
点を検出してしまうことがある。

【０００７】さらに本質的な欠点として、対象物が立体
でありブロック内に例えば背景との境界を含む場合には
検出結果は信頼できない。また、対象物面が撮像手段に
対して傾いている、あるいは距離の差がある等、複数の
撮像手段の画像間での像の変形が大きい、または像の大
きさの差異が大きい場合も信頼できない。

【０００８】立体形状の推定に関わる問題としてはオク
ルージョン及び推定結果の整合の問題が挙げられる。特
に、ステレオからの推定においては対象物の背後に隠
れ、撮像されない部分、あるいは一方の撮像手段のみに
撮像される部分とが存在し、これらの領域の扱いが問題
となる。

【０００９】撮像手段の数が多ければ必然的に撮像され
る領域は多くなり、隠される領域は少なくなるが、特に
撮像手段の位置が既知でない場合、あるいは推定が正確
でない場合には、これらの画像間の整合は容易でない。

【００１０】このように従来提案されてきた手法のほと
んどは、人工物を撮像した画像を対象物としているか、
または、自然画像を対象物とした場合に当然発生するこ
れらの問題に対し、いずれかの仮定をおくことにより、
影響を除外あるいは軽減した条件において考察されてお
り、実用上十分な能力をもっているとは言えない。

【００１１】例えば、従来提案されている手法の適用が
困難であり、かつ、機能が実現された場合に実用的な価
値の大きい画像の種類として、生体用内視鏡から得られ
る画像がある。

【００１２】細長の挿入部を体腔内に挿入することによ
って、切開を必要とすることなく、体腔内の患部等を観
察したり、必要に応じ処置具を用いて治療処置のできる
内視鏡においては、先端部の大きさは機能上最小限に抑
える必要があるため、医師が観察、あるいは処置を行う
ために必要な部材以外は組み込むことができない。

【００１３】経内視鏡的に対象物の形状を把握すること
に関して既にいくつかの提案がなされている。例えば観
察対象物に対しパターン光等を投影する方式（特開昭６
３−２４０８３１号公報）、先端部に複眼を持つ方式
（特開昭６３−２４４０１１号公報）であるが、いずれ
も内視鏡先端部あるいは光源部に特殊な構造が要求され
るため、装置の大型化、複雑化を招き一般的に用いるこ
とが難しい。

【００１４】同一出願人による特開昭６３−２４６７１
６号公報には内視鏡先端を手元操作により移動させて得
た複数の画像から対象物形状を推定する手法及び、操作
に伴う先端の移動量を計測する計測機構が開示されてい
る。この方法によれば現内視鏡の機能を損なうことな
く、絶対的な対象物形状の推定を行うことができる。

【００１５】また、同一出願人による特開平６−７２８
９号公報では、対象となる物体のそばに大きさが既知な
基準物を置いて、内視鏡先端を手元操作により移動させ
て得た複数の画像から対象物と基準物の相対的な形状を
推定する手法及び、対象物のそばに置いた基準物の大き
さから対象物の大きさを推定する手法が開示されてい
る。

【００１６】

【発明が解決しようとする課題】前述した特開昭６３−
２４６７１６号公報の構成では、時系列的に得られた複
数の画像から対象物体の相対的な形状を推定すると共
に、この操作に伴う内視鏡先端の撮像手段の移動量を計
測しその計測値から絶対的な形状を推定することは可能
である。

【００１７】しかし、前記計測機構の与え得る精度は撮
像手段の分解能等を考え合わせると不十分ではないまで
も十分であるとは言い難い。

【００１８】また、特開平６−７２８９号公報の構成で
は、時系列的に対象物体を撮像する場合に、対象物体と
共に形状の大きさが既知な基準物を同時に撮像すること
により、対象物体の絶対的な形状を求めるようになって
いる。

【００１９】しかし、生体用内視鏡を使って対象物体の
そばに基準物を置いて同時に撮像することは、内視鏡の
操作者にとって大きな負担になるという問題点がある。

【００２０】本発明は、これらの事情に鑑みてなされた
もので、同一の対象物体に対して異なる位置から撮像さ
れた画像を基に、撮像手段から対象物体までの絶対的な
距離を精度良く容易に推定することが可能な内視鏡画像
処理装置を提供することを目的としている。

【００２１】

【課題を解決するための手段】本発明による内視鏡画像
処理装置は、同一の対象物体に対して異なる位置より撮
像する撮像手段を有する内視鏡と、前記撮像手段により
撮像された複数の画像から、前記対象物体の相対的な形
状を推定する相対形状推定手段と、前記撮像手段から前
記対象物体上の適当な位置までの距離を推定する距離推
定手段と、前記相対形状推定手段により推定された対象
物体の相対形状と前記距離推定手段により推定された対
象物体までの距離とから、前記対象物体の絶対的な形状
を推定する絶対形状推定手段と、を備えたものであり、
この構成によって撮像手段から対象物体までの絶対的な
距離を精度良く推定する。

【００２２】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１ないし図９は本発明の第１の
実施形態の構成に係り、図１は第１の実施形態における
電子内視鏡システムの全体構成図、図２は電子内視鏡装
置のブロック構成を示すブロック図、図３は画像処理装
置の構成を示すブロック図、図４はＣＰＵで構成した画
像処理手段の機能構成を示すブロック図、図５はハード
ウェアで構成した画像処理手段の構成を示すブロック
図、図６は記録装置の構成を示すブロック図、図７は画
像処理装置の入力部の変形例を示すブロック図、図８は
相対形状推定手段の機能構成を示すブロック図、図９は
距離推定手段の機能構成を示すブロック図である。

【００２３】第１の実施形態は、内視鏡システムに対し
て特別な装置を付加したり、装置の構造を変更すること
なく、対象物の絶対的な形状を推定することを可能にし
た構成例を示したものである。

【００２４】図１に示すように、内視鏡システム１は、
撮像手段を備えた電子内視鏡装置２と、撮像された画像
に基づいて患部等の対象物の立体形状を推定する画像処
理を行う画像処理装置３と、画像を記録する記録装置４
と、画像処理された画像を表示するモニタ５と、を有し
て構成される。

【００２５】電子内視鏡装置２は、電子内視鏡６と、こ
の電子内視鏡６に照明光を供給する光源部７Ａ（図２参
照）と撮像手段に対する信号処理を行う信号処理部７Ｂ
とを内蔵した観察装置７と、この観察装置７から出力さ
れる画像信号を表示する観察用モニタ８と、を有して構
成される。

【００２６】前記電子内視鏡６は、生体９内に挿入され
る細長の挿入部１１と、この挿入部１１の後端に形成さ
れた操作部１２と、この操作部１２から延出されたユニ
バーサルケーブル１３とから構成され、このユニバーサ
ルケーブル１３の先端に設けたコネクタ１４を観察装置
７に接続することができる。

【００２７】前記挿入部１１内にはライトガイド１５が
挿通され、コネクタ１４を観察装置７に接続することに
より、図２に示すように光源部７Ａから照明光が入射端
面に供給される。照明光はライトガイド１５によって伝
送され、先端部１６側の端面から前方に出射され、生体
９内の対象部位を照明する。この照明された対象部位は
先端部１６に設けた対物レンズ１７によってその結像位
置に配置されたＣＣＤ１８に結像され、光電変換され
る。この対物レンズ１７とＣＣＤ１８とで撮像手段とし
ての撮像部１９を形成する。

【００２８】前記ＣＣＤ１８で光電変換された画像信号
は観察装置７内の信号処理部７Ｂにより、信号処理され
て画像信号が生成され、この画像信号は観察用モニタ８
に出力されると共に、画像処理装置３に出力される。

【００２９】観察装置７における光源部７Ａと信号処理
部７Ｂの構成を図２に示す。

【００３０】光源部７Ａは、紫外光から赤外光に至る広
帯域の光を発光するランプ２１を備えている。このラン
プ２１としては、一般的なキセノンランプやストロボラ
ンプ等を用いることができる。前記キセノンランプやス
トロボランプは、可視光のみならず紫外光及び赤外光を
大量に発光する。このランプ２１は、電源２２によって
電力が供給されるようになっている。前記ランプ２１の
前方には、モータ２３によって回転駆動される回転フィ
ルタ２８が配設されている。この回転フィルタ２８に
は、通常観察用の赤（Ｒ），緑（Ｇ），青（Ｂ）の各波
長領域の光を透過するフィルタが周方向に沿って配列さ
れている。また前記モータ２３は、モータドライバ２５
によって回転が制御されて駆動されるようになってい
る。

【００３１】前記回転フィルタ２８を透過し、Ｒ，Ｇ，
Ｂの各波長領域の光に時系列的に分離された光は、更に
ライトガイド１５の入射端に入射され、このライトガイ
ド１５を介して先端部１６側の出射端面に導かれ、この
出射端面から前方に出射されて、観察部位等を照明する
ようになっている。

【００３２】この照明光による観察部位等の被検体（被
写体）からの戻り光は、対物レンズ１７によって、ＣＣ
Ｄ１８上に結像され、光電変換されるようになってい
る。このＣＣＤ１８には、信号線２６を介して、信号処
理部７Ｂ内のドライバ３１からの駆動パルスが印加さ
れ、この駆動パルスによって光電変換された被検体の画
像に対応した電気信号（画像信号）の読出し、転送が行
われるようになっている。このＣＣＤ１８から読み出さ
れた画像信号は、信号線２７を介して、電子内視鏡６内
又は観察装置７内に設けられたプリアンプ３２に入力さ
れるようになっている。

【００３３】プリアンプ３２で増幅された画像信号は、
プロセス回路３３に入力され、γ補正及びホワイトバラ
ンス等の信号処理を施され、Ａ／Ｄコンバータ３４によ
って、デジタル信号に変換されるようになっている。こ
のデジタルの画像信号は、セレクト回路３５によって、
例えば赤（Ｒ），緑（Ｇ），青（Ｂ）の各色に対応する
３つのメモリ（１）３６ａ，メモリ（２）３６ｂ，メモ
リ（３）３６ｃに選択的に記憶されるようになってい
る。前記メモリ（１）３６ａ，メモリ（２）３６ｂ，メ
モリ（３）３６ｃに記憶されたＲ，Ｇ，Ｂ色信号は、同
時に読み出され、Ｄ／Ａコンバータ３７によって、アナ
ログ信号に変換され、入出力インタフェース３８を介し
てＲ，Ｇ，Ｂ色信号として観察用モニタ８に出力され、
この観察用モニタ８によって、観察部位がカラー表示さ
れるようになっている。

【００３４】また、観察装置７内には、システム全体の
タイミングを作るタイミングジェネレータ３９が設けら
れ、このタイミングジェネレータ３９によって、モータ
ドライバ２５，ドライバ３１，セレクト回路３５等の各
回路間の同期が取られている。

【００３５】本実施形態では、メモリ（１）３６ａ，メ
モリ（２）３６ｂ，メモリ（３）３６ｃの出力端及びタ
イミングジェネレータ３９の同期信号出力端は、画像処
理装置３と接続されている。また、画像処理装置３はモ
ニタ５と接続され、このモニタ５には画像処理装置３に
よる演算処理結果が表示されるようになっている。

【００３６】図３に前記画像処理装置３の構成を示す。
画像処理装置３は、ＣＰＵ４０、情報入力装置４１、Ｒ
ＡＭで構成される主記憶装置４２、画像入力インタフェ
ース４３、表示インタフェース４４、ＲＯＭ４５及び記
録装置インタフェース４６を備え、これらはバスによっ
て互いに接続されている。

【００３７】前記情報入力装置４１はキーボード等で構
成され、電子内視鏡６の種別等のデータを入力できるよ
うになっている。前記画像入力インタフェース４３は、
メモリ（１）３６ａ，メモリ（２）３６ｂ，メモリ
（３）３６ｃに接続され、これらのメモリからの画像デ
ータの受信を行うようになっている。また、表示インタ
フェース４４は、モニタ５に入力する画像データを送る
ようになっている。

【００３８】前記ＣＰＵ４０は、図４に示すように、Ｒ
ＯＭ４５等に記憶されたプログラムにより動作する画像
処理手段４７を備え、この画像処理手段４７は、例えば
体腔内の対象物体上で電子内視鏡６の挿入部１１の先端
を移動させることにより複数の画像を撮像し、記憶され
た画像より対象物体の相対的な形状を推定する相対形状
推定手段５０と、電子内視鏡６の挿入部１１の先端の適
当な位置の視点から対象物体上の位置までの距離を推定
する距離推定手段５１と、前記相対形状推定手段で推定
された相対的な形状と前記距離推定手段で推定された距
離から対象物の絶対的な形状を推定する絶対形状推定手
段５２と、を有して構成される。

【００３９】また、前記画像処理装置３の演算処理をハ
ードウェアで構成した場合のブロック構成を図５に示
す。

【００４０】メモリ（１）３６ａ，（２）３６ｂ，
（３）３６ｃに記憶されたＲ，Ｇ，Ｂの時系列画像デー
タは、一旦メモリ６１に入力されて記憶される。メモリ
６１に記憶した画像データを相対形状推定手段６２と距
離推定手段６３に入力し、各々の出力結果を絶対形状推
定手段６４に入力することにより、対象物の絶対的な形
状を算出し、得られた３次元画像データまたは２次元画
像データをメモリ６５に記憶する。

【００４１】そして、メモリ６５に記憶された３次元画
像データまたは２次元画像データを読み出し、Ｄ／Ａコ
ンバータ６６によってアナログ信号に変換し、入出力イ
ンタフェース６７を介してモニタ５に出力する。これに
より、モニタ５に対象部位の３次元または２次元の画像
が表示されるようになっている。

【００４２】また、画像処理装置３には、相対形状推定
手段６２、距離推定手段６３、絶対形状推定手段６４の
演算を制御するための演算処理用コントローラ６８と、
メモリ６１，６５のデータの読み書きを制御するための
メモリコントローラ６９と、メモリ６１，６５の画像デ
ータを選択的に出力するセレクタ７０とが設けられてい
る。このセレクタ７０により、メモリコントローラ６９
の制御信号によってメモリ６１，メモリ６５の一方の出
力端が記録装置４と選択的に接続され、記録装置４とメ
モリ６１またはメモリ６５との間でデータの転送ができ
るようになっている。

【００４３】本実施形態では、電子内視鏡６で得た対象
物部位の画像に対し、画像処理装置３で処理を行い、モ
ニタ５に処理結果を出力する。

【００４４】図６は画像処理装置３と接続され、画像処
理装置３で画像処理される画像データを記録したり、画
像処理装置３で処理され、モニタ５で表示される画像デ
ータ等を記録する記録装置４のより具体的な構成例を示
したものである。

【００４５】この記録装置４への画像データの入力は、
電子内視鏡装置２のみに限らず、例えばアナログあるい
はデジタルの光磁気ディスク、ＶＴＲ、光ディスク、動
画像メモリ等の入力装置により行うことも可能である。

【００４６】記録装置４に設けられる画像記録装置８０
は、ＶＴＲ或いはアナログ光磁気ディスク装置等のアナ
ログ方式の画像記録装置であり、その出力はＡ／Ｄコン
バータ８１によりＡ／Ｄ変換された後、デジタル画像と
して画像処理装置３に入力される。また、画像処理装置
３による処理結果画像をＤ／Ａコンバータ８４を介して
入力し、画像記録装置８０に記録することが可能であ
る。

【００４７】動画像ファイル装置８２は、半導体メモ
リ、ハードディスク、デジタル光磁気ディスク装置等で
構成されるデジタル方式の動画像ファイル装置であり、
その出力はデジタル画像として画像処理装置３に入力さ
れる。また、静止画像ファイル装置８３は、動画像ファ
イル装置８２と同様に半導体メモリ、ハードディスク、
デジタル光磁気ディスク装置等で構成されるデジタル方
式の静止画像ファイル装置であり、その出力はデジタル
画像として画像処理装置３に入力される。また、画像処
理装置３による処理結果画像を動画像ファイル装置８２
及び静止画像ファイル装置８３に記録することも可能で
ある。

【００４８】図２において、ＣＣＤ１８で光電変換され
た画像信号は観察装置７内の信号処理部７Ｂで信号処理
された画像信号となり、観察用モニタ８に出力されると
共に、画像処理装置３に出力される。

【００４９】この画像処理装置３に入力される２次元の
画像データは一旦記録装置４に送られ、画像信号が記録
される。また、記録された画像信号は画像処理装置３に
再び送られ、被写体の３次元形状の推定の処理が行わ
れ、記録装置４及びモニタ５に送り出され、それぞれ推
定された３次元形状の記録及び表示が行われる。

【００５０】また、前記画像処理装置３は、図７に示す
ように、画像入力インターフェース４３の前段にＡ／Ｄ
変換器９０ａ，９０ｂ，９０ｃを設けるようにしても良
い。これにより、外部装置からのＲ，Ｇ，Ｂのアナログ
信号、例えば観察装置７の入出力インターフェース３８
からのアナログ信号Ｒ，Ｇ，ＢをＡ／Ｄ変換器９０ａ，
９０ｂ，９０ｃに入力し、Ａ／Ｄ変換器９０ａ，９０
ｂ，９０ｃで得られたデジタル信号をＲＡＭ４２に記録
することで、デジタルのＲ，Ｇ，Ｂの画像データを得る
ことが可能である。

【００５１】前記相対形状推定手段５０は、図８に示す
ように、撮像手段により同一の対象物体を複数の位置か
ら撮像した画像の同一の点の位置を検出する位置検出手
段１０１と、前記位置検出手段１０１で検出された同一
の点の位置から撮像手段の相対的な動きを推定する動き
推定手段１０２と、前記位置検出手段１０１で検出され
た同一の点の位置と前記動き推定手段１０２で検出され
た撮像手段の動きとから対象物の相対的な形状を推定す
る形状推定手段１０３と、を有して構成される。

【００５２】前記距離推定手段５１は、図９に示すよう
に、前記位置検出手段１０１で検出された各画像の同一
の点においてその点を含み適当な領域内の周波数特性を
推定する周波数特性推定手段１０４と、各画像の周波数
特性が最も高周波領域まで広がっている画像を検出する
画像検出手段１０５と、画像検出手段１０５で検出され
た画像の撮像した位置で最も焦点が合ったと判断し、撮
像手段の視点から対象物体上の一点までの距離を撮像手
段の焦点距離と同一にすることにより絶対的な一つの距
離を推定する絶対距離推定手段１０６と、を有して構成
される。

【００５３】前記絶対形状推定手段５２は、相対形状推
定手段５０の出力結果である対象物体の相対的な形状と
距離推定手段５１の出力結果である撮像手段から対象物
体上の一点までの絶対的な距離とに基づき、対象物体の
絶対的な形状を推定する機能を有している。

【００５４】次に、図１０ないし図１７を参照して第１
の実施形態の画像処理装置における動作を説明する。図
１０は対象物の相対的な形状を推定する処理の全体的な
流れを示すフローチャート、図１１は図１０の各処理を
説明するための作用説明図、図１２は時系列に得られた
画像データからシフトマップを作成する様子を示す説明
図、図１３は中心射影の座標系を示す説明図、図１４は
撮像手段の運動に関する回転ベクトル及び並進ベクトル
の関係を示す説明図、図１５は撮像手段の運動に伴う対
象物体との距離の変化を示す説明図、図１６は時系列に
得られた各画像の周波数特性を求める様子を示す説明
図、図１７は画像データの周波数特性を示す特性図であ
る。

【００５５】電子内視鏡６によって得られる内視鏡画像
は観察装置７により画像信号として画像処理装置３に順
次送り出される。画像処理装置３では順次送られてくる
内視鏡画像の任意の期間の画像信号を記録装置４に送り
記録させる。そして、画像処理装置３は、記録装置４に
記録された内視鏡画像信号（２次元の画像データ）の複
数フレームの画像データを入力し、これらの複数フレー
ムの画像データから同一の点に対する位置を検出した
後、検出された位置の移動を表すシフトマップを算出す
る。

【００５６】その後、求められたシフトマップより撮像
手段の運動ベクトル（電子内視鏡６先端の運動ベクト
ル）を推定する。また、推定された撮像手段の運動ベク
トルと各画像間のシフトマップを用いて撮像手段と対象
物体との相対的な距離を算出し、対象物体の絶対的な形
状を推定する。

【００５７】前記求められた絶対形状の３次元データに
対して、任意の撮像手段の方向から見たときの２次元画
像または３次元画像で表示する（ワイヤーフレーム等）
画像データを作成する。画像処理装置３によって作成さ
れた３次元画像データまたは２次元画像データをモニタ
５に表示すると同時に記録装置４に記録する。

【００５８】まず、対象物の相対的な形状を推定する手
法について説明する。図１０は相対形状を推定する処理
の全体的な流れを示したフローチャート、図１１は図１
０の各処理を説明するための作用説明図である。以降に
各過程を順次説明する。

【００５９】（１）シフトマップの算出 初めにステップＳ１として、電子内視鏡６により撮像手
段を移動しながら画像の撮像を行い、この時系列に撮像
された２次元の画像データを画像処理装置３に入力す
る。そしてステップＳ２として、複数の画像間の同一点
の検出を行い、シフトマップを作成する。

【００６０】このとき、図１２の（ａ）に示すように、
内視鏡先端を移動することにより同一の対象物体の時系
列画像を撮像する。これにより、Ｐ0 ないしＰn で示す
撮像手段の移動軌跡に対応して時系列画像ｆ0 〜ｆn が
得られる。

【００６１】次いで、図１２の（ｂ）に示すように、撮
像された時系列画像の最初の画像ｆ0 に対して複数の点
Ｐab（ａ＝０，１，…，ｑ、ｂ＝０，１，…，ｒ）を設
定し、テンプレートマッチングの手法（参照文献：コン
ピュータ画像処理入門 総研出版（株） 田村秀行監
修：p.148 〜p.150 ）により、残りの画像ｆi （ｉ＝
１，２，…，ｎ）で設定された点Ｐabと同一の点の位置
を検出する。

【００６２】各画像の同一の点の位置が検出されること
で、画像ｆ0 で設定された点Ｐabに対して残りの画像ｆ
i （ｉ＝１，２，…，ｎ）との位置のズレ、すなわち、
点Ｐabの各画像毎の移動量であるシフトマップＳi （ｉ
＝１，２，…，ｎ）が求められる。

【００６３】画像ｆi に対するシフトマップは、次のよ
うにｘ方向とｙ方向の移動量として表す。

【００６４】 なお、テンプレートマッチングの手法は、同一出願人に
よるＵＳＰ４，９６２，５４０に開示されているカラー
マッチング手法を適用してもよい。

【００６５】（２）運動の推定 次にステップＳ３として、前記求められたシフトマップ
より撮像手段の運動（内視鏡先端部１６の動き）を推定
する。

【００６６】図１３に中心射影の座標系を示す。画像原
点Ｏからの距離ｅだけ離れたところにＺ軸に垂直に画像
面をおく。空間中の点（Ｘ，Ｙ，Ｚ）は、この点（Ｘ，
Ｙ，Ｚ）と原点Ｏとを結ぶ直線と画像面とが交わる点に
投影されるものとする。その交点の画像上の座標を
（ｘ，ｙ）とすると、幾何学的な関係からｘ，ｙは、

【数１】 となる。

【００６７】撮像手段の運動により空間中の点Ｘ＝
（Ｘ，Ｙ，Ｚ）がＸ′＝（Ｘ′，Ｙ′，Ｚ′）に移動し
たとき、そのときの撮像手段の運動は、原点を通る視軸
回りの回転を表す回転ベクトルＲと、並進ベクトルｈ＝
（ｈx ，ｈy ，ｈz ）を用いて次のように表される。

【００６８】

【数２】 ここで、点Ｘ，Ｘ′を原点からの距離ｒ，ｒ′と単位方
向ベクトルｍ（Ｎベクトル）を用いて表すとそれぞれ、

【数３】 となる。ただし、

【数４】 である。よって、式（４）を用いると式（２）は、

【数５】 となる。

【００６９】ここで、図１４（ａ）及び（ｂ）に示すよ
うに、３本のベクトルｍ，Ｒｍ′，ｈは空間中の同一平
面上に存在するため、それらのスカラ３重積が０とな
る。

【００７０】

【数６】 前記テンプレートマッチングにより画像間の同一の点を
検出する場合、検出誤差によりシフトマップに誤差が含
まれる可能性がある。そこで、本例では最小二乗法を用
いて、画像内で設定される複数の点に対して、

【数７】 を満足するように回転ベクトルＲと並進ベクトルｈを求
める。ただし、推定される並進ベクトルｈは単位ベクト
ルｈ′として推定される。

【００７１】（３）撮像手段と対象物体までの相対的な
距離の算出 次にステップＳ４として、前記推定された撮像手段の運
動より、撮像手段から対象物体までの相対的な距離を算
出する。

【００７２】式（５）の両辺とｍ，Ｒｍ′との内積をと
ると、それぞれ、

【数８】 となる。これを解けば各点までの距離が次のように得ら
れる。

【００７３】

【数９】 ただし、並進ベクトルｈが単位ベクトルｈ′として推定
されるため、ｒ，ｒ′は次式のように適当な倍率ｋで決
定される。

【００７４】

【数１０】 ｒ ＝ｋｒ …（１０）

【数１１】 ｒ′＝ｋｒ′ …（１１） したがって、画像ｆ0 を撮像したときの撮像手段の位置
から、各画像ｆi （ｉ＝１，２，…，ｎ）を撮像したと
きの撮像手段の位置までのそれぞれの相対的な運動（Ｒ
i ，ｈi （ｉ＝１，２，…，ｎ））が推定される。

【００７５】この各画像ｆi （ｉ＝１，２，…，ｎ）毎
に推定された相対的な運動とシフトマップとにより、各
画像毎の撮像手段の位置から対象物体までの相対的な距
離を推定する。この相対距離は、撮像手段から対象物体
を観察したときの相対的な形状に相当する。

【００７６】次に、求められた対象物の相対的な形状か
ら絶対的な一つの値を得る手法について説明する。

【００７７】内視鏡先端を移動することにより同一の対
象物体の画像を時系列に撮像する場合、内視鏡先端と対
象物体までの距離に応じて焦点ズレを起こした画像が撮
像される。

【００７８】焦点ズレを起こした画像には、内視鏡の焦
点距離より内視鏡先端と対象物体との距離が遠くなった
とき生じる後ボケの画像と、近くなったときに生じる前
ボケの画像とがある。

【００７９】このような前ボケ及び後ボケの画像が含ま
れる時系列画像には、内視鏡先端と対象物体までの距離
と電子内視鏡の焦点距離が一致したときに撮像された画
像が含まれる。

【００８０】そこで、時系列画像の中から最も焦点が合
った画像とその画像内で最も焦点の合った点を検出する
ことにより、電子内視鏡の焦点距離を、前記焦点が合っ
たものとして検出された画像が撮像された位置から対象
物体上の適当な位置までの距離とすることで、撮像手段
と対象物体との距離について絶対的な一つの値を推定で
きる。

【００８１】本実施形態では、前述した相対形状を推定
する処理において同一点が検出された後、画像ｆ0 で設
定された複数の点Ｐab（ａ＝０，１，…，ｑ、ｂ＝０，
１，…，ｒ）の中から適当な一点を選び、その点と各画
像毎の同一点に関して周波数特性を求める。

【００８２】撮像手段を移動させて時系列的な画像を撮
像した場合、撮像された各画像内の対象物体の大きさ
は、撮像手段の位置に応じて変化する。このため、一つ
の領域の大きさにより各画像の周波数特性を求めた場
合、ボケ以外に拡大縮小の要素も含まれるため周波数特
性を直接比較することができない。

【００８３】そこで、前記相対形状を推定したときに各
画像毎に撮像手段の位置と対象物体の位置の相対的な距
離が推定されていることから、図１５及び図１６に示す
ように、それぞれの距離の比率に応じて領域の大きさを
決定し、各画像の周波数特性を比較する。

【００８４】図１５に示すように、画像ｆ0 で設定され
た点Ｐabと画像ｆi の同一点Ｐ′abとの撮像手段からの
距離の比率は、式（１０），（１１）より、

【数１２】 ｄ0 ：ｄi ＝ｋｒ：ｋｒ′＝ｒ0 ：ｒi …（１２） となる。

【００８５】また、図１６に示すように、画像ｆ0 で設
定された点Ｐabを含む領域Ｗ0 をＷ0x，Ｗ0yとおくと、
画像ｆi の同一点を含む領域Ｗi は、

【数１３】 となる。

【００８６】そして、画像ｆi の同一点を含む領域Ｗi
が画像ｆ0 で設定された点Ｐabを含む領域Ｗ0 と同じ大
きさになるように領域Ｗi を拡大または縮小する。この
とき、拡大または縮小による倍率Ｋは、

【数１４】 である。

【００８７】このように各画像毎に領域の大きさを設定
し、設定された領域を拡大または縮小することで得られ
た部分画像Ｉpiに対してフーリエ変換を行い、各部分画
像の周波数特性を求める。

【００８８】ここで、部分画像Ｉpiの周波数特性が最も
広がっている画像を検出するには、図１７に示すよう
に、それぞれの周波数特性の高周波部分において適当な
領域λ0 ，λ1 を設定し、このλ0 とλ1 で囲まれる周
波数領域のパワーの平均Ｐavrを、

【数１５】 λ0 とλ1 で囲まれる周波数領域のパワーの合計Ｐsum
を、

【数１６】 とし、このＰavr あるいはＰsum が最大となるような部
分画像Ｉpiを求める。

【００８９】これにより、時系列的に撮像された画像ｆ
0 ないしｆn のうち、画像ｆ0 で設定された点Ｐab及び
画像ｆi の同一点の中で最も焦点の合った点を含む画像
が検出されたことになる。

【００９０】その画像を撮像したときの撮像手段の位置
から対象物体までの位置（最も焦点の合った点）の距離
を電子内視鏡の焦点距離とすることで、前記相対形状推
定手段で推定された撮像手段から対象物体上の一点まで
の相対的な距離を絶対的な距離として表すことができ、
これに基づいて対象物体の絶対値形状を推定することが
可能となる。

【００９１】本実施形態では、撮像手段から対象物体ま
での距離について、画像ｆ0 の一つの点からの絶対的な
値を推定したが、複数の点に対して絶対的な値を推定
し、推定された値と相対的な値との比率を求め、その比
率の平均値と相対的な形状より対象物体の絶対的な形状
を推定しても良い。

【００９２】以上のように、本実施形態によれば、従来
からの内視鏡システムに対して特別な装置を追加した
り、装置構成を変更することなく、時系列的に得られる
画像の特性を利用して対象物体の絶対的な形状を推定す
ることができる。

【００９３】また、本実施形態では電子内視鏡の先端を
図１２のように移動させて、対象物に対して時系列的な
画像に前ボケ、後ボケの状態をつくったが、実際には心
拍や呼吸等の生体内の動きが発生するために、図１２の
ように電子内視鏡を移動させなくても前ボケ、後ボケの
状態が発生した複数の画像を容易に取り込むことができ
る。

【００９４】次に図１８ないし図２０を参照して本発明
の第２の実施形態を説明する。

【００９５】第２の実施形態は距離推定手段の機能構成
を変更した例であり、距離推定手段以外の部分について
は第１の実施形態と同様の構成となっている。

【００９６】第２の実施形態の距離推定手段は、時系列
的に撮像された複数の画像に対してハレーションの存在
する画像とその画像内のハレーションの位置を検出する
ハレーション検出手段と、前記相対形状推定手段より推
定された形状に対して前記ハレーション検出手段からの
ハレーション位置における接平面の法線ベクトルを推定
する法線ベクトル推定手段と、前記接平面の法線ベクト
ルと前記相対形状推定手段により推定される視点から対
象物体までの方向ベクトルと撮像手段のレンズと光源の
出射口の中心間の距離との関係より視点から対象物体の
特定の位置までの距離を推定する絶対距離推定手段と、
を有して構成される。

【００９７】同一の対象物体に対して内視鏡先端を移動
させて時系列的な画像を撮像する場合、一般に内視鏡先
端と対象物体との距離に応じて画像内にハレーションが
発生することが多い。ハレーションの発生している対象
物体の表面では、図１８に示すように、内視鏡先端から
出射した光と対象物体を反射した光とが対象物体の表面
の法線に対して同じ角度で入射または反射する。

【００９８】したがって、対象物体の相対形状とハレー
ションの位置が既知であれば、ハレーションを発生して
いる画像を撮像した位置から対象物体上のハレーション
位置までの距離を絶対的な値で与えることができる。

【００９９】第２の実施形態における撮像手段から対象
物体までの絶対的な距離を推定する際の動作を以下に説
明する。

【０１００】初めに前述の第１の実施形態で示したよう
に、対象物体の相対的な形状を前記相対形状推定手段に
よって推定する。

【０１０１】その後、撮像手段によって得られた複数の
時系列画像に対してハレーションの位置を検出する。ハ
レーションの検出方法としては、しきい値処理により各
画像の画素毎の輝度レベルが特定の値（しきい値）を越
えたときにハレーションとして検出する方法を用いる。

【０１０２】次いで、図１８に示すように、法線ベクト
ル推定手段により、視点Ｏから対象物体のハレーション
の位置Ｐまでのベクトルｍとハレーション位置Ｐにおけ
る接平面の法線ベクトルｎを求める。ただし、ベクトル
ｍと法線ベクトルｎは、正規化した同時座標系の組を単
位ベクトルとするＮベクトルである。

【０１０３】ここで、図１９に示すように、対象物上の
点Ｐにおける接平面の法線ベクトルｎを延長した直線と
視点Ｏから光源Ｓを結ぶ直線との交点をＱ、点Ｐから点
ＱへのベクトルをＮ、点Ｏから点ＰへのベクトルをＭ、
視点Ｏから光源Ｓへのベクトルをｄとすると、

【数１７】 となる。また、このＭ，Ｎは適当な係数ｋ0 ，ｋ1 によ
り、

【数１８】 と表され、それぞれを式（１７）へ代入すると、

【数１９】 となる。

【０１０４】また式（１９）の両辺に法線ベクトルｎの
外積をとると、

【数２０】 となり、式（２０）の分母、分子がベクトルとなること
から、分母、分子にｎ×ｍの内積をとることで係数ｋ0
を求める。

【０１０５】

【数２１】 この式（２１）のベクトルｍ，ｎ，ｄは全て既知なベク
トルであることから係数ｋ0 が求められ、撮像手段から
対象物体上のハレーションを発生している位置までの距
離を絶対的な値として得ることができる。

【０１０６】よって、ハレーションにより推定された絶
対的な一つの値と前記相対形状推定手段による撮像手段
から対象物体までの相対的な距離が推定されたことか
ら、対象物体までの絶対的な距離を与えられ、これを基
に絶対的な値として対象物体の形状を推定できる。

【０１０７】前記法線ベクトルの推定方法の一例を示
す。図２０に示すように、画像上のハレーション位置Ｉ
H に近接した点ＩA ，ＩB ，ＩC を抽出し、それぞれの
点に対応する対象物体上の点をＰH ，ＰA ，ＰB ，ＰC
とすると、３点ＰA ，ＰB ，ＰC で構成される平面は、

【数２２】 ｌx ＋ｍy ＋ｎz ＋ｐ＝０ …（２２） で表される。この平面の法線ベクトル（ｌ，ｍ，ｎ）を
対象物上のハレーション位置ＰH における接平面の法線
ベクトルｎとする。

【０１０８】また、対象物体上のハレーション位置ＰH
に近接した複数の点から、ハレーション位置ＰH 近辺の
曲面を推定し、曲面上のハレーション位置の法線ベクト
ルを推定しても良い（参照文献：コンピュータディスプ
レイによる形状処理工学〔Ｉ〕 日刊工業新聞社 山口
富士夫著：p.49〜p.66）。

【０１０９】なお本実施形態では、一つの画像のハレー
ションから撮像手段と対象物体間の距離に関する一つの
絶対的な値を推定したが、一つの画像の複数のハレーシ
ョンまたは複数の画像の複数のハレーションからそれぞ
れの絶対的な値を推定し、推定された値と相対的な値と
の比率を求め、その比率の平均値と相対的な形状より対
象物体の絶対的な形状を推定しても良い。

【０１１０】以上のように、本実施形態によれば、従来
からの内視鏡システムに対して特別な装置を追加した
り、装置構成を変更することなく、時系列的に得られる
画像の特性を利用して対象物体の絶対的な形状を推定す
ることができる。

【０１１１】また、一般に時系列的に内視鏡画像を複数
撮像した場合、その複数の画像の中にハレーションが含
まれることが多々あるため、ハレーションを得るために
特別に電子内視鏡の先端を移動させる必要はなく、容易
に対象物の絶対的な形状を推定できる。

【０１１２】次に図２１及び図２２を参照して本発明の
第３の実施形態を説明する。

【０１１３】第３の実施形態は、内視鏡システムに対し
て、装置の構造を変更することなく付加的な装置を追加
することで、対象物の絶対的な形状を推定することを可
能にした構成例を示したものである。

【０１１４】図２１に示すように、第１の実施形態の内
視鏡システムの構成に加えて、レーザ光を発生するレー
ザ発生装置１１０と、レーザ発生装置１１０からのレー
ザ光を電子内視鏡６の鉗子口１１２から挿入して対象物
体に照射するためのプローブ１１１と、を備えており、
画像処理装置３内の画像処理手段４７において、レーザ
光が照射された状態で撮像された複数の画像より視点か
ら対象物体の特定の点までの距離を推定する距離推定手
段を有して構成される。

【０１１５】第３の実施形態の距離推定手段は、撮像手
段の視点からレーザ光が出射される位置への出射位置ベ
クトルを算出する出射位置ベクトル算出手段と、前記算
出された出射位置ベクトルと前記撮像手段の視点から対
象物体上に照射されたレーザ光の照射位置への照射位置
ベクトルとで構成されるレーザ照射ベクトルを算出する
レーザ照射ベクトル算出手段と、この算出されたレーザ
光照射ベクトルの外積が０になることから前記撮像手段
の対象物体上のレーザ光が照射された位置までの距離を
推定する絶対距離推定手段と、を有して構成される。

【０１１６】本実施形態の作用を以下に説明する。図２
１に示すように、レーザ発生装置１１０に接続したプロ
ーブ１１１を電子内視鏡６の鉗子口１１２から挿入す
る。そして、鉗子口１１２より挿入されたプローブ１１
１の先端がモニタ８上の観察画像の特定の位置に存在す
るように内視鏡の先端から突出させる。この状態でレー
ザ光を照射しながら電子内視鏡６の先端を対象物体上で
移動し、複数の画像を撮像する。

【０１１７】撮像された複数の画像を画像処理装置３に
取り込み、前述した相対形状推定手段５０により対象物
体の相対形状を推定する。

【０１１８】また、プローブの先端がモニタ８上の観察
画像の特定の位置に存在するように内視鏡の先端から突
出しているため、電子内視鏡６の撮像手段の位置とプロ
ーブの先端の位置関係を求めることができる。

【０１１９】したがって、プローブの先端位置と観察画
像上のレーザ光の照射位置、及び対象物体の相対的な形
状から、対象物体上のレーザ光の照射位置までの距離が
推定できる。

【０１２０】距離推定手段により対象物体上のレーザ光
の照射位置までの距離を推定する方法を図２２に基づい
て以下に説明する。

【０１２１】図２２（ａ）は、二つの異なる位置で対象
物体を撮像したときの電子内視鏡６の先端と対象物体、
及びレーザ光の照射位置を示したものである。

【０１２２】撮像手段の位置に対してプローブ先端の位
置とレーザ光の照射方向は、対象物体上をどのように移
動しても同一であることから、図２２（ａ）の二つの異
なる位置で撮像した際の撮像手段を同一点に重ね合わせ
ると、図２２（ｂ）のように表すことができる。ここ
で、図２２（ｂ）を図２２（ｃ）のようにベクトルで表
す。

【０１２３】撮像手段の視点からプローブの先端へのベ
クトルをＬ、二つの異なる位置で撮像したときの撮像手
段の視点から対象物体上へ照射されたレーザ光の照射位
置へのベクトルをＭ1 ，Ｍ2 とすると、

【数２３】 となる。

【０１２４】ここで、ｍ1 ，ｍ2 は前記相対形状推定手
段により推定された撮像手段の視点から対象物体上へ照
射されたレーザ光の照射位置への単位方向ベクトル、ｋ
は倍率である。

【０１２５】また、図２２（ｃ）で示すように、レーザ
光の照射方向が常に一定なことから、Ｌとｍ1 より得ら
れるベクトル（Ｌ−ｋｍ1 ）と、Ｌとｍ2 より得られる
ベクトル（Ｌ−ｋｍ2 ）は、方向が同じで大きさが異な
るベクトルである。したがって、次式に示すようにこの
二つのベクトルの外積は０となる。

【０１２６】

【数２４】 この式（２４）より係数ｋを求めると、

【数２５】

【数２６】 となる。

【０１２７】式（２６）の分母、分子がベクトルとなる
ことから、分母、分子にｍ1 ×ｍ2の内積をとると、

【数２７】 となる。

【０１２８】この式（２７）のベクトルＬ，ｍ1 ，ｍ2
は全て既知なベクトルであることから係数ｋが求めら
れ、撮像手段から対象物体上の一点までの距離を絶対的
な値として得ることができる。

【０１２９】また、式（２５）において、

【数２８】 とおくと、式（２５）は、

【数２９】 となり、式（２９）の両辺を二乗することで、

【数３０】 が求められる（ただし、・は内積を表す）。

【０１３０】複数の画像より、撮像手段の視点から対象
物体上に照射されたレーザ光の照射位置へのベクトルは
複数存在する。

【０１３１】したがって、式（３０）に最小二乗法を適
用し、

【数３１】 を満足するようなｋを推定する方法を用いれば良い。

【０１３２】前記撮像手段の視点からプローブの先端へ
のベクトルＬを算出する手順を以下に示す。

【０１３３】図２２（ａ）に示すように、Ｌ−ｋｍ1 と
Ｌ−ｋｍ2 との関係はｋの値に関わらず常に成立する。
すなわちこれらは、ｋの値が０以外のどのような値をと
っても、方向が同じで大きさの異なるベクトルである。
よってｋ＝１として、

【数３２】 となるＬを求める。

【０１３４】式（３２）は、

【数３３】 となり、それぞれのベクトルを成分で表すと、

【数３４】 となる。

【０１３５】式（３３）に式（３４）をそれぞれ代入す
ると、

【数３５】 この式（３５）を展開すると、

【数３６】 ｍ1yｍ2z−ｍ1zｍy −｛Ｌy (ｍ1z＋ｍ2z)−Ｌz (ｍ1y＋ｍy )｝＝０ ｍ1zｍ2x−ｍ1xｍz −｛Ｌz (ｍ1x＋ｍ2x)−Ｌx (ｍ1z＋ｍz )｝＝０ ｍ1xｍ2y−ｍ1yｍx −｛Ｌx (ｍ1y＋ｍ2y)−Ｌy (ｍ1x＋ｍx )｝＝０ …（３６） となり、式（３６）よりＬx ，Ｌy ，Ｌz を求めること
ができる。

【０１３６】このように得られた撮像手段から対象物体
上の一点までの絶対的な距離に基づいて、対象物体の絶
対値形状を推定することが可能となる。

【０１３７】以上のように、本実施形態によれば、従来
からの内視鏡システムの構成を特別に変更することな
く、付加的な装置（ここではレーザ光照射装置）を追加
することで対象物体の絶対的な形状を推定することがで
きる。このとき、プローブから照射されるレーザ光の照
射方向が、プローブを内視鏡の鉗子口から挿入する度に
変わった場合でも、常に絶対的な形状を推定することが
できる。ただしこの場合、内視鏡の先端を移動して複数
の画像を得ている期間は、レーザ光の照射方向は変化し
ないものとする。

【０１３８】次に図２３ないし図２７を参照して本発明
の第４の実施形態を説明する。

【０１３９】第４の実施形態は、第１及び第２の実施形
態と同様に、内視鏡システムに対して特別な装置を付加
したり、装置の構造を変更することなく、対象物の絶対
的な形状を推定することを可能にした構成例を示したも
のである。

【０１４０】第４の実施形態は距離推定手段の機能構成
を変更した例であり、距離推定手段以外の部分について
は第１の実施形態と同様の構成となっている。

【０１４１】第４の実施形態の距離推定手段は、対象物
体の表面の法線ベクトルを推定する法線ベクトル推定手
段と、撮像手段の視点から光源へのベクトルを推定する
光源位置ベクトル推定手段と、前記相対形状推定手段で
推定された撮像手段の視点から対象物体上の一点までの
相対的な距離と前記法線ベクトル及び前記光源位置ベク
トルの関係から対象物体上の一点の輝度を推定する輝度
推定手段と、対象物体上の複数の点の輝度の比率を前記
輝度推定手段と実際の画像から求め、輝度の比率に関す
る複数の方程式を算出する方程式算出手段と、前記輝度
の比率に関する複数の方程式より撮像手段から対象物体
上の点へのベクトルの倍率を推定して対象物体までの絶
対的な距離を推定する絶対距離推定手段と、を有して構
成される。

【０１４２】図２３に示すように、単眼内視鏡の照明光
を点光源、対象物体の表面を完全拡散面と仮定した場
合、撮像手段で得られる対象物体上の一点の輝度値Ｅ
は、

【数３７】 のように求められる。ただし、ρは拡散反射率、ｘは光
源から対象物体上の一点までの距離、θは光源から対象
物体上の一点へのベクトルとその点の法線ベクトルとの
なす角度である。

【０１４３】図２４に示すように、光源から対象物体上
の適当な一点へのベクトルＸi と対象物体の一点の法線
ベクトルｎi とのなす角度θi は、

【数３８】 となる。法線ベクトルｎi は、単位方向ベクトルである
ことから、

【数３９】 である。

【０１４４】式（３７），（３８）から輝度Ｅi は、

【数４０】 となる。

【０１４５】図２５に示すように、前記相対形状推定手
段により画像ｆi を撮像したときの撮像手段の位置を基
準として得られた撮像手段の視点Ｏから対象物体上の２
点Ａ，Ｂまでの各ベクトルＭ1 ，Ｍ2 は、

【数４１】 となる。ただし、ｋは倍率である。

【０１４６】また、撮像手段の視点Ｏから光源Ｓまでの
光源位置ベクトルをＬとおくと、対象物体の２点から光
源へのベクトルＸ1 ，Ｘ2 は、

【数４２】 となり、式（４０）より各々の点における輝度Ｅ1 ，Ｅ
2 は、

【数４３】 として推定される。

【０１４７】また、実際の画像ｆi から得られる２点の
輝度をそれぞれＩ1 ，Ｉ2 とすると、これらの輝度の比
率は、

【数４４】 となる。

【０１４８】式（４４）をｋについて解くと複数の解が
算出される。したがって、少なくとももう１組の異なる
点から輝度の比率を算出し、それぞれの方程式を満たす
倍率ｋを推定する。

【０１４９】前記光源位置ベクトルの推定方法の一例を
示す。図２６に示すように、光軸に対して垂直に視点Ｏ
から距離Ｚの位置に、鏡とこの鏡面上に間隔が既知の格
子パターンとをおき、その画像を撮像する。鏡面上の格
子パターンの間隔をｄ、撮像された画像上の格子パター
ンの間隔をｄ′、焦点距離をｅとすると、視点Ｏより鏡
面までの距離Ｚは、

【数４５】 となる。

【０１５０】また図２７に示すように、撮像された画像
内の照明光源の反射位置（ｘ，ｙ，ｅ）から鏡面上の反
射位置ベクトルＶ（Ｘ，Ｙ，Ｚ）は、

【数４６】 となる。

【０１５１】また、照明光源の照射端と鏡面との距離ｂ
を測定し、照明光源の照射端の鏡面に対する対称な位置
ベクトルＶ′（Ｘ′，Ｙ′，Ｚ′）を求めると、

【数４７】 となる。

【０１５２】したがって、照射光源の照射位置ベクトル
ＶS は、

【数４８】 となり、この式（４８）より光源位置ベクトルを求める
ことができる。

【０１５３】なお、法線ベクトルの推定は、第２の実施
形態で示した方法を用いて行うことができる。

【０１５４】また、本実施形態の距離推定手段では、画
像内の３点より撮像手段から対象物体上の点へのベクト
ルの倍率を推定することを可能にしたが、画像内の複数
の点から倍率を推定することも考えられる。

【０１５５】この場合は、式（４４）に最小二乗法を適
用し、各点の輝度の比率が、

【数４９】 を満たすような倍率ｋを求めることで推定できる。

【０１５６】なお、前記相対形状推定手段では、図１０
及び図１１に示したように、時系列的に得られた画像の
各画像が撮像された位置を撮像手段の視点とし、視点か
ら対象物体までの相対的な距離を算出している。

【０１５７】前述した距離推定手段では、前記相対形状
推定手段で推定された一つの相対形状と画像とから一つ
の倍率ｋを推定した。

【０１５８】しかし、前記相対形状推定手段では、複数
の画像と各画像が撮像された位置での相対的な距離が求
められていることから、前記距離推定手段より各相対形
状とその基準となった画像から倍率ｋx を求め、次式に
示すようにその平均値から一つの倍率〈ｋ〉を推定する
こともできる。

【０１５９】

【数５０】 以上のように、本実施形態によれば、従来からの内視鏡
システムに対して特別な装置を追加したり、装置構成を
変更することなく、時系列的に画像を得て、その画像が
撮像された位置を撮像手段の視点とし、視点から対象物
体までの相対的な距離から一つの絶対的な値を算出して
対象物体の絶対的な形状を推定することが可能となる。

【０１６０】次に本発明の第５の実施形態を説明する。

【０１６１】第５の実施形態は、第４の実施形態の構成
に画像内の同一な色の点を検出する同一色点検出手段を
加えた例である。

【０１６２】第４の実施形態では、図２５に示したよう
に、位置の異なる２点を抽出してその２点の輝度の比率
と別の２組の点の輝度の比率とから対象物体までの絶対
的な距離を推定した。

【０１６３】本実施形態では、対象物体上の同じ色の点
は拡散反射率が同一と考えて、撮像された画像の同じ色
の点を抽出して絶対的な距離を求める。

【０１６４】撮像された画像内で同じ色の点を抽出する
には、画像内の各点を表す色の成分をＲj ，Ｇj ，Ｂj
とし、基準となる点の色の成分をＲ0 ，Ｇ0 ，Ｂ0 とし
た場合に、

【数５１】 Ｒ0 ＝Ｒj （ｊ≠０） Ｇ0 ＝Ｇj （ｊ≠０） …（５１） Ｂ0 ＝Ｂj （ｊ≠０） を満たすように基準となる色の成分と同一となる複数の
点を選ぶ。あるいは、次式のように適当な範囲を設け、
その範囲内の色を持つ点を選ぶ方法もある。

【０１６５】

【数５２】 （Ｒ0 −α）≦Ｒj ≦（Ｒ0 ＋α） （ｊ≠０） （Ｇ0 −β）≦Ｇj ≦（Ｇ0 ＋β） （ｊ≠０） …（５２） （Ｂ0 −γ）≦Ｂj ≦（Ｂ0 ＋γ） （ｊ≠０） また、明るさが変化した場合でも同一の色を抽出するに
は、各点の成分を正規化した値

【数５３】 を用いて、各色成分が同一または適当な範囲内となる点
を抽出する方法がある。

【０１６６】また、前記撮像手段から対象物体上の点へ
のベクトルの倍率を推定する方法として、２点間の色の
差を重み関数ｗijとし、画像内の複数の点より倍率を推
定することも考えられる。

【０１６７】例えば、２点の各色成分の輝度の差の二乗
和に適当な係数Ｗk を掛けた値を引いた関数

【数５４】 を重み関数ｗijとする。ただし、Ｗk は、

【数５５】 の条件を満たすものとする。

【０１６８】これより、式（４９）の最小二乗法に重み
関数ｗijを適用し、各点の輝度の比率が、

【数５６】 を満たすような倍率ｋを求めることで推定できる。

【０１６９】本実施形態によれば、対象物体上の同じ色
の点は拡散反射率が同一と考えて、拡散反射率が同一と
なる点を用いて輝度の比率を算出することにより、対象
物体までの絶対的な距離を正確に推定できる。よって第
４の実施形態と同様に、特別な装置を付加したり、装置
の構造を変更することなく対象物体の絶対的な形状を正
確に推定することが可能となる。

【０１７０】次に図２８ないし図３２を参照して本発明
の第６の実施形態を説明する。

【０１７１】第６の実施形態は、第４の実施形態の構成
に画像内の各点毎の相互相関のピークが鋭くなる点を検
出するピーク検出手段を加えた例である。

【０１７２】本実施形態では、時系列的に得られた複数
の画像の中から適当な一つの画像を抽出し、その画像中
の明確な模様や細かい模様の存在する特定の領域をテン
プレート画像とする。このテンプレート画像と他の画像
との対応点の検出を行うようにすれば、対応点を精度よ
く検出することができる。

【０１７３】対応点が精度よく検出される点では、その
点に対応する相対的な距離や法線ベクトルも正確に推定
されると考えられる。

【０１７４】したがって、本実施形態では対応点が精度
よく検出された点を選択し、その点をテンプレート画像
として第４の実施形態における距離推定方法に適用して
対象物体までの絶対的な距離を求める。

【０１７５】図２８に示すように、ある画像Ａ内の適当
な領域をテンプレート画像とし、他の画像Ｂ内の特定の
領域を移動させて各点毎の相互相関の値を求めると、テ
ンプレート画像と最も一致した位置を最大にして、図２
９に示す鳥瞰図のような山形形状の特性図が得られる。

【０１７６】この相互相関の値は、図３０に示すよう
に、画像内の明確な模様や細かい模様の存在する領域を
テンプレート画像とすると、特性図は鋭い形状を示す。
また、明瞭でない模様やボケた画像では、特性図はブロ
ードな形状を示す。

【０１７７】したがって、相互相関の値が鋭い形状を示
すような点を、対応点を精度よく検出可能な点とするこ
とができる。

【０１７８】そこで本実施形態では、図３１に示すよう
に、前記相対形状推定手段で設定された画像ｆ0 内の複
数の点Ｐab（ａ＝０，１，２，…，ｑ、ｂ＝０，１，
２，…，ｒ）に対し、各点を中心に適当な領域Ｔab（以
後テンプレート画像とする）を設定する。そして、他の
画像ｆi 内の適当な領域Ｓab（以後サーチエリアとす
る）に対し、テンプレート画像Ｔabを移動して各点毎の
相互相関の値を求める。

【０１７９】相互相関の値としては、

【数５７】 のような正規化相互相関を用いる。ただし、∬S はサー
チエリアＳabの積分、〈ｆi 〉はサーチエリア内のテン
プレート画像と同等の領域における平均値、〈ｔ〉はテ
ンプレート画像の平均値を表す。

【０１８０】次に、図３２に示すように、相互相関の値
の鳥瞰図を最大位置を中心にｘ方向、ｙ方向に切り出
し、相互相関の最大値をＤp ，相互相関の値のしきい値
をＤtとしたときのｘ方向、ｙ方向への広がりをＷx ，
Ｗy とする。

【０１８１】このとき、相互相関値の形状の鋭さを、

【数５８】 とすると、式（５８）が大きい値を示すほど形状が鋭く
なる。

【０１８２】上記のように、画像ｆ0 内で設定された点
について相互相関の値に関する形状の鋭さを求め、しき
い値処理等により各点の鋭さが大きい点を抽出する。

【０１８３】この相互相関のピークが鋭くなる点を用い
て、第４の実施形態の距離推定方法にしたがって対象物
体までの絶対的な距離を算出する。

【０１８４】また、前記撮像手段から対象物体上の点へ
のベクトルの倍率を推定する方法として、相互相関値の
形状の鋭さを重み関数ｗijとし、画像内の複数の点より
倍率を推定することも考えられる。

【０１８５】例えば、２点のうち形状の鋭さが小さい方
の値Ｓh に適当な係数Ｗk を掛けたもの

【数５９】 ｗij＝Ｓh ×Ｗk （ｉ≠ｊ） …（５９） を重み関数ｗijとする。

【０１８６】これより、式（４９）の最小二乗法に重み
関数ｗijを適用し、各点の輝度の比率が、

【数６０】 を満たすような倍率ｋを求めることで推定できる。

【０１８７】本実施形態によれば、法線ベクトルが正確
に推定される点を用いて輝度の比率を算出することによ
り、対象物体までの絶対的な距離を正確に推定できる。
よって第４の実施形態と同様に、特別な装置を付加した
り、装置の構造を変更することなく対象物体の絶対的な
形状を正確に推定することが可能となる。

【０１８８】次に本発明の第７の実施形態を説明する。

【０１８９】第７の実施形態は第４の実施形態の距離推
定手段の機能構成を変更した例である。

【０１９０】第７の実施形態の距離推定手段は、対象物
体の表面の法線ベクトルを推定する法線ベクトル推定手
段と、撮像手段の視点から光源へのベクトルを推定する
光源位置ベクトル推定手段と、前記相対形状推定手段で
推定された撮像手段の視点から対象物体上の一点までの
相対的な距離と前記法線ベクトル及び前記光源位置ベク
トルの関係から対象物体上の一点の輝度を推定する輝度
推定手段と、画像内の各点に対して前記輝度推定手段で
得られた輝度と画像から得られる輝度をその周辺の輝度
の平均で正規化する輝度正規化手段と、前記輝度正規化
手段で得られた各点の正規化された輝度を基に最小二乗
法により撮像手段から対象物体上の点へのベクトルの倍
率を推定して対象物体までの絶対的な距離を推定する絶
対距離推定手段と、を有して構成される。

【０１９１】第４の実施形態では、図２５に示したよう
に、位置の異なる２点を抽出してその２点の輝度の比率
と別の２組の点の輝度の比率とから対象物体までの絶対
的な距離を推定した。

【０１９２】本実施形態では、対象物体上の複数の点の
中から選ばれた点の輝度を周辺の輝度の平均で正規化す
ることにより、ノイズ等の影響を抑制して対象物体まで
の絶対的な距離を求める。

【０１９３】本実施形態における前記撮像手段から対象
物体上の点へのベクトルの倍率を推定する方法を示す。

【０１９４】画像ｆi 内の適当な一点の輝度をＩ（Ｘ，
Ｙ）とおき、その周辺輝度をＩ（ｘ，ｙ）とすると、輝
度Ｉ（Ｘ，Ｙ）をその周辺の輝度の平均で正規化した値
Ｉ′（Ｘ，Ｙ）は、

【数６１】 となる。

【０１９５】式（４３），（６１）より、Ｉ′（Ｘ，
Ｙ）は、

【数６２】 となり、式（６２）から式（６１）は拡散反射率ρの影
響を受けないことがわかる。

【０１９６】また、相対形状から推定される輝度をＩm
（Ｘ，Ｙ）とし、その周辺輝度をＩm （ｘ，ｙ）とする
と、輝度Ｉm （Ｘ，Ｙ）をその周辺の輝度の平均で正規
化した値Ｉm ′（Ｘ，Ｙ）は、

【数６３】 となる。

【０１９７】式（４３），（６３）より、Ｉm ′（Ｘ，
Ｙ）は、

【数６４】 となる。

【０１９８】式（６２），（６４）より、画像内の輝度
の値がノイズ等の影響を受けなければ、Ｉ′（Ｘ，Ｙ）
とＩm ′（Ｘ，Ｙ）の値は等しくなる。

【０１９９】実際には、ノイズ等の誤差によりＩ′
（Ｘ，Ｙ）とＩm ′（Ｘ，Ｙ）の値は等しくならないた
め、最小二乗法により、

【数６５】 を満たすような倍率ｋを複数の正規化された輝度から推
定する。

【０２００】本実施形態によれば、画像及び相対形状か
ら得られる輝度をその周辺の輝度の平均で正規化するこ
とにより、ノイズ等の影響を抑制することができるた
め、対象物体までの絶対的な距離を正確に推定できる。
よって第４の実施形態と同様に、特別な装置を付加した
り、装置の構造を変更することなく対象物体の絶対的な
形状を正確に推定することが可能となる。

【０２０１】次に図３３を参照して本発明の第８の実施
形態を説明する。

【０２０２】第８の実施形態は第４の実施形態の距離推
定手段の機能構成を変更した例である。

【０２０３】第８の実施形態の距離推定手段は、対象物
体の表面の法線ベクトルを推定する法線ベクトル推定手
段と、撮像手段の視点から光源へのベクトルを推定する
光源位置ベクトル推定手段と、前記相対形状推定手段で
推定された撮像手段の視点から対象物体上の一点までの
相対的な距離と前記法線ベクトル及び前記光源位置ベク
トルの関係から対象物体上の一点の輝度を推定する輝度
推定手段と、対象物体上の複数の点の輝度の比率を前記
輝度推定手段と実際の画像から求め、輝度の比率に関す
る複数の方程式を算出する方程式算出手段と、前記輝度
の比率に関する複数の方程式より撮像手段から対象物体
上の点へのベクトルの倍率を推定して対象物体までの絶
対的な距離を推定する絶対距離推定手段と、を有して構
成される。

【０２０４】第４の実施形態では、図２５に示したよう
に、位置の異なる２点を抽出してその２点の輝度の比率
と別の２組の点の輝度の比率とから対象物体までの絶対
的な距離を推定した。

【０２０５】本実施形態では、対象物体に照射される光
量を一定にし、撮像手段の撮像位置を変えることで照明
条件を変化させた場合、対象物体上の拡散反射率は変化
しないと考える。この条件において、対象物体上の一点
を異なる二つの位置から撮像した画像の輝度の値と、そ
の二つの画像を撮像した位置を基準に推定される相対的
な距離から得られる輝度の値とを第４の実施形態におけ
る距離推定方法に適用し、対象物体までの絶対的な距離
を推定する。

【０２０６】図３３に示すように、前記相対形状推定手
段により画像ｆ0 と画像ｆi を基準に推定される相対的
な距離を用いて、撮像手段の視点Ｏから対象物体上の点
Ｐへの位置ベクトルを求める。画像ｆ0 を撮像した位置
を基準として得られる視点Ｏから対象物体上の点Ｐへの
位置ベクトルＭ01は、式（１０），（１１）より、

【数６６】 となり、画像ｆi を基準としたときの視点Ｏから対象物
体上の点Ｐへの位置ベクトルＭ11は、

【数６７】 となる。

【０２０７】また、前記相対形状推定手段により画像ｆ
0 と画像ｆi+a を基準に推定される相対的な距離を用い
て、画像ｆ0 を撮像した位置を基準として得られる撮像
手段の視点Ｏから対象物体上の点Ｐへの位置ベクトルＭ
02は、式（１０），（１１）より、

【数６８】 となり、画像ｆi+a を基準としたときの視点Ｏから対象
物体上の点Ｐへの位置ベクトルＭ22は、

【数６９】 となる。

【０２０８】ここで、位置ベクトルＭ01とＭ02及び単位
ベクトルｍ1 とｍ2 は等しいことから、倍率ｋ2 と位置
ベクトルＭ22は、

【数７０】 となる。

【０２０９】また、式（４３）より各位置ベクトルから
推定される点Ｐの輝度の値は次のようになる。

【０２１０】

【数７１】 また、撮像された画像ｆ0 ，ｆi ，ｆi+a から得られる
輝度をそれぞれＩ0 ，Ｉi ，Ｉi+a とすると、輝度の比
率は式（４４）より、

【数７２】

【数７３】 となる。

【０２１１】前記式（６６），（６７），（７０）の位
置ベクトルＭ01，Ｍ11，Ｍ22を式（７２），（７３）に
代入すると、

【数７４】

【数７５】 となり、一つの倍率ｋ1 が未知数となる二つの方程式が
得られる。この二つの方程式を解くことにより倍率ｋ1
が求められる。

【０２１２】また、第４の実施形態でも述べたように、
画像内の複数の点から倍率を推定することも可能であ
る。この場合、対象物体上の複数の点（例えばＭ＋１個
の点）と二つの基準となる画像（例えば画像ｆ0 と画像
ｆi ）から得られる輝度の比率に最小二乗法を適用する
と、

【数７６】 が得られ、複数の点に対して式（７６）を満足するよう
な倍率ｋ1 を求めれば良い。

【０２１３】さらに、複数の画像の同一点から倍率を推
定することもできる。この場合、対象物体上の一点と複
数の基準となる画像（例えば画像ｆ0 から画像ｆM ）か
ら得られる輝度の比率に最小二乗法を適用すると、

【数７７】 が得られ、複数の画像の同一点に対して式（７７）を満
足するような倍率ｋ1 を求めれば良い。

【０２１４】第４の実施形態で仮定した拡散反射率は、
対象物体の位置によって異なるが、対象物体に照射され
る光量を一定にし、撮像手段の撮像位置を変えて対象物
体を撮像したときには、対象物体上の拡散反射率は変化
しない。

【０２１５】したがって、本実施形態ではこの点を考慮
して、対象物体上の一点を異なる二つの位置から撮像し
た画像の輝度と、その二つの画像が撮像された位置を基
準に推定される相対的な距離を使って求められる輝度と
を用いることにより、対象物体までの絶対的な距離を正
確に推定できる。よって第４の実施形態と同様に、特別
な装置を付加したり、装置の構造を変更することなく対
象物体の絶対的な形状を正確に推定することが可能とな
る。

【０２１６】次に図３４を参照して本発明の第９の実施
形態を説明する。

【０２１７】第９の実施形態は、第８の実施形態を光源
の照射口を複数有する内視鏡と、それぞれの照射口から
照射される光を交互に点灯させる光源装置とを有する構
成に適用した例である。

【０２１８】第８の実施形態では、撮像手段の撮像位置
を変えることで照明条件を変化させたが、本実施形態で
は二つの照射口から交互に光を照射することにより、照
明条件を変化させ、対象物体までの絶対的な距離を推定
する。

【０２１９】図３４に示すように、内視鏡の先端部には
照明光を照射する二つの照射口Ａ，Ｂが設けられてい
る。対象物体上において内視鏡の先端を移動させ、二つ
の照射口Ａ，Ｂから交互に照明光を照射すると同時に、
各照明光で照射された対象物体の画像を撮像して記憶す
る。

【０２２０】そして、照射口Ａで照射された光によって
得られた時系列画像ｆAi（ｉ＝０，１，…，ｎ）から撮
像手段と対象物体との相対的な距離を推定する。

【０２２１】前記相対形状推定手段により、画像ｆA0と
画像ｆAiを基準に、画像ｆA0を撮像したときの撮像手段
の位置を基準として得られる撮像手段の視点Ｏから対象
物体上の点Ｐへの位置ベクトルＭ0 を、

【数７８】 とし、画像ｆi を基準としたときの視点Ｏから対象物体
上の点Ｐへの位置ベクトルＭi を、

【数７９】 とする。

【０２２２】また、式（４３）より各位置ベクトルから
推定される点Ｐの照射口Ａの光による輝度の値は、

【数８０】 となり、照射口Ｂの光による輝度の値は、

【数８１】 となる。

【０２２３】また、実際の撮像された画像ｆA0，ｆAi，
ｆBiから得られる輝度をそれぞれＩ0 ，Ｉi ，Ｉi ′と
おくと、輝度の比率は式（４４）より、

【数８２】

【数８３】 となる。

【０２２４】前記式（７８），（７９）の位置ベクトル
Ｍ0 ，Ｍi を式（８２），（８３）に代入すると、

【数８４】

【数８５】 となり、一つの倍率ｋが未知数となる二つの方程式が得
られる。この二つの方程式を解くことにより倍率ｋが求
められる。

【０２２５】本実施形態によれば、従来からの内視鏡シ
ステムの構成に簡単な変更を加えることにより、対象物
体の絶対的な形状を推定することができる。また、二つ
の照射口から交互に光を照射することにより、照明条件
を変更するようにしているため、撮像手段の撮像位置を
変えないで正確な絶対的な距離の推定が可能となる。

【０２２６】次に図３５及び図３６を参照して本発明の
第１０の実施形態を説明する。

【０２２７】第１０の実施形態では、前記相対形状推定
手段における位置検出手段の構成例について説明する。

【０２２８】本実施形態の位置検出手段は、時系列的に
送られてくる画像を取り込むための画像取り込み手段
と、前記画像取り込み手段から取り込まれた画像の歪曲
収差を補正する歪曲収差補正手段と、前記画像取り込み
手段で取り込まれた画像の特定の領域の周波数特性のパ
ワーを算出するパワー算出手段と、画像内の同一の点の
検出を行う同一点検出手段と、前記同一点検出手段の結
果から同一点の移動量を算出する移動量算出手段と、前
記移動量算出手段に取り込まれる画像の同一点の位置を
予測する位置予測手段と、前記各画像の周波数特性のパ
ワーを比較するパワー比較手段と、有して構成される。

【０２２９】本実施形態では、第１の実施形態と同様
に、図３６の（ａ）に示すように、撮像手段により同一
の対象物に対して複数の位置から撮像し、撮像された複
数の画像を時系列的に画像処理装置３に取り込む。

【０２３０】図３５は位置検出手段によって時系列的に
入力される複数の画像の同一点の検出を行う過程を示し
たフローチャートである。

【０２３１】キーボード等の情報入力装置４１により、
内視鏡の操作者が病変部等の形状を観察したいことを指
示すると、画像処理装置３内のＣＰＵ４０に指示が伝達
され、ＣＰＵ４０において構成される画像処理手段４７
により処理が開始される。

【０２３２】まずステップＳ１１で、時系列的に入力さ
れた初期画像ｆ0 が取り込まれ、ステップＳ１２で歪曲
収差が補正される。そしてステップＳ１３において、ｉ
＝０であるか、すなわち初期画像ｆ0 か否かの判断を行
い、初期画像ｆ0 の場合はステップＳ１４へ、それ以外
の画像の場合はステップＳ１７に進む。

【０２３３】ステップＳ１４では、図３６の（ｂ）に示
すように、初期画像ｆ0 について画像間の同一点を検出
するために複数の点Ｐab（ａ＝０，１，…，ｑ、ｂ＝
０，１，…，ｒ）を設定する。そしてステップＳ１５
で、図３６の（ｃ）に示すように、ステップＳ１４で設
定された点Ｐabを含む適当な領域Ｓ0ab を設定し、図３
６の（ｄ）に示すように、フーリエ変換を行って領域Ｓ
0ab の部分画像の周波数特性を求め、この部分画像につ
いての適当な周波数領域（λ0 〜λ1 ）のパワーの合計
Ｐs0ab（Ｐsum_0 ）を算出する。

【０２３４】ステップＳ１５で得られたＰs0abは、ステ
ップＳ２０へ送られる。そして、ステップＳ１６におい
てｉを一つ増加してステップＳ１１へ戻る。

【０２３５】再びステップＳ１１で、次の画像ｆ1 を取
り込み、ステップＳ１２で歪曲収差の補正を行った後、
ステップＳ１３からステップＳ１７に進み、ｉ＝１であ
るか、すなわち１番目に入力された画像か否かを判断す
る。ステップＳ１７で１番目の画像ｆ1 と判断された場
合は、ステップＳ２１において画像ｆ0 で設定された複
数の点Ｐabに対する同一点の検出を行う。

【０２３６】そしてステップＳ２２で、ステップＳ２１
で検出された同一点の位置から初期画像ｆ0 と１番目の
画像ｆ1 間での各点の移動量Ｍ1 を算出し、移動量Ｍ1
をステップＳ１８へ送った後、ステップＳ２３で前回ま
でに連続して焦点ズレの画像が何回発生したかを示すカ
ウント値であるＣを初期化してＣ＝０とする。

【０２３７】その後ステップＳ２４で、ｉ＝ｎである
か、すなわち最終画像ｆn であるか否かを判別し、最終
画像でない場合はステップＳ１６でｉを一つ増加してス
テップＳ１１に戻る。

【０２３８】一方、ステップＳ１７で１番目の画像ｆ1
でないと判断された場合、ステップＳ１８において、ｉ
番目の画像ｆi についてステップＳ２２で得られた移動
量Ｍi-1-c とステップＳ２５の結果である前回までに連
続して焦点ズレの画像が何回発生したかをカウントした
値Ｃとから、ステップＳ１４で設定された点Ｐabのｉ番
目の画像における同一点の位置を予測する。

【０２３９】そしてステップＳ１９では、ステップＳ１
８で予測された同一点の位置を含み、初期画像ｆ0 で設
定した領域Ｓ0ab と同等の領域の周波数特性と、初期画
像ｆ0 で設定した周波数領域と同等の領域のパワーの合
計Ｐsiab（Ｐsum_i ）を算出する。

【０２４０】次いでステップＳ２０で、ステップＳ１５
で得られたパワーＰs0abとステップＳ１９で得られたパ
ワーＰsiabとを比較し、ｉ番目の画像のパワーが初期画
像のパワー以上であれば、焦点ズレがないと判断して、
ステップＳ２１において画像ｆ0 で設定された複数の点
Ｐabに対する同一点の検出を行う。また、ステップＳ２
０でｉ番目の画像のパワーが初期画像のパワーより小さ
ければ、焦点ズレが発生したと判断し、ステップＳ２５
でＣを一つ増加させ、ステップＳ２６でｉを一つ増加し
てステップＳ１１に戻る。

【０２４１】以上の処理を繰り返してｎ番目までの画像
ｆn の処理が行われ、ステップＳ２４において最終画像
ｆn であると判断されると、この処理を終了する。

【０２４２】ここで、初期画像ｆ0 とｉ番目の画像ｆi
で求められる周波数特性の適当な周波数領域のパワー
は、それぞれ、

【数８６】 として求められる。

【０２４３】また、ｉ番目の画像における同一点の位置
の予測は、初期画像に対するｉ番目の画像の移動量をＭ
i とすると、ｉ−１番目の画像までに焦点ズレが発生し
ていない場合は、

【数８７】 となる。また、ｉ−１番目の画像が焦点ズレを発生して
同一点の検出が行われなかった場合は、ｉ番目の画像に
おける同一点の予測位置はｉ−２番目までの移動量を用
いて、

【数８８】 として求めることができる。

【０２４４】また、ステップＳ２０において初期画像ｆ
0 とｉ番目の画像ｆi で求められる周波数特性の適当な
周波数領域のパワーをそれぞれ比較したが、

【数８９】 Ｐsum_0 −α≦Ｐsum_i ≦Ｐsum_0 ＋α …（８９） のようにｉ番目の画像ｆi で求められるパワーの合計を
初期画像ｆ0 で求められるパワーの合計に適当な幅をも
たせて比較しても良い。

【０２４５】生体観察用に用いる内視鏡は、一般的に焦
点深度の浅い光学系によって明瞭な角、輪郭、テクスチ
ャを伴わない粘膜画像を主に観察する。このため、それ
らの画像を時系列的に得た場合、焦点の合っていない画
像が含まれる可能性が大きい。このような時系列画像に
対して、前述した特開平６−７２８９号公報のようにブ
ロックマッチングを用いた場合、正確な対応点の追跡を
行うことができなくなるおそれがある。

【０２４６】これに対し、上記のように位置検出手段に
おいて同一点の検出を行うことで、本実施形態では、時
系列的に取り込まれる複数の画像に対して焦点ズレを検
出し、焦点ズレの発生していない画像に対して同一点の
検出を行うことによって、内視鏡のような焦点ズレを含
む画像に対しても正確に対応点の追跡が行える。このた
め、撮像手段を移動させて時系列的に対象物体の複数の
画像を撮像し、それらの画像間の同一点を検出する場合
に、焦点の合っていない粘膜画像等が撮像された場合で
も正確に同一点の検出を行うことが可能となる。

【０２４７】次に図３７及び図３８を参照して本発明の
第１１の実施形態を説明する。

【０２４８】第１１の実施形態は、第１０の実施形態の
位置検出手段における機能構成を変更し、同一点を検出
する手順にテンプレート画像のサイズを変更するステッ
プを加えた例である。

【０２４９】図３７は位置検出手段によって時系列的に
入力される複数の画像の同一点の検出を行う過程を示し
たフローチャートである。図３７のステップＳ３１〜４
３における初期画像ｆ0 及び１番目の画像ｆ1 を処理す
るまでは、第１０の実施形態のステップＳ１１〜２４と
同様であるため説明を省略する。

【０２５０】２番目以降の画像ｆi について、まずステ
ップＳ３１で画像が取り込まれると、ステップＳ３２で
歪曲収差が補正され、ステップＳ３８に進む。

【０２５１】ステップＳ３８において、画像ｆi につい
てステップＳ４２で得られた移動量Ｍi-1-c または後述
するステップＳ４６で算出された平均移動量から、ステ
ップＳ４０の結果に応じてステップＳ３４で設定された
点Ｐabのｉ番目の画像における同一点の位置を予測す
る。すなわち、前回のステップＳ４０においてｉ番目の
画像のパワーが初期画像のパワー以上のときは、ステッ
プＳ４２で得られた移動量を、ステップＳ４０において
ｉ番目の画像のパワーが初期画像のパワーより小さいと
きはステップＳ４６で得られた平均移動量を用いて同一
点の位置を予測する。

【０２５２】そしてステップＳ３９では、ステップＳ３
８で予測された同一点の位置を含み、初期画像ｆ0 で設
定した領域Ｓ0ab と同等の領域の周波数特性と、初期画
像ｆ0 で設定した周波数領域と同等の領域のパワーの合
計Ｐsum_i を算出する。

【０２５３】次いでステップＳ４０で、ステップＳ３５
で得られたパワーＰsum_0 とステップＳ３９で得られた
パワーＰsum_i とを比較し、ｉ番目の画像のパワーが初
期画像のパワー以上であれば、焦点ズレがないと判断し
て、ステップＳ４１において画像ｆ0 で設定された複数
の点Ｐabに対する同一点の検出を行う。また、ステップ
Ｓ４０でｉ番目の画像のパワーが初期画像のパワーより
小さければ、焦点ズレが発生したと判断し、ステップＳ
４４へ進む。

【０２５４】ステップＳ４４では、テンプレート画像の
サイズとステップＳ３４で設定された点Ｐabの数とを減
らし、その後ステップＳ４５で、設定されたテンプレー
ト画像のサイズと画像内の点に関して同一点の検出を行
う。例えば、テンプレート画像のサイズを大きくし、画
像内の点の数を半分に減らす。

【０２５５】ステップＳ４６では、現在まで連続して焦
点ズレが発生した画像間の平均移動量として、ステップ
Ｓ４５で検出された同一点の位置から移動量を算出し、
それぞれの点の移動量の平均値を求める。

【０２５６】その後、ステップＳ４７でｉを一つ増加し
てステップＳ３１に戻る。

【０２５７】以上の処理を繰り返してｎ番目までの画像
ｆn の処理が行われ、ステップＳ４３において最終画像
ｆn であると判断されると、この処理を終了する。

【０２５８】観察点が焦点距離から離れるにしたがっ
て、得られた画像の高周波数領域におけるパワーが小さ
くなる。このため、テンプレートマッチングにおいて高
周波数領域のパワーが小さくなるにつれて、複数の画像
間の同一点の検出の精度が悪くなる。

【０２５９】そこで本実施形態では、周波数特性のパワ
ーに応じてテンプレート画像のサイズを変更することに
より、同一点の検出の精度の悪化を防止する。

【０２６０】図３８は焦点ズレに関する量とテンプレー
ト画像のサイズの大きさとの関係を示した図である。こ
こでは、焦点ズレを表す量として、ステップＳ３５で得
られた初期画像のパワーＰsum_0 とステップＳ３９で得
られたｉ番目の画像のパワーＰsum_i との比率Ｐratio
を用いる。

【０２６１】

【数９０】 特定の大きさの焦点ズレまでは、ステップＳ３５で周波
数特性のパワーを算出したときのテンプレート画像のサ
イズＴs0を用いる。これより焦点ズレが大きくなった場
合は、初期画像のパワーＰsum_0 とｉ番目の画像のパワ
ーＰsum_i との比率Ｐratio に応じて、Ｐratio が大き
くなるにしたがってリニアに大きくなるようテンプレー
ト画像のサイズをＴsiに変更する。

【０２６２】

【数９１】 Ｔsi＝Ｐratio ＊Ｔs0 …（９１） また、前記パワーの比率に適当な重みｗを与えてテンプ
レート画像のサイズを決定しても良い。

【０２６３】

【数９２】 Ｔsi＝ｗ＊Ｐratio ＊Ｔs0 …（９２） また、第１０の実施形態と同様に、ステップＳ４０にお
いて初期画像ｆ0 とｉ番目の画像ｆi で求められる周波
数特性の適当な周波数領域のパワーをそれぞれ比較した
が、

【数９３】 Ｐsum_0 −α≦Ｐsum_i ≦Ｐsum_0 ＋α …（９３） のようにｉ番目の画像ｆi で求められるパワーの合計を
初期画像ｆ0 で求められるパワーの合計に適当な幅をも
たせて比較しても良い。

【０２６４】以上のように、位置検出手段においてテン
プレートマッチングにより同一点の検出を行うことで、
本実施形態では、時系列的に取り込まれる複数の画像に
対して焦点ズレを検出し、焦点ズレが大きい場合はテン
プレート画像のサイズを変更してテンプレートマッチン
グを行い、平均的な移動量を算出することによって、内
視鏡のような焦点ズレを含む画像に対しても確実に同一
点の位置を予測することができる。

【０２６５】また、第１０の実施形態では複数の画像に
おいて焦点ズレが発生した場合や内視鏡の先端の動きが
大きい場合には、同一点の位置の予測に誤差が発生しや
すくなる。しかし、本実施形態によれば、焦点ズレを発
生した画像から同一点の位置を予測することができるの
で、前記のような不具合を防止でき、焦点ズレが発生し
た場合でも常に正確に同一点の検出を行うことが可能と
なる。

【０２６６】［付記］ （１） 同一の対象物体に対して異なる位置より撮像す
る撮像手段を有する内視鏡と、前記撮像手段により撮像
された複数の画像から、前記対象物体の相対的な形状を
推定する相対形状推定手段と、前記撮像手段から前記対
象物体上の適当な位置までの距離を推定する距離推定手
段と、前記相対形状推定手段により推定された対象物体
の相対形状と前記距離推定手段により推定された対象物
体までの距離とから、前記対象物体の絶対的な形状を推
定する絶対形状推定手段と、を備えたことを特徴とする
内視鏡画像処理装置。

【０２６７】（２） 前記距離推定手段は、前記複数の
画像の同一な点における焦点ズレの大きさを算出する焦
点ズレ算出手段と、前記算出された焦点ズレが最小とな
る点を検出する最小点検出手段と、を有してなり、前記
検出された最小点の対象物体上から前記撮像手段までの
距離を前記撮像手段の焦点距離とすることで前記対象物
体までの距離を推定する付記１に記載の内視鏡画像処理
装置。

【０２６８】（３） 前記距離推定手段は、前記画像内
に発生するハレーションの位置を検出するハレーション
検出手段と、前記対象物体上のハレーション位置におけ
る法線ベクトルを推定する法線ベクトル推定手段と、前
記撮像手段の視点から光源の出射位置までのベクトルを
推定する出射位置ベクトル推定手段と、前記撮像手段の
視点から対象物体上のハレーション位置までのベクトル
を推定するハレーション位置ベクトル推定手段と、を有
してなり、前記推定された３本のベクトルの関係より視
点から対象物体上のハレーション位置までの距離を推定
することで前記対象物体までの距離を推定する付記１に
記載の内視鏡画像処理装置。

【０２６９】付記１ないし３では、撮像手段により得ら
れる時系列的な画像より焦点距離からのズレやハレーシ
ョンを検出し、検出された特徴を利用して撮像手段から
対象物体上の適当な点の位置までの距離を推定すること
により、対象物体までの絶対的な距離が正確に推定され
る。

【０２７０】（４） レーザ光を発生するレーザ光発生
手段と、前記レーザ光発生手段からのレーザ光を前記撮
像手段が設けられる内視鏡の先端まで導く導光手段と、
をさらに備えた付記１に記載の内視鏡画像処理装置。

【０２７１】（５） 前記距離推定手段は、前記撮像手
段の視点からレーザ光の出射位置までのベクトルを推定
する出射位置ベクトル推定手段と、前記撮像手段の視点
から対象物体上に照射されたレーザ光の照射位置までの
ベクトルを推定する照射位置ベクトル推定手段と、前記
推定された２本のベクトルからレーザ光の出射位置から
対象物体に照射された位置へのレーザ照射ベクトルを推
定するレーザ照射ベクトル推定手段と、前記撮像手段の
異なる位置から得られる２本のレーザ照射ベクトルの外
積が０になることから前記撮像手段から対象物体上のレ
ーザ光が照射された位置までの距離を推定する絶対距離
推定手段と、を有してなる付記４に記載の内視鏡画像処
理装置。

【０２７２】付記４及び５では、内視鏡先端からレーザ
光を照射し、レーザ光が照射された対象物体の画像を複
数撮像して、撮像手段から対象物体上の適当な点の位置
までの距離を推定することにより、対象物体までの絶対
的な距離が正確に推定される。

【０２７３】（６） 前記距離推定手段は、前記撮像手
段によって得られる画像上の適当な２点間の輝度の比率
を求め、この輝度の比率を前記撮像手段の視点と光源と
対象物体との相対的な位置関係によって導かれる倍率を
変数とする方程式で表し、前記対象物体上の複数の点の
組み合わせにより前記倍率に関する複数の方程式を導
き、この複数の方程式を解くことによって前記倍率を推
定する倍率推定手段を有してなり、前記倍率より前記対
象物体までの距離を推定する付記１に記載の内視鏡画像
処理装置。

【０２７４】（７） 前記倍率推定手段は、前記対象物
体上の複数の点の組み合わせにより算出される複数の方
程式を、倍率を求めるのに必要な数の組に分割し、各組
毎に求められる倍率を平均化することにより一つの倍率
を推定する手段からなる付記６に記載の内視鏡画像処理
装置。

【０２７５】（８） 前記倍率推定手段は、前記撮像手
段によって得られる画像上の適当な２点間の輝度の比率
と、前記撮像手段の視点と光源と対象物体との相対的な
位置関係によって導かれる倍率を変数とした輝度の比率
と、の差の二乗和が最小になるような倍率を推定する手
段からなる付記６に記載の内視鏡画像処理装置。

【０２７６】（９） 前記距離推定手段は、前記撮像手
段によって得られる画像上の同一な色の２点を複数用い
て倍率を推定する倍率推定手段を有してなる付記１に記
載の内視鏡画像処理装置。

【０２７７】（１０） 前記倍率推定手段は、前記撮像
手段によって得られる画像上の同一な色の２点間の輝度
の比率と、前記撮像手段の視点と光源と対象物体との相
対的な位置関係によって導かれる倍率を変数とした輝度
の比率と、の差の二乗に色の同一性を表す重み関数を掛
けて合計した値が最小になるような倍率を推定する手段
からなる付記６に記載の内視鏡画像処理装置。

【０２７８】（１１） 前記距離推定手段は、前記撮像
手段によって得られる画像上の点とその周辺の相関値の
形状が鋭くなる複数組の２点を用いて倍率を推定する倍
率推定手段を有してなる付記１に記載の内視鏡画像処理
装置。

【０２７９】（１２） 前記距離推定手段において用い
る相関値が、相互相関の値による付記１１に記載の内視
鏡画像処理装置。

【０２８０】（１３） 前記距離推定手段において用い
る相関値が、自己相関の値による付記１１に記載の内視
鏡画像処理装置。

【０２８１】（１４） 前記倍率推定手段は、前記撮像
手段によって得られる画像上の相関値が適当なしきい値
よりも大きい２点間の輝度の比率と、前記撮像手段の視
点と光源と対象物体との相対的な位置関係によって導か
れる倍率を変数とした輝度の比率と、の差の二乗に相関
値から得られる重み関数を掛けて合計した値が最小にな
るような倍率を推定する手段からなる付記６に記載の内
視鏡画像処理装置。

【０２８２】（１５） 前記距離推定手段は、前記撮像
手段によって得られる画像上の適当な点の正規化された
輝度と、前記撮像手段の視点と光源と対象物体との相対
的な位置関係によって導かれる倍率を変数とする正規化
した輝度と、の差の二乗和が最小になるような倍率を推
定する倍率推定手段を有してなり、前記推定された倍率
より前記撮像手段から対象物体までの距離を推定する付
記１に記載の内視鏡画像処理装置。

【０２８３】（１６） 前記距離推定手段において用い
る正規化された輝度が、前記画像上点の周辺の輝度の平
均値によって正規化されたものからなる付記１５に記載
の内視鏡画像処理装置。

【０２８４】（１７） 前記距離推定手段において用い
る２点間の輝度の比率が、前記撮像手段の異なる位置か
ら撮像された同一点から得られる付記６に記載の内視鏡
画像処理装置。

【０２８５】（１８） 前記撮像手段は照明光を照射す
る複数の照射口を有し、前記距離推定手段は、前記各照
射口から照射される光に応じて得られるそれぞれの画像
の同一な２点間の輝度の比率を、前記撮像手段の視点と
照射口の位置と対象物体との相対的な位置関係によって
導かれる倍率を変数とする方程式で表し、前記対象物体
上の複数の点の組み合わせにより前記倍率に関する複数
の方程式を導き、この複数の方程式を解くことによって
前記倍率を推定する倍率推定手段を有してなり、前記推
定された倍率より前記撮像手段から対象物体までの距離
を推定する付記１に記載の内視鏡画像処理装置。

【０２８６】付記６〜１８では、撮像手段の視点と光源
と対象物体との相対的な位置関係から推定される輝度の
比率と撮像手段で実際に得られる画像の輝度の比率とか
ら、撮像手段から対象物体上の適当な点の位置までの距
離を推定することにより、対象物体までの絶対的な距離
が正確に推定される。

【０２８７】（１９） 前記相対形状推定手段は、前記
撮像手段により撮像された複数の画像から画像上の同一
な点の位置を検出する位置検出手段と、前記位置検出手
段で検出された同一な点の位置から対象物体の位置に対
する各撮像手段の位置を推定する撮像位置推定手段と、
前記位置検出手段と前記撮像位置推定手段の結果より前
記撮像手段から対象物体までの相対的な距離を推定する
相対距離推定手段と、を有してなる付記１に記載の内視
鏡画像処理装置。

【０２８８】（２０） 前記位置検出手段は、前記画像
上の同一な点の位置を予測する位置予測手段と、前記位
置予測手段で予測された位置の周辺の部分画像の特徴を
検出する特徴検出手段と、前記検出された特徴により前
記画像上の同一な位置の検出処理を行う同一点検出手段
と、を有してなる付記１９に記載の内視鏡画像処理装
置。

【０２８９】（２１） 前記位置予測手段は、時系列的
に得られる画像において前回までの同一な点の位置の移
動量から推定される位置より予測する付記２０に記載の
内視鏡画像処理装置。

【０２９０】（２２） 前記特徴検出手段は、前記部分
画像の周波数特性より特徴を検出する付記２０に記載の
内視鏡画像処理装置。

【０２９１】（２３） 前記同一点検出手段は、画像上
の同一な点の位置を検出する同一点位置検出手段と、こ
の同一点位置検出手段の結果から前記同一な点の位置の
移動量を算出する移動量算出手段と、を有してなる付記
２０に記載の内視鏡画像処理装置。

【０２９２】（２４） 前記同一点位置検出手段は、テ
ンプレートマッチングを用いたものからなる付記２３に
記載の内視鏡画像処理装置。

【０２９３】（２５） 前記同一点検出手段は、処理さ
れる画像に対して連続して同一な点の位置の検出を行わ
ない回数を数えるカウント手段を有してなる付記２０に
記載の内視鏡画像処理装置。

【０２９４】付記１９〜２５では、時系列的に得られる
画像の中から焦点ズレが発生している画像を検出し、焦
点ズレが発生している画像は用いないようにし、画像間
の同一な点の位置を前回までの移動量から予測して、前
記同一な点の位置の検出を行うことにより、焦点の合っ
ていない画像が撮像された場合でも正確に同一点の検出
がなされる。

【０２９５】（２６） 前記同一点検出手段は、画像上
の同一な点の位置を検出する点の数とテンプレート画像
の大きさとを変更するテンプレート変更手段と、変更さ
れた検出点の数とテンプレート画像とから画像上の同一
な点の位置を検出する同一点位置検出手段と、この同一
点位置検出手段の結果から前記同一な点の位置の平均的
な移動量を算出する移動量算出手段と、を有してなる付
記２０に記載の内視鏡画像処理装置。

【０２９６】（２７） 前記テンプレート変更手段は、
前記特徴検出手段で検出される部分画像の特徴に応じて
前記検出点の数とテンプレートの大きさとを決定する付
記２６に記載の内視鏡画像処理装置。

【０２９７】付記２６及び２７では、時系列的に得られ
る画像の中から焦点ズレが発生している画像を検出し、
焦点ズレを発生した画像間ではテンプレート画像の大き
さを変更して画像上の同一な点の位置の検出を行うよう
にする。この際、検出された同一点の位置を基に焦点ズ
レを発生した画像間の平均的な移動量を求め、その移動
量から画像上の同一な点の位置を予測して前記同一な点
の位置を検出することにより、焦点の合っていない画像
が撮像された場合でも正確に同一点の検出がなされる。

【０２９８】

【発明の効果】以上説明したように本発明によれば、同
一の対象物体に対して異なる位置から撮像された画像を
基に、撮像手段から対象物体までの絶対的な距離を精度
良く容易に推定することが可能となる効果がある。

【図面の簡単な説明】

【図１】第１の実施形態における電子内視鏡システムの
全体構成図

【図２】電子内視鏡装置のブロック構成を示すブロック
図

【図３】画像処理装置の構成を示すブロック図

【図４】ＣＰＵで構成した画像処理手段の機能構成を示
すブロック図

【図５】ハードウェアで構成した画像処理手段の構成を
示すブロック図

【図６】記録装置の構成を示すブロック図

【図７】画像処理装置の入力部の変形例を示すブロック
図

【図８】相対形状推定手段の機能構成を示すブロック図

【図９】距離推定手段の機能構成を示すブロック図

【図１０】対象物の相対的な形状を推定する処理の全体
的な流れを示すフローチャート

【図１１】図１０の各処理を説明するための作用説明図

【図１２】時系列に得られた画像データからシフトマッ
プを作成する様子を示す説明図

【図１３】中心射影の座標系を示す説明図

【図１４】撮像手段の運動に関する回転ベクトル及び並
進ベクトルの関係を示す説明図

【図１５】撮像手段の運動に伴う対象物体との距離の変
化を示す説明図

【図１６】時系列に得られた各画像の周波数特性を求め
る様子を示す説明図

【図１７】画像データの周波数特性を示す特性図

【図１８】ハレーションが発生した場合の光源及び撮像
手段と対象物体との位置関係を示す説明図

【図１９】対象物上の点Ｐにおける接平面の法線ベクト
ルと視点Ｏ及び光源Ｓの位置座標係を示す説明図

【図２０】対象物上の点Ｐにおける接平面の法線ベクト
ルの推定方法の一例を示す作用説明図

【図２１】第３の実施形態における内視鏡システムの全
体構成を示す構成説明図

【図２２】対象物体上のレーザ光の照射位置までの距離
を推定する動作を説明する作用説明図

【図２３】光源及び撮像手段の位置と撮像手段で得られ
る対象物体上の一点の輝度値との関係を示す説明図

【図２４】光源から対象物体上の適当な一点へのベクト
ルと対象物体の一点の法線ベクトルの関係を示す説明図

【図２５】撮像手段の視点Ｏから対象物体上の２点Ａ，
Ｂまでのベクトルを示す説明図

【図２６】光源位置ベクトルの推定方法の一例を示す作
用説明図

【図２７】光源位置ベクトルの推定方法の一例を示す作
用説明図

【図２８】画像内の特定の領域として設定されるテンプ
レート画像を示す説明図

【図２９】画像内の各点毎の相互相関の値を示す特性図

【図３０】画像内の模様に応じた相互相関の値の変化を
示す特性図

【図３１】テンプレート画像に関する相互相関の値を算
出する手順を示す作用説明図

【図３２】相互相関値の形状の鋭い点を検出する手順を
示す作用説明図

【図３３】撮像手段を移動させて撮像した複数の画像に
おける各撮像手段の視点Ｏから対象物体上の点Ｐへの位
置ベクトルを示す説明図

【図３４】内視鏡の先端部に二つの照射口Ａ，Ｂを設け
て各照射口からの光により複数の画像を撮像する場合の
作用説明図

【図３５】第１０の実施形態に係る位置検出手段によっ
て時系列的に入力される複数の画像の同一点の検出を行
う過程を示したフローチャート

【図３６】時系列的に得られる複数の画像について各画
像の周波数特性の適当な周波数領域のパワーを算出する
手順を示す作用説明図

【図３７】第１１の実施形態に係る位置検出手段によっ
て時系列的に入力される複数の画像の同一点の検出を行
う過程を示したフローチャート

【図３８】焦点ズレに関する量とテンプレート画像のサ
イズの大きさとの関係を示す説明図

【符号の説明】

１…内視鏡システム ２…電子内視鏡装置 ３…画像処理装置 ４…記録装置 ５，８…モニタ ６…電子内視鏡 ７…観察装置 ７Ａ…光源部 ７Ｂ…信号処理部 １６…先端部 １９…撮像部 ４０…ＣＰＵ ４２…主記憶装置（ＲＡＭ） ４５…ＲＯＭ ４７…画像処理手段 ５０，６２…相対形状推定手段 ５１，６３…距離推定手段 ５２，６４…絶対形状推定手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 野波 徹緒 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内

Claims (1)

【特許請求の範囲】
1. 【請求項１】 同一の対象物体に対して異なる位置より
   撮像する撮像手段を有する内視鏡と、 前記撮像手段により撮像された複数の画像から、前記対
   象物体の相対的な形状を推定する相対形状推定手段と、 前記撮像手段から前記対象物体上の適当な位置までの距
   離を推定する距離推定手段と、 前記相対形状推定手段により推定された対象物体の相対
   形状と前記距離推定手段により推定された対象物体まで
   の距離とから、前記対象物体の絶対的な形状を推定する
   絶対形状推定手段と、 を備えたことを特徴とする内視鏡画像処理装置。