WO2014156378A1

WO2014156378A1 - 内視鏡システム

Info

Publication number: WO2014156378A1
Application number: PCT/JP2014/053876
Authority: WO
Inventors: 満祐伊藤; 秋本　俊也; 大西　順一
Original assignee: Olympus Medical Systems Corp
Current assignee: Olympus Medical Systems Corp
Priority date: 2013-03-27
Filing date: 2014-02-19
Publication date: 2014-10-02
Anticipated expiration: 2015-09-27
Also published as: EP2918218A4; JP5715312B2; US9516993B2; US20150272423A1; CN104883950B; CN104883950A; EP2918218A1

Abstract

　内視鏡システムは、被検体の３次元画像情報を記録する画像記録部と、３次元画像情報から所定の管腔臓器を抽出する管腔臓器抽出部と、抽出された所定の管腔臓器の情報に対して所定の視点位置から仮想内視鏡画像を生成する仮想内視鏡画像生成部と、所定の管腔臓器内を撮像する撮像部と、挿入部の先端の位置情報を取得する位置情報取得部と、挿入部の先端の位置情報に基づいて管腔径の変化量を検知する管腔径変化量検知比較部と、撮像された内視鏡画像内において、所定の管腔臓器に関する特徴部の変化量を検知する画像変化量検知部と、両検知部の検知結果に基づいて、挿入部の先端の位置と、対応する仮想内視鏡画像とを含む所定の情報を記録する情報記録部と、を備える。

Description

内視鏡システム

　本発明は、被検体内を撮像手段により撮像する内視鏡システムに関する。

　近年、体腔内等に挿入可能な挿入部を有する内視鏡は医療分野などにおいて広く用いられるようになっている。　
　一方、体腔内における気管支のように複雑に分岐した管腔臓器内に挿入して管腔臓器の末梢側の目標部位（の患部組織）を検査、又は処置具による生検や処置を行うような場合においては、挿入した際に得られる内視鏡画像のみでは、目標部位付近まで挿入部先端を導入することが困難な場合がある。
　このため、目標部位付近まで内視鏡の挿入部先端を導入する操作を支援するためのシステム又は装置が提案されている。

　例えば、第１の従来例としてのＷＯ２００７－１２９４９３号公報の医療画像観察支援装置は、ＣＴ画像データ取込部、ＣＴ画像データ格納部、情報抽出部、解剖学的情報データベース、視点位置／視線方向設定部、管腔臓器画像生成部、解剖学的名称情報発生部、枝指定部、画像合成表示部及びユーザＩ／Ｆ制御部を備えた構成を開示している。視点位置／視線方向設定部は、情報抽出部が抽出した管腔臓器の構造情報に基づき、管腔臓器の略中心軸に視点をロックオンして管腔臓器の外観を観察する視点位置及び視線方向を設定する。　
　また、第２の従来例としての日本国特開２００９－２７９２５０号公報の医療装置は、予め取得する気管支の３次元画像データから、複数の異なる視線位置からの仮想内視鏡画像を生成する仮想内視鏡画像生成手段と、リアル画像と類似度の高い仮想内視鏡画像を検索する画像検索手段と、類似度の高い仮想内視鏡画像の視線の位置に基づいて基準点を設定する基準点設定手段と、基準点に対する処置具の相対位置を算出する相対位置算出手段と、基準点または気管支の移動を検出する移動検出手段と、基準点または気管支の移動に応じて、相対位置を補正する位置補正手段とを具備する。

　内視鏡の挿入部先端の位置を推定する場合、内視鏡の撮像手段により撮像した内視鏡画像（実画像）と、ＣＴによる管腔臓器の３次元データに基づいて生成した仮想内視鏡画像（仮想画像）との比較により行われる。そのため、最初に両画像の比較による位置合わせが行われる。　
　そして、位置の推定の精度が低下したような場合には、所定の精度を確保できる状態に設定するための再度の位置合わせが必要になるが、上述した従来例は、再度の位置合わせを行うのに適した条件で情報を記録していないために時間がかかる欠点があった。　
　より具体的に説明すると、例えば第１の従来例は、内視鏡先端位置を３次元画像上に座標変換して芯線との距離を比較する観点と、分岐部の実画像（内視鏡画像）と仮想画像（仮想内視鏡画像）とを比較する観点を開示し、分岐部の特徴情報等を記録することも開示している。　
　しかし、記録した情報に基づいて再度の位置合わせを行う際に画像比較を行い両画像ができるだけ一致させるように位置合わせを行うが、内視鏡先端位置の変化に対する内視鏡画像又は仮想内視鏡画像の変化量が不確定であり、両画像をどの程度合わせたら良いかが分かり難いために、再度の位置合わせを行うのに時間がかかる。

　位置合わせを行い易くするためには、記録された情報が気管支内における内視鏡先端位置の変化に対して変化し易い特徴を備え、視覚的に位置合わせがし易いように設定されていることが望まれる。　
　しかし、上述した従来例は、上記のように視覚的に位置合わせがし易いように設定されていないため、両画像をどの程度合わせたら良いかが分かり難いために、再度の位置合わせを行うのに時間がかかる。　
　また、気管支は、気管支の入り口付近からその深部側となる末端（末梢）側に至るに従って、分岐部において分岐し、管腔の径が次第に細くなるように変化する。このため、気管支径の変化の検知結果を、再度の位置合わせのための情報を記録する条件に利用すると、再度の位置合わせをより有効に行い易くすると考えられる。　
　本発明は上述した点に鑑みてなされたもので、再度の位置合わせを短時間に行い易くする情報を記録する内視鏡システムを提供することを目的とする。

　本発明の一態様の内視鏡システムは、予め取得した被検体における３次元画像情報を記録する画像記録部と、前記３次元画像情報から所定の管腔臓器を抽出する管腔臓器抽出部と、前記管腔臓器抽出部により抽出された前記所定の管腔臓器の情報に対して所定の視点位置から内視鏡的に描画した仮想内視鏡画像を生成する仮想内視鏡画像生成部と、内視鏡内に設けられ、前記所定の管腔臓器内を撮像する撮像部と、前記内視鏡の挿入部の先端の位置情報を取得する位置情報取得部と、前記内視鏡の挿入部の先端の位置情報に基づいて、前記所定の管腔臓器の管腔径の変化量を検知する管腔径変化量検知部と、前記撮像部により撮像された内視鏡画像内において、前記所定の管腔臓器に関する特徴部の変化量を検知する画像変化量検知部と、前記管腔径変化量検知部の検知結果及び前記画像変化量検知部の検知結果に基づいて、前記内視鏡の挿入部の先端の位置と、該先端の位置に対応する前記仮想内視鏡画像とを含む所定の情報を記録する情報記録部と、を備える。

図１は本発明の第１の実施形態の内視鏡システムの全体構成を示す図。図２Ａは気管支の一部と気管支形状画像を表す図。図２Ｂは気管支内に挿入して気管支径を経時的に算出した様子を示す図。図２Ｃは気管支径を算出した位置と、算出された気管支径の大きさを示す図。図２Ｄは再度の位置合わせを行う指示がされた場合にモニタに表示される候補情報を示す図。図３Ａはステレオ計測を行うステレオ内視鏡を備えた内視鏡装置の構成を示す図。図３Ｂはステレオ計測を行う計測対象の位置が左右の撮像素子の撮像面に結像される関係を示す説明図。図３Ｃはステレオ内視鏡を用いて気管支内を撮像した画像をモニタ画面に表示した１例を示す図。図３Ｄは図３Ｃの画像から気管支径を算出するための説明図。図３Ｅは単一の撮像装置を用いたステレオ計測により気管支径を算出するための説明図。図４は第１の実施形態における処理内容の１例を示すフローチャート。図５は気管支径を取得する場合の説明図。図６は図５とは異なる方法で気管支径を取得する場合の説明図。図７は気管支径を取得する位置の説明図。図８は図７とは異なる設定で気管支径を取得する位置の説明図。図９は気管支径を取得する場合の説明図。図１０は図９とは異なる方法で気管支径を取得する場合の説明図。図１１は内視鏡画像における暗部の面積の変化を検知した場合の説明図。図１２は内視鏡画像における分岐の形状の変化を検知した場合の説明図。図１３は内視鏡画像におけるスパーの長さの変化を検知した場合の説明図。図１４は内視鏡画像におけるスパーの角度の変化を検知した場合の説明図。図１５は内視鏡画像の視野の不良への変化を検知した場合の説明図。図１６は内視鏡画像における気管支の分岐以外の変化を検知した場合の説明図。図１７は内視鏡画像における特徴部のぶれの変化を検知した場合の説明図。

　以下、図面を参照して本発明の実施形態を説明する。　
（第１の実施形態）
　図１に示すように本発明の第１の実施形態の内視鏡システム１は、検査対象となる被検体としての患者における所定の管腔臓器としての気管支２（図２Ａ）内に挿入される内視鏡３Ａを備えた内視鏡装置４Ａと、この内視鏡装置４Ａと共に使用され、内視鏡３Ａの挿入支援を行うための挿入支援装置５と、から主に構成される。　
　内視鏡装置４Ａは、内視鏡３Ａと、この内視鏡３Ａに照明光を供給する光源装置６と、内視鏡３Ａに搭載された撮像手段を構成する撮像素子７に対する信号処理を行う信号処理装置としてのカメラコントロールユニット（ＣＣＵと略記）８Ａと、ＣＣＵ８Ａにより生成された内視鏡画像を表示するモニタ９Ａと、を有する。

　内視鏡３Ａは、可撓性を有する細長の挿入部（又は内視鏡挿入部）１１と、この挿入部１１の後端に設けられた操作部１２とを有し、挿入部１１の先端部１３には照明窓と観察窓とが設けられる。挿入部１１，操作部１２内には照明光を伝達するライトガイド１４が挿通され、このライトガイド１４の入射端は光源装置６に接続され、光源装置６内の図示しない光源ランプ又はＬＥＤにより発生した照明光が入射端に入射される。このライトガイド１４により伝達された照明光は、照明窓に取り付けられた出射端（先端面）から前方に出射される。　
　また、観察窓には、被写体を結像する対物光学系を形成する対物レンズ１５が取り付けられ、その結像位置にＣＣＤ等の撮像素子７が配置され、対物レンズ１５と撮像素子７とにより、挿入部１１が挿入される所定の管腔臓器としての気管支２内を撮像する撮像手段としての撮像装置１６が形成される。

　撮像素子７は、挿入部１１，操作部１２内を挿通された信号線を介してＣＣＵ８Ａに接続される。ＣＣＵ８Ａは、その内部の図示しない画像信号生成回路により撮像素子７の撮像面に結像された光学像に対応する撮像画像の画像信号を生成し、この画像信号をモニタ９Ａに出力する。モニタ９Ａは、画像信号の画像（動画像）を、内視鏡画像（撮像画像とも言う）として表示する。　
　内視鏡３Ａの挿入部１１には、先端部１３の後端に湾曲自在の湾曲部１９が設けてあり、術者は操作部１２に設けた湾曲操作ノブ２０を例えば回転する操作を行うことにより、湾曲部１９を上下、左右の任意の方向に湾曲することができる。なお、湾曲操作ノブ２０は、上下方向に湾曲させるための上下方向用湾曲操作ノブと、左右方向に湾曲させるための左右方向用湾曲操作ノブとを備えている。　
　図１に示す内視鏡装置４Ａの代わりに、図３Ａに示す内視鏡装置４Ｂを採用しても良い。

　内視鏡装置４Ｂは、立体計測（ステレオ計測）が可能なステレオ内視鏡３Ｂと、光源装置６と、ステレオ内視鏡３Ｂ設けた２つの撮像素子７ａ，７ｂに対する信号処理を行うＣＣＵ８ＢとＣＣＵ８Ｂより生成されたステレオ画像信号を表示するステレオ表示用モニタ９Ｂを有する。　
　ステレオ内視鏡３Ｂの挿入部１１の先端部１３には、左右方向に所定間隔だけ離間して左右の対物レンズ１５ａ、１５ｂが配置され、それぞれの結像位置に左右の撮像素子７ａ，７ｂが配置されて、左右の撮像装置１６ａ，１６ｂを有するステレオ撮像装置１６′が構成される。なお、左右の対物レンズ１５ａ、１５ｂと左右の撮像装置１６ａ，１６ｂとはそれぞれ特性が揃ったものが用いられている。　
　また、挿入部１１内には光源装置６からの照明光を伝送するライトガイド１４が挿通されている。ライトガイド１４の先端は、先端部１３の照明窓に取り付けられ、伝達した照明光を照明窓から出射し、体腔内における患部等の被写体を照明する。

　照明された被写体を撮像する左右の撮像素子７ａ，７ｂは、光電変換した撮像信号をＣＣＵ８Ｂ内の撮像制御部１８ａ、１８ｂに入力され、撮像制御部１８ａ、１８ｂは、左右の画像信号を生成してステレオ画像信号生成部１８ｃに出力する。　
　ステレオ画像信号生成部１８ｃは、左右の画像信号からステレオ表示用の画像信号を生成し、ステレオ表示用モニタ９Ｂに出力する。そして、ステレオ表示用モニタ９Ｂは、ステレオ表示用の画像信号を表示し、術者等のユーザはステレオ表示用の画像信号の表示により被写体を立体視することが可能となる。　
　また、撮像制御部１８ａ、１８ｂにより生成された左右の画像信号は、計測演算部１８ｄに入力され、左右の画像信号を用いて、三角測量の原理を利用したステレオ計測により、撮像した画像上における２点間の距離等を計測可能にする。後述するように例えば気管支径Ｄｅｎを計測することが可能となる。なお、計測演算部１８ｄにより算出された気管支径Ｄｅｎ等の情報は、画像処理部２５に出力される。また、撮像制御部１８ａ（又は１８ｂ）により生成された映像信号も画像処理部２５に出力される。

　次に図３Ｂを用いてステレオ計測による計測対象の点（位置）の３次元座標の求め方を説明する。左右の対物レンズ１５ａ、１５ｂを用いて撮像素子７ａ，７ｂの撮像面の画像に対して、三角測量の方法により、計測点６０の３次元座標（Ｘ，Ｙ，Ｚ）が以下の（１）式～（３）式で計算される。ただし、歪み補正が施された左右の画像上の計測点６１，６２の２次元座標をそれぞれ（Ｘ_Ｌ，Ｙ_Ｌ）、（Ｘ_Ｒ，Ｙ_Ｒ）とし、左右の対物レンズ１５ａ，１５ｂの光学中心６３，６４間の距離をＤとし、焦点距離をＦとし、ｔ＝Ｄ／（Ｘ_Ｌ－Ｘ_Ｒ）とする。すると、以下の関係式が成立する。　
Ｘ＝ｔ×Ｘ_Ｒ＋Ｄ／２・・・（１）
Ｙ＝ｔ×Ｙ_Ｒ・・・（２）
Ｚ＝ｔ×Ｆ・・・（３）
　上記のように計測点６０に対する画像上での２次元座標の計測点６１，６２が決定すると、パラメータとしての距離Ｄおよび焦点距離Ｆを用いて計測点６０の３次元座標が求まる。

　いくつかの点の３次元座標を求めることによって、それらにおける２点間の距離、２点を結ぶ線と１点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左の対物レンズ１５ａの光学中心６３、または右の対物レンズ１５ｂの光学中心６４から被写体までの距離（物体距離）を求めることも可能となる。上記のステレオ計測を行うためには、内視鏡３Ｂの先端部１３と対物レンズ１５ａ，１５ｂの特性を示す光学データを用いる。なお、図３Ｂにおいては、２つの撮像面を共に含む面をＰＬで示し、また、（図３Ｂにおいては表示していない対物レンズ１５ａ，１５ｂの光軸上となる）右の撮像面の中心をＯ_Ｌ，Ｏ_Ｒで示している。　
　ステレオ画像から３次元座標を演算する方法としては、特開２０１１－０２７９１１号公報に示される方法などがある。　
　本実施形態においては、後述する内視鏡画像から気管支径Ｄｅｎを計測する場合には、図３Ｂの撮像面上での気管支径の一方の計測点６０に対応する画像上での計測点６１および６２と、他方の計測点に対応する点を指定することにより気管支径Ｄｅｎを算出する。

　この方法に関して図３Ｃおよび図３Ｄを用いて説明する。モニタ９Ｂの表示画面７１には内視鏡画像中の気管支７２と、この気管支７２の抹消側となる次の気管支分岐部７３が表示されている様子を示している。この画面７１の範囲に対して、メッシュ７４で示すようなブロックで区切り、各ブロック内の平均輝度が所定値以下のエリアを抽出する。このようにして抽出された検出ブロック７５を斜線をつけて示したのが図３Ｄとなる。　
　そして、検出ブロック７５の一番直径の大きくなるところを計測対象の気管支径とすることで、計測点６０ａおよび、計測点６０ｂを設定する。一般的に、管腔臓器を内視鏡で観察すると奥に行くほど暗い画像となるため、上記のように説明した方法で計測点を設定することが可能となる。計測点６０ａ，６０ｂを指定する場合、該計測点６０ａ，６０ｂ間が最も大きくなる方向に指定するようにしても良い。

　上記演算をステレオ画像を構成する左画面および右画面の両方で実施し、左画面および右画面において、それぞれ計測点６０ａおよび、計測点６０ｂに相当する点を求める。そして、左画面の計測点６０ａに相当する点を図３Ｂの計測点６１、右画面の計測点６０ａに相当する計測点６２として演算すると、計測点６０の位置を求めることができる。同様の演算を計測点６０ｂに相当する左画面および、右画面に対して行うことで、気管支径両端の６０に相当する３次元座標を得ることができるため、この２点間の距離から気管支径Ｄｅｎを算出することができる。　
　以上の動作を内視鏡画像が更新される毎に行うことで、内視鏡画像から気管支径Ｄｅｎの変化を監視することが可能となる。　
　また、図３Ａに示した対となる左右の撮像装置１６ａ，１６ｂを有するステレオ撮像装置１６′を備えたステレオ内視鏡３Ｂを用いる代わりに、図１の単眼（単一）の撮像装置１６を備えた内視鏡３Ａを用いて、以下のようにステレオ計測を行うようにしても良い。

　図３Ｅに示すように気管支２内に内視鏡３Ａを挿入した場合において、術者が挿入部１１の先端側の湾曲部１９を左右に湾曲させて図３Ｂの左右の撮像装置で撮像する状態とほぼ等価な状態に設定して、ステレオ計測により気管支径を算出するようにしても良い。　
　例えば湾曲部１９を湾曲しない状態において、挿入部１１の先端を気管支２の中心線付近に設定し、術者は湾曲部１９を例えば左側に湾曲させて、挿入部１１の先端が気管支２の左側の内壁に接触させて、図３Ｂの左の撮像装置１６ａで撮像する状態に相当する第１の撮像位置１６ａ′に設定する。第１の撮像位置１６ａ′における対物レンズ１５と撮像素子７とをそれぞれ１５ａ′、７ａ′で示している。

　この第１の撮像位置１６ａ′において撮像を行った後に、術者は湾曲部１９を右側に湾曲させて、図３Ｅにおいて２点鎖線で示すように先端を気管支２の右側の内壁に接触させて図３Ｂにおける右の撮像装置１６ｂで撮像する状態に相当する第２の撮像位置１６ｂ′に設定する。第２の撮像位置１６ｂ′における対物レンズ１５と撮像素子７とをそれぞれ１５ｂ′、７ｂ′で示している。この第２の撮像位置１６ｂ′において撮像を行う。　
　湾曲操作ノブ２０の操作によって湾曲部１９を左右にそれぞれ湾曲させた場合の先端部１３の左右の移動量や、撮像装置１６の対物レンズ１５の焦点距離、撮像素子７の左右及び垂直方向の画素数、画素のピッチ等の情報を予め調べて情報記録部２７等に格納しておく。

　このようにした場合、図３Ｂの左右の光学中心６３，６４に対応する図３Ｅにおける光学中心６３′、６４′や左右の光学中心間の距離Ｄに対応する距離Ｄ′を湾曲部１９の湾曲角（又は湾曲操作ノブ２０の操作量）等から算出することができる。また図３Ｂの計測点６０の場合に対応する計測点６０′に対する撮像素子７ａ′、７ｂ′上での計測点６１′，６２′の情報から計測点６０′の３次元位置を算出できる。また、計測点６０′として気管支径の一方の位置と他方の位置との２点を指定することにより、気管支径を算出することが可能となる。このように、図１の内視鏡３Ａを用いて、気管支径を算出しても良い。なお、左右の方向に湾曲させた場合で説明したが、他の方向に湾曲させた場合にも、同様に該他の方向に沿った気管支径を算出することが可能となる。　
　図１に示すように上記挿入支援装置５は、内視鏡３Ａ又は３Ｂによる検査が行われる患者に対して、公知のＣＴ（Computed Tomography）で生成された患者の３次元画像情報としてのＣＴデータを、ＤＶＤ、ブルーレイディスク、フラッシュメモリ等の可搬型の記憶媒体を介して取り込むＣＴデータ取込部２１と、このＣＴデータ取込部２１によって取り込まれたＣＴデータを記録する画像記録手段としてのＣＴ画像データ記録部２２とを有する。

　なお、ＣＴ画像データ記録部２２は、ＣＴで生成された（被検体としての患者の３次元画像情報としての）ＣＴデータを通信回線、インタネット等を経由して記憶しても良い。このＣＴ画像データ記録部２２は、ハードディスク装置や、フラッシュメモリ、ＤＶＤ等により構成することができる。　
　また、画像記録手段を構成するＣＴ画像データ記録部２２は、ＣＴデータより分離したＣＴ画像データと、ＣＴデータより位置情報を分離した該ＣＴ画像データに対応する第１の座標系（ＣＴ座標系）を用いた３次元の位置データとを対応付けた対応付け画像情報として記録する対応付け画像情報記録部２２ａを有する。　
　また、挿入支援装置５は、ＣＴ画像データ記録部２２のＣＴ画像データから所定の管腔臓器としての気管支２の３次元画像データを抽出する管腔臓器抽出手段としての管腔臓器抽出回路等からなる気管支抽出部２３を有する。

　この気管支抽出部２３は、抽出した気管支２の３次元データ（より具体的には３次元のボリュームデータ）から、気管支２の中空形状を表す３次元形状の情報（形状データ）と、３次元形状の画像情報（画像データ）を生成する。つまり、気管支抽出部２３は、抽出した気管支２の３次元データから中空の３次元形状の気管支形状の画像としての気管支形状画像２ａを生成する気管支形状画像生成手段としての気管支形状画像生成部２３ａを有する。　
　また、この気管支抽出部２３は、気管支２の３次元データを抽出する際、３次元データに対応する第１の座標系（又はＣＴ座標系）での３次元の位置データと対応付けて抽出する。そして、この気管支抽出部２３は、気管支２の３次元形状のデータ（つまり気管支形状データ）と３次元の位置データとを対応付けした対応付け情報を記録するメモリなどからなる対応付け情報記録部２３ｂを有する。また、対応付け画像情報記録部２３ｂは、指定された（３次元）位置における気管支径のデータをルックアップテーブル等で記録している。そして、指定された位置に対応する気管支径のデータを対応付け情報記録部２３ｂから読み出し、気管支径のデータを取得することができる。なお、対応付け情報記録部２３ｂを用いることなく、気管支形状データから気管支径を取得するようにしても良い。

　また、挿入支援装置５は、内視鏡３Ａ又は３Ｂにおける挿入部１１の先端部１３に設けた撮像装置１６又は１６ａ，１６ｂの撮像により生成される内視鏡画像に対応する仮想的な内視鏡画像としての仮想内視鏡画像（ＶＢＳ画像と言う）を生成する仮想内視鏡画像生成手段としてのＶＢＳ画像生成部２４を有する。以下においては、内視鏡３Ａ又は３Ｂにおけるいずれでも良い場合においては、内視鏡３Ａの場合で説明する。　
　ＶＢＳ画像生成部２４には、内視鏡３Ａの先端部１３の撮像装置１６に関する結像系を含む特性情報（対物レンズ１５の焦点距離、撮像素子７の画素数、画素サイズ等）が、例えば入力装置３１から制御部２６を経て入力される。なお、制御部２６を経由することなく、入力装置３１から撮像装置１６に関する特性情報をＶＢＳ画像生成部２４に入力するようにしても良い。

　ＶＢＳ画像生成部２４は、実際に気管支２内に挿入された内視鏡３Ａの先端部１３内に配置された撮像装置１６の３次元位置（挿入部１１の先端の３次元位置とも言える）の情報と、撮像装置１６による気管支２内の被写体を結像する特性情報と、気管支形状データに基づいて、前記３次元位置（単に位置ともいう）を視点位置として気管支２内を内視鏡的に撮像した内視鏡画像を仮想的に描画するＶＢＳ画像を生成する。なお、ＶＢＳ画像生成部２４は、同じ視点位置においても先端の軸方向（撮像装置１６の光軸方向とほぼ一致）を変化した場合には、その変化に対応したＶＢＳ画像を生成することができる。　
　従って、例えば挿入部１１の先端の位置と、先端の（軸）方向とをＣＴ座標系により指定すると、ＶＢＳ画像生成部２４は、位置と方向の指定に対応したＶＢＳ画像を生成する。

　また、挿入支援装置５は、ＣＣＵ８Ａから入力される内視鏡画像と、ＶＢＳ画像生成部２４のＶＢＳ画像との位置合わせを画像マッチングで行う画像処理部２５と、画像処理部２５等の制御を行う制御手段としての制御部２６と、制御部２６の制御下で挿入支援するためのＶＢＳ画像等の所定の情報を候補情報として記録する情報記録手段を構成する情報記録部２７とを有する。　
　また、挿入支援装置５は、ＣＴ画像データ記録部２２に記録されたＣＴ画像データに基づき多断面再構築画像としてのＣＴ断層画像（ＭＰＲ画像という）を生成するＭＰＲ画像生成部２８と、ＭＰＲ画像生成部２８が生成したＭＰＲ画像を有する挿入経路の設定画面としての経路設定画面を生成し、内視鏡３Ａの気管支２内の目標部位側へ挿入する際の経路を設定する経路設定手段としての経路設定部２９とを有する。

　そして、例えばＣＴ画像データから図２Ａに示すように目標部位３６を指定した場合、経路設定部２９はＣＴ画像データと気管支形状画像２ａとから気管支２における（挿入部１１の）挿入開始位置から目標部位３６近傍となる目標位置までの経路データを生成する経路データ生成部２９ａの機能を有する。　
　また、内視鏡システム１は、経路設定部２９に対して設定情報を入力するキーボードやポインティングデバイス等からなる入力装置３１を有する。また、術者は、この入力装置３１から画像処理部２５に対して、画像処理を行う際のパラメータや、データを入力したり、制御部２６に対して制御動作を選択、指示することができる。　
　また、術者が経路設定を行った場合、経路設定部２９は設定された経路の情報をＶＢＳ画像生成部２４、ＭＰＲ画像生成部２８、制御部２６に送る。ＶＢＳ画像生成部２４及びＭＰＲ画像生成部２８は、それぞれ経路に沿ったＶＢＳ画像、ＭＰＲ画像を生成し、制御部２６は経路に沿って各部の動作の制御を行う。

　上記画像処理部２５には、ＣＣＵ８Ａにより生成された内視鏡画像（実画像又は単に画像とも言う）と、ＶＢＳ画像生成部２４により生成されたＶＢＳ画像とが入力される。また、気管支形状画像生成部２３ａにより生成された気管支形状画像２ａも、画像処理部２５に入力される。　
　本実施形態においては、撮像装置１６が配置された挿入部１１の先端部１３に、挿入部１１の先端の位置を検出するセンサを搭載していないため、画像処理部２５による位置合わせ処理部２５ａにおける画像マッチングによって挿入部１１の先端の３次元位置（位置）を推定（又は算出）する。　
　あらかじめ、気管支２の入口やカリーナＫ（図２Ａ参照）等、気管支形状画像２ａからＣＴ座標系により特定できる３次元位置（既知となる位置）又はその近傍位置を動画マッチングの開始位置として設定しておくと、その位置情報を基にＶＢＳ画像生成部はＶＢＳ画像を生成する。画像処理部２５の位置合わせ処理部２５ａは、気管支２の入口やカリーナ等、気管支形状画像２ａからＣＴ座標系（第１の座標系）により特定できる３次元位置（既知となる位置）又はその近傍位置に挿入部１１の先端を設定して、ＣＴ座標系により挿入部１１の先端の位置を推定（又は算出）できる状態に設定する。

　そして、術者は内視鏡画像がＶＢＳ画像と同じように見えるように挿入１１の先端を挿入する。このような位置合わせを行うことにより、画像処理部２５の位置合わせ処理部２５ａは、内視鏡画像とＶＢＳ画像とを比較し、比較結果が設定された条件（所定の精度を確保できる誤差）以内で一致する画像マッチングを開始する。　
　このため、画像処理部２５は、内視鏡画像とＶＢＳ画像とを比較する画像比較手段としての画像比較部２５ｂを有し、位置合わせ処理部２５ａは、画像比較部２５ｂによる画像比較を利用して画像マッチングによる位置合わせの処理を行う。　
　上記のような位置合わせを行うことにより、画像処理部２５の位置合わせ処理部２５ａは、挿入部１１の先端の位置と、先端の軸方向（撮像装置１６の視点方向又は視線方向）とをＣＴ座標系（第１の座標系）での位置座標と軸方向（姿勢とも言う）を示す情報により特定（取得）できる状態にする。

　このようにして位置合わせした後は、該位置合わせした情報を用いて、画像比較部２５ｂによる画像比較結果により、以後の挿入部１１の先端の位置を、ＣＴ座標系（第１の座標系）での位置に対応付けた情報として取得することが可能になる。つまり、画像処理部２５は、挿入部１１の先端の位置（情報）を取得する位置情報取得手段として、挿入部１１の先端の位置を推定により取得する位置推定部２５ｃを有する。位置推定部２５ｃも画像比較部２５ｂによる画像比較結果に基づいて挿入部１１の先端の位置を取得する。更に説明すると、画像処理部２５は、挿入部１１が気管支２の深部側（末梢側）に挿入される操作において、位置合わせ処理部２５ａにより位置合わせ後の状態におけるＣＴ座標系のもとで挿入部１１の先端の移動した位置を、内視鏡画像とＶＢＳ画像との両画像の比較結果により、推定する。

　つまり、位置合わせ処理した位置から、挿入部１１の先端を芯線３５にほぼ沿って（挿入のために）移動する操作に伴って、撮像装置１６が移動するため、内視鏡画像が変化する。　
　この場合、位置推定部２５ｃは、芯線３５にほぼ沿った経路上で挿入部１１の先端を移動した場合の（ＶＢＳ画像生成部２４から出力される）ＶＢＳ画像を用いて現在の内視鏡画像と最も良くマッチングするＶＢＳ画像を画像処理により選出し、選出したＶＢＳ画像に対応する３次元位置を挿入部１１の先端の位置として算出（推定）する。上記ように位置推定部２５ｃは、挿入部１１の先端の位置と共にその姿勢も算出（推定）する。　
　なお、挿入部１１の先端は、芯線３５上から外れた位置において移動される場合もあるため、芯線３５から適宜の距離だけ偏心した位置においてのＶＢＳ画像をＶＢＳ画像生成部２４が生成し、生成したＶＢＳ画像を位置合わせ処理部２５ａに出力するようにしても良い。このようにすると、画像マッチングによる位置推定の範囲を拡大できる。

　また、位置推定部２５ｃにより推定された２つの位置の差分量から挿入部１１の先端の移動量及び移動した位置を算出（推定）する。また、位置推定部２５ｃは、推定された１つの位置と、気管支２における特徴領域における分岐点（ＣＴ座標系により特定できる位置）のような特定の位置との間の距離を算出（推定）することもできる。　
　このため、位置推定部２５ｃは、この位置推定部２５ｃにより推定される挿入部１１の先端の位置と、所定の管腔臓器としての気管支２内における分岐している分岐領域などの特徴領域までの距離を算出する距離算出手段としての距離算出部の機能を有する。上述したように、画像処理部２５は、挿入部１１の先端の位置の情報を推定により取得する位置情報取得手段としての位置推定部２５ｃの機能を有する。この場合、位置合わせ処理部２５ａが位置推定部２５ｃの機能を含む構成と定義しても良い。　
　なお、本明細書においては、挿入部１１の先端は、内視鏡３Ａの先端と同じ意味で用いる。

　また、画像処理部２５は、制御部２６における表示を制御する表示制御部２６ａ等の制御の下で、画像表示手段としてのモニタ３２に表示する画像を生成する。　
　表示制御部２６ａの制御下で、画像処理部２５は、通常は、気管支形状画像生成部２３ａにより生成された気管支形状画像２ａの画像信号（映像信号）をモニタ３２に出力する。そして、モニタ３２には図１に示すように気管支形状画像２ａが例えば管腔の中心を通る方向に沿った断面で切り出した２次元断層画像として表示される。なお、２次元断層画像で表示する場合に限定されるものでなく、３次元画像で表示しても良い。３次元画像で表示する場合には、例えば平行投影法による投影図や、管腔内部が分かるように透視図で表示しても良い。　
　また、図２Ａに示すように、モニタ３２において表示される気管支形状画像２ａには、気管支２の管腔の中心を通る芯線３５も表示するようにしている。

　なお、芯線３５は、例えば気管支形状画像生成部２３ａが生成するが、画像処理部２５において芯線３５を生成しても良い。また、画像処理部２５は、気管支形状画像２ａ上に、芯線３５と共に、位置推定部２５ｃにより推定された挿入部１１の先端の位置を重畳する画像等を生成する画像生成部２５ｄの機能を有する。　
　術者等のユーザは、挿入部１１をその先端から気管支２内に挿入する場合、気管支２の３次元形状を表す気管支形状画像２ａ上に芯線３５と挿入部１１の先端の位置とが表示されるため、その表示を参考にすることによって、挿入部１１の挿入の操作が行い易くなる。また、芯線３５に沿って挿入する操作を行うことにより、画像マッチングによる挿入部１１の先端の位置の推定を短時間に行うことができる。　
　また、画像処理部２５は、位置推定部２５ｃにより推定される挿入部１１の先端の位置の情報に基づいて、所定の管腔臓器の管腔径の変化量を検知する管腔径変化量検知手段として（所定の管腔臓器としての気管支２の場合の）気管支径の変化量を検知する気管支径変化量検知部２５ｅを有する。

　この気管支径変化量検知部２５ｅは、位置推定部２５ｃにより推定された挿入部１１の現在の先端の位置に対応するＣＴ座標系から気管支径を取得する気管支径取得手段としての気管支径取得部と、気管支径取得部により取得した気管支径と予め設定された基準の気管支径とを比較する気管支径比較手段としての気管支径比較部の機能を備える。そして、気管支径取得部は、挿入部１１の挿入操作中における推定された挿入部１１の先端の各位置の気管支径を順次取得することにより、その変化量、つまり気管支径の変化量を検知する。　
　また、気管支径比較部は、順次取得された現在の気管支径と、基準の気管支径とを比較する。そして、本実施形態においては、現在の気管支径が基準の気管支径より小さい場合を、ＶＢＳ画像を含む所定の情報を記録する場合の第１の条件とする。

　また、本実施形態においては、画像処理部２５は、撮像装置１６により撮像された内視鏡画像（単に画像とも言う）内における特徴部の変化量を検知する画像変化量検知手段としての画像変化量検知部２５ｇを有する。　
　このように本実施形態は、第１の変化量検知手段としての気管支径変化量検知部２５ｅと、第２の変化量検知手段としての画像変化量検知部２５ｇとを有する。第１の変化量検知手段としての気管支径変化量検知部２５ｅは、第１の条件を満たすか否かの検知（判定）に用いられる。　
　また、第２の変化量検知手段としての画像変化量検知部２５ｇは、内視鏡画像内における特徴部の変化量が設定値ΔＤｔｈより大きいか否かの第２の条件を満たすかか否かの検知に用いられる。そして、本実施形態においては、第１の条件を満たす状態において、さらに第２の条件を満たす（所定の条件を満たす）場合に、ＶＢＳ画像を含む情報を記録する。

　画像変化量検知部２５ｇは、特徴部としての気管支径（気管支２の内径）の変化量を検知する気管支径変化量検知部２５ｈ、分岐領域における明るさの変化量、又は分岐領域における特徴領域の明るさの変化量を検知する明るさ変化量検知部２５ｉ、分岐領域における形状変化量、又は分岐領域における特徴部の形状変化量を検知する形状変化量検知部２５ｊを有する。　
　また、形状変化量検知部２５ｊは、気管支２の管腔が分かれる（分岐する）スパー（分岐点又は分岐境界）の長さや角度の変化量を分岐領域（における特徴部）の形状変化量として検知するスパー変化量検知部２５ｋを有し、また明るさ変化量検知部２５ｉは、後述する視野不良検知部２５ｌの機能を有する。視野不良検知部２５ｌの機能を明るさ変化量検知部２５ｉが備える場合に限定されない。　
　なお、上記制御部２６は、位置推定部２５ｃにより推定した挿入部１１の先端の位置により経路データ生成部２９ａによって、（内視鏡３Ａの挿入部１１の挿入前に）生成された経路データを補正するようにしても良い。

　また、制御部２６は、気管支径変化量検知部２５ｅによる検知結果と、画像変化量検知部２５ｇによる検知結果とが記録するための所定の条件を満たすか否かの判定を行う条件判定部２６ｂの機能を有する。　
　制御部２６における条件判定部２６ｂは、所定の条件を満たすと判定した場合には、所定の条件を満たすと判定した場合の位置推定部２５ｃにより推定した挿入部１１の先端の位置及び姿勢の情報と、該位置及び姿勢の情報に対応するＶＢＳ画像とを関連付けた所定の情報、つまり位置及び画像情報を（再度の位置合わせの際に提示する候補情報として）情報記録部２７に記録させる。　
　このため、情報記録部２７は、気管支径変化量検知部２５ｅによる検知結果と、画像変化量検知部２５ｇによる検知結果とに基づいて、挿入部１１の先端の位置及び姿勢の情報と、該位置及び姿勢の情報に対応するＶＢＳ画像とを関連付けた候補情報となる所定の情報を記録する情報記録手段の機能を有する。

　また、制御部２６の条件判定部２６ｂは、情報記録部２７に所定の情報を記録する制御を行う情報記録制御手段としての情報記録制御部２６ｃの機能を有する。情報記録制御部２６ｃは、管腔径変化量検知手段としての気管支径変化量検知部２５ｅが検知した気管支径が、基準の気管支径より小さく、かつ画像変化量検知部２５ｇが検知したスパー等の特徴部の変化量が設定値以上に変化した場合に、情報記録部２７がＶＢＳ画像を含む所定の情報を記録するように制御する。なお、気管支径変化量検知部２５ｅによる検知結果と、画像変化量検知部２５ｇによる検知結果とが記録するための所定の条件を満たすか否かの判定を制御部２６内の条件判定部２６ｂが行う代わりに、気管支径変化量検知部２５ｅと画像変化量検知部２５ｇとがそれぞれ第１の条件と第２の条件を満たすか否かの判定を行うようにしても良い。このため、条件判定部２６ｂの機能を画像処理部２５が備える構成にしても良い。　
　また、制御部２６の例えば表示制御部２６ａは、例えば術者が現在の挿入部１１の先端の推定された位置の精度が低いと思うような場合等、再度の位置合わせを行うために、入力装置３１から、再度の位置合わせを行う指示信号が入力されたような場合には、情報記録部２７に記録された所定の情報を読み出し、画像処理部２５を介してモニタ３２に候補情報として表示するように制御する。

　この場合、画像処理部２５は、気管支形状画像２ａ上に情報記録部２７から読み出した候補情報を、重畳して表示する画像を生成する画像生成部２５ｄを有する。具体的には、気管支形状画像２ａ上に、挿入部１１の先端の位置及び姿勢と、該位置及び姿勢に対応するＶＢＳ画像とを重畳して表示する。なお、後述するように図２Ｄは、モニタ３２に表示される気管支形状画像２ａ上に、挿入部１１の先端の位置を該位置に対応した位置に表示すると共に、該位置に対応するＶＢＳ画像を該位置に（線で）関連付けて重畳して表示した様子を示す。　
　術者は、候補情報を参考にして、再度の位置合わせを行い、位置合わせ処理部２５ａ又は位置推定部２５ｃは挿入部１１の先端の位置及び姿勢の情報を気管支２の座標系（ＣＴ座標系）と対応付けた状態で取得することができる。そして、再度の位置合わせにより、位置推定部２５ｃは、所定の精度を確保して、再度の位置合わせした位置から再び挿入部１１の先端を気管支２の深部側に挿入する操作を行うことができる。

　本実施形態においては、上述したように、気管支径変化量検知部２５ｅによる検知結果が第１の条件を満たし、画像変化量検知部２５ｇによる検知結果が第２の条件を満たす（つまり第１の条件と第２の条件からなる所定の条件を満たす）判定結果の場合に、その判定結果が得られた場合の（推定された）挿入部１１の先端の位置及び姿勢と、該位置及び姿勢に対応するＶＢＳ画像とを含む所定の情報を候補情報として情報記録部２７に記録するようにしている。なお、上記先端の位置及び姿勢における少なくとも位置を含むように、候補情報となる所定の情報を情報記録部２７に記録するようにしても良い。　
　上記のように互いに異なる複数の条件を満たす場合に所定の情報（単に情報とも記す）を記録することにより、再度の位置合わせを行う場合、適度の情報量（又は数）の候補情報を表示手段としてのモニタ３２において表示（又は提示）することができるようにしている。

　本実施形態においては、撮像装置１６により撮像された内視鏡画像における所定の管腔臓器としての気管支２に関する気管支径等の特徴部の変化量を画像変化量検知部２５ｇにより検知し、少なくとも該画像変化量検知部２５ｇによる検知結果に基づいて、前記検知結果の際の挿入部１１の先端に位置及び姿勢（の情報）と、該位置及び姿勢に対応するＶＢＳ画像とを含む所定の情報を（再度の位置合わせを行う際に提示する場合の候補情報として）情報記録部２７に記録する。　
　術者等のユーザは、撮像装置１６により撮像した内視鏡画像を観察しながら挿入部１１を挿入する操作を行うために、情報を記録する条件または状況を把握し易い。また、再度の位置合わせを行う際に提示される候補情報は、内視鏡画像中における特徴部の変化量が挿入部１１の先端の位置の移動に対して敏感に変化するようなものに設定し易くできるため、画像比較による位置合わせも行い易いものとなる。

　なお、情報記録部２７に記録する情報は、挿入部１１の先端の位置及び姿勢と、対応するＶＢＳ画像とを含むが、更に前記位置及び姿勢の情報に対応する内視鏡画像も含むように記録しても良い。　
　また、画像処理部２５は、内視鏡画像とＶＢＳ画像との両画像を比較して画像マッチングを行う際に、内視鏡画像やＶＢＳ画像を一時的に記憶したり、画像処理のワークエリアとして用いる画像メモリ２６ｆを有する。なお、画像処理部２５の外部に画像メモリ２５ｆを設けるようにしても良い。　
　また、本実施形態において、例えば入力装置３１は、気管支径変化量検知部２５ｅが検知する気管支２の内径の変化量に関する第１の条件と、画像変化量検知部２５ｇが検知する特徴部の変化量に関する第２の条件とのそれぞれを選択的に指定（又は設定）する指定部３１ａを有する様な構成にしても良い。

　また、例えば情報記録部２７は、上述した候補情報となる所定の情報（位置及び画像情報）を記録する他に、第１の条件の条件情報と第２の条件に関する第２の条件の条件情報とを予め記録する条件情報記録部２７ａを有するようにしても良い。なお、情報記録部２７と別体で条件情報記録部２７ａを備える構成にしても良い。　
　第１の条件の条件情報は、（ａ）予め設定した基準の気管支径Ｄｒｅと現在の（挿入部１１の先端での）気管支径Ｄａの差分（変化量）、（ｂ'）術者等のユーザが設定した基準位置での基準の気管支径Ｄｒｅと現在の気管支径の差分（の変化量）である。なお、（ｂ’）をより細分化して、（ｂ）予め設定した分岐数の分岐部の気管支径Ｄｒｅと現在の気管支径Ｄａの差分（変化量）、（ｃ）ユーザが設定した任意の位置での基準の気管支径Ｄｒｅと現在の気管支径Ｄａの差分（の変化量）、（ｄ）予め設定した内視鏡挿入長の内視鏡の先端の位置における基準の気管支径Ｄｒｅと現在の気管支径Ｄａの差分（変化量）としても良い。

　第２の条件の条件情報は、（ａ）内視鏡画像における気管支径（内視鏡画像から算出した気管支径）Ｄｅｎの変化、（ｂ）内視鏡画像又は内視鏡画像を表示する表示画面の明るさ変化、（ｃ）内視鏡画像における分岐の形状の変化、（ｄ）内視鏡画像におけるスパーの長さの変化、（ｅ）内視鏡画像におけるスパーの角度の変化、（ｆ）（内視鏡画像における）視野の不良、（ｇ）内視鏡画像の大きなぶれ、（ｈ）内視鏡画像に気管支以外が映ったような変化等である。そして、術者等のユーザが、（ａ）～（ｄ）の第１の条件の条件情報と、（ａ）～（ｈ）の第２の条件の条件情報の中から、例えば（入力装置３１の）指定部３１ａから選択的に指定することができるようにしても良い。　
　この場合、制御部２６は、指定部３１ａによる指定に対応して、第１の条件と第２の条件の設定を行う条件設定部２６ｄの機能を有する。

　条件設定部２６ｄは、第１の条件と第２の条件の設定を行う際に、条件判定部２６ｂが判定する際に用いる閾値情報等の設定も行うようにしても良い。なお、閾値情報も情報記録部２７に、第１の条件及び第２の条件の情報と対応付けて記録するようにしても良い。また、第１の条件及び第２の条件の情報における一方の条件（例えば第２の条件）の条件情報のみを条件情報記録部２７ａに記録するようにしても良い。　
　また、本実施形態においては、位置情報取得部手段としての位置推定部２５ｃが画像比較部２５ｂの比較結果に基づく挿入部１１の先端の位置情報の取得に失敗した場合、又は情報記録部２７に記録された所定の情報を候補情報として提示させるための指示信号が発生した場合に、前記情報記録部２７に記録された前記所定の情報における前記挿入部１１の先端の位置を気管支形状画像２ａにおける対応する位置に表示すると共に、該先端の位置に対応するＶＢＳ画像を表示するように制御する表示制御部２６ａと、を備え、位置推定部２５ｃ又は位置合わせ処理部２５ａは、情報記録部２７から読み出されたＶＢＳ画像と、撮像手段により撮像された現在の内視鏡画像との比較により、挿入部１１の先端の位置情報を取得する。　
　なお、図１において、例えば画像処理部２５は、ＣＰＵ（中央演算処理装置）により構成することができるが、画像処理部２５内部の位置合わせ処理部２５ａ～画像変化量検知部２５ｇをそれぞれＣＰＵ以外の専用のハードウェアを用いて構成しても良い。また、図１における制御部２６に関しても、ＣＰＵにより構成しても良いし、ＣＰＵ以外の専用のハードウェアを用いて構成しても良い。

　このような構成の内視鏡システム１は、予め取得した被検体における３次元画像情報を記録する画像記録手段としてのＣＴ画像データ記録部２２と、前記３次元画像情報から所定の管腔臓器としての気管支２を抽出する管腔臓器抽出手段としての気管支抽出部２３と、前記管腔臓器抽出手段により抽出された前記所定の管腔臓器の情報に対して所定の視点位置から内視鏡的に描画した仮想内視鏡画像を生成する仮想内視鏡画像生成手段としてのＶＢＳ画像生成部２４と、内視鏡３Ａ又は３Ｂ内に設けられ、前記所定の管腔臓器内を撮像する撮像手段としての撮像装置１６又は１６′と、前記所定の管腔臓器内における前記内視鏡３Ａの挿入部１１の先端の位置情報を取得する位置情報取得手段としての位置推定部２５ｃと、前記内視鏡３Ａ又は３Ｂの挿入部１１の先端の位置情報に基づいて、前記所定の管腔臓器としての気管支２の管腔径の変化量を検知する管腔径変化量検知手段としての気管支径変化量検知部２５ｅと、前記撮像手段により撮像された内視鏡画像内において、前記所定の管腔臓器としての気管支２に関する特徴部の変化量を検知する画像変化量検知手段としての画像変化量検知部２５ｇと、前記管腔径変化量検知手段の検知結果及び前記画像変化量検知手段の検知結果に基づいて、前記内視鏡の挿入部の先端の位置と、該先端の位置に対応する前記仮想内視鏡画像とを含む所定の情報を記録する情報記録手段としての情報記録部２７と、を備えることを特徴とする。

　次に本実施形態の動作を説明する。図４は、本実施形態における代表的な処理を示す。　
　図１の内視鏡システム１の電源が投入され、内視鏡装置４Ａ（又は４Ｂ）と、挿入支援装置５とが動作状態になると、図４における処理がスタートする。図４における最初のステップＳ１において初期設定の処理を行う。この初期設定の処理として、術者は、入力装置３１から本実施形態において挿入支援に用いる情報の入力を行う。この場合、術者は指定部３１ａから第１の条件と第２の条件との指定を行う。また、条件判定部２６ｂは、指定された第１の条件と第２の条件に対応した判定を行う状態になる。　
　術者が、第１の条件として、（ａ）予め設定した気管支径（基準の気管支径）Ｄｒｅと現在の気管支径Ｄａの差分を指定し、第２の条件として内視鏡画像での気管支径Ｄｅｎの変化を指定した場合を（Ａ）として、以下に説明する。

　（Ａ）予め設定した基準の気管支径Ｄｒｅと現在の気管支径Ｄａの差分と、内視鏡画像での気管支径Ｄｅｎの変化（変化量）を指定した場合
　上記（Ａ）の場合においては、本実施形態は、現在の気管支径Ｄａが、設定された基準の気管支径Ｄｒｅより小さい条件を満たす場合において、さらに内視鏡画像から算出した気管支径Ｄｅｎの変化量ΔＤｅｎが予め設定された閾値又は設定値ΔＤｔｈ以上に変化した場合に所定の情報を記録することになる。　
　上記基準の気管支径Ｄｒｅを設定することにより、記録を必要としない例えば気管支２の入り口付近等の挿入部位での情報の記録を行わないで、術者が記録を望む挿入部位において所望の情報を記録することができるようにする。また、気管支２の入り口付近等の挿入部位においては、気管支径が太く、また術者は、挿入部１１の意志どおりに操作しやすい領域となるのため、挿入部１１の先端の位置が気管支２のどこにいるのかは把握しやすい。また、最初の位置合わせを行う位置付近の領域となるため、挿入部１１の先端の位置の推定を精度良く行うことができる。

　これに対して、気管支２のある程度末梢側の領域では挿入部１１の挿入の操作がしにくくなり、また気管支２も細くなるため先端の位置が気管支２のどこにいるのか分かりにくくなる傾向とあると共に、最初の位置合わせした位置から離れた距離の管腔部位となるため、位置推定の精度も低下し易い傾向となる。　
　そのため、術者は、再度の位置合わせを行うための候補情報として用いる情報を望む場合がある。そのような場合、術者は、記録を望む部位での気管支径に相当する基準の気管支径Ｄｒｅを設定する。そして、後述するように術者が記録を望むような管腔部位において再度の位置合わせを行い易くする有効な候補情報となるような所定の情報のみを記録することができるようにしている。

　また、内視鏡画像での気管支径Ｄｅｎの変化量ΔＤｅｎが設定された設定値ΔＤｔｈ以上に変化した場合に情報を記録するので、再度の位置合わせを画像の比較によって行うような場合、内視鏡画像での変化量が大きい画像部分を主要な比較対象部分に設定することができる。そして、変化量が大きい比較対象部分の設定により、画像比較による再度の位置合わせを視覚的に行い易く、かつ短時間で終了できるようにする。　
　上記のようにステップＳ１の設定が行われると、ステップＳ２において気管支形状画像生成部２３ａは、（検査前の患者の３次元データから）図２Ａに示すように気管支２の形状画像としての気管支形状画像２ａを生成する。そして、気管支形状画像２ａは、画像処理部２５を経てモニタ３２に出力され、モニタ３２には図２Ａに示すように気管支形状画像２ａが表示される。また、上述したように気管支形状画像２ａ上に、気管支２の管腔の中心を通る芯線３５が表示される。芯線３５と、分岐点Ｂｉの各位置は、ＣＴ座標系において特定される既知の３次元位置となる。

　次のステップＳ３において、術者は内視鏡３Ａの挿入部１１を気管支２内に挿入する。この場合、術者は、気管支２の入口などの既知の位置において、画像比較部２５ｂを用いて撮像装置１６（又は１６′）による内視鏡画像と、ＶＢＳ画像とが設定された条件（所定の精度を確保できる誤差以内）で一致するように画像マッチングによる位置合わせ処理を行う。撮像装置１６′を用いる場合には、撮像装置１６′における一方の撮像装置１６ａ又は１６ｂによる一方の内視鏡画像を採用すれば良い。なお、ステップＳ２とＳ３の順序を入れ替えたり、並行して行うようにしても良い。　
　ステップＳ３の位置合わせ処理後に、ステップＳ４に示すように術者は挿入部１１の先端を位置合わせした位置よりも気管支２の深部側に挿入する。
　挿入部１１が挿入された場合、ステップＳ５に示すように画像処理部２５の位置推定部２５ｃは、一定の時間間隔などにおいて挿入部１１の先端の位置及び姿勢を画像比較部２５ｂを用いた画像マッチングにより推定が成功したか否かを判定する。

　画像マッチングにより推定できた場合には、ステップＳ６に示すように推定した挿入部１１の先端の位置及び姿勢を取得すると共に、該挿入部１１の先端の（現在の）位置に対応する気管支径Ｄａの情報を（ＣＴ画像データ記録部２２又は気管支抽出部２３等から）取得する。　
　これらの情報を例えば画像メモリ２５ｆ等に一時記憶し、図４における処理において必要な場合に参照する。なお、このステップＳ６における挿入部１１の先端の位置及び姿勢の推定の際に、内視鏡画像から気管支径Ｄｅｎも同時に算出するようにしても良い。　
　また、推定した挿入部１１の先端の位置を気管支形状画像２ａに表示する。図２Ａに示すように推定した位置Ｐｊを気管支形状画像２ａ上における該当する位置に表示する。

　ステップＳ６の後のステップＳ７において気管支径変化量検知部２５ｅ又は制御部２６の条件判定部２６ｂは、ステップＳ５において取得した気管支径Ｄａが予め設定した基準の気管支径Ｄｒｅより小さいか否かの判定を行う。取得した現在の気管支径Ｄａが基準の気管支径Ｄｒｅより小さくない場合には、ステップＳ４の処理に戻り、術者は挿入部１１を深部側に挿入する。
　一方、図４におけるステップＳ７の判定処理において、取得した気管支径Ｄａが基準の気管支径Ｄｒｅより小さい場合には、次のステップＳ８において画像変化量検知部２５ｇ（の気管支径変化量検知部２５ｈ）は、内視鏡画像から算出した気管支径Ｄｅｎの変化量（差分）ΔＤｅｎを検知（算出）する。　
　つまり、画像変化量検知部２５ｇは、現在の挿入部１１の先端の位置における内視鏡画像から算出した気管支径Ｄｅｎと、前回において推定された挿入部１１の先端の位置において内視鏡画像から算出した気管支径Ｄｅｎとの変化量ΔＤｅｎを算出する。

　なお、内視鏡画像から算出される気管支径Ｄｅｎは、気管支２の管腔の平均的な値でなく、分岐部において分岐する方向に広がる非円形形状の場合を含む。このため、内視鏡画像から算出した気管支径Ｄｅｎは、気管支２の管腔のほぼ円形に近い基準の気管支径Ｄｒｅより大きくなる場合もあり得る。
　次のステップＳ９において制御部２６の条件判定部２６ｂは、気管支径の変化量ΔＤｅｎが設定値ΔＤｔｈより大きいか否かの判定を行う。気管支径の変化量ΔＤｅｎが設定値ΔＤｔｈより大きくない場合には、ステップＳ４の処理に戻る。　
　一方、気管支径の変化量ΔＤｅｎが設定値ΔＤｔｈより大きい場合には、次のステップＳ１０の処理に進み、条件判定部２６ｂはステップＳ９の判定結果に対応する挿入部１１の先端の位置及び姿勢と、該位置及び姿勢に対応するＶＢＳ画像との所定の情報を（提示する際の候補情報として）、情報記録部２７に記録する。ステップＳ１０における情報の記録後に、ステップＳ４の処理に戻る。なお、ステップＳ９において、気管支径の変化量ΔＤｅｎが設定値ΔＤｔｈより大きいか否かの判定の代わりに、気管支径の変化量ΔＤｅｎが設定値ΔＤｔｈ以上か否かの判定を行うようにしても良い。

　図２Ｂは、図２Ａに示したように挿入部１１の先端が第１の条件、つまりステップＳ７の条件を満たす状態になった以降において、位置推定と共に、内視鏡画像から気管支径Ｄｅｎを取得した様子を示す。　
　図２Ｂに示すように挿入部１１の先端の位置Ｐｊ（図２Ｂにおいては、ｊ＝１，２，…，６）は、位置推定部２５ｃにより例えば一定の時間間隔毎に推定されて取得され、推定された位置Ｐｊは、位置Ｐ１，Ｐ２，…，Ｐ６を経て現在の先端の位置Ｐ７のように移動する。なお、一定の時間間隔毎の場合に限定されるものでなく、一定の距離毎でも良いし、挿入部１１の先端位置の推定の演算をした場合の所定の演算回数毎や、気管支径を算出する演算を行った場合における所定の演算回数毎等でも良い。　
　また、図２Ｂにおいて白丸で示す各位置Ｐｊは、第１の条件（ステップＳ７）を満たす位置であり、黒丸で示す位置Ｐ７は、現在の位置である。

　また、上述の各位置Ｐｊにおいて、計測演算部１８ｄ等により算出された気管支径Ｄｅｎの変化の様子の概略は図２Ｂのようになり、図２ＣはステップＳ７を満たす状態での挿入部１１の先端の移動中において、気管支径Ｄｅｎを算出した位置Ｐ１～Ｐ６と、算出された気管支径Ｄｅｎの変化の様子を示す。なお、各位置Ｐ１～Ｐ６で取得された情報は、画像メモリ２５ｆ等に一時的に記憶され、比較に用いられる。　
　図２Ｂ及び図２Ｃに示すように気管支径Ｄｅｎは、分岐点Ｂｉ付近においてピークとなるように気管支径Ｄｅｎが大きく変化する。このため、位置Ｐ２から位置Ｐ３に移動した場合に、気管支径Ｄｅｎの変化量ΔＤｅｎは設定値ΔＤｔｈより小さい状態から設定値ΔＤｔｈを超える大きな値に変化する。　
　このため、条件判定部２６ｂは、位置Ｐ２から位置Ｐ３に変化した場合における例えば位置Ｐ３の位置及び姿勢と共に、Ｐ３の位置及び姿勢に対応するＶＢＳ画像との所定の情報を（候補情報として）情報記録部２７に記録する。

　なお、Ｐ３の位置からＰ４の位置に変化した場合にも気管支径Ｄｅｎは大きい値から小さい値に変化するが、位置Ｐ３において記録したために位置Ｐ４では記録しない。情報記録部２７にＰ３の位置及び姿勢と共に、対応するＶＢＳ画像との情報を（候補情報として）情報記録部２７に記録する代わりに、Ｐ２とＰ３との間の位置及び姿勢の情報と共に、対応するＶＢＳ画像との情報を記録するようにしても良い。　
　Ｐ３の位置（ほぼ分岐点Ｂｉの位置）の場合のように内視鏡画像における気管支径Ｄｅｎが最大又はピークとなる位置付近で選択的に情報を記録するように設定しても良い。このように記録すると、候補情報を提示し、挿入部１１の先端を再度の位置合わせのために移動した場合の内視鏡画像における気管支径Ｄｅｎに相当する部分の変化が大きいので、画像マッチング（画像比較）による位置合わせを行い易くなる（下記において説明する図２Ｄにおける候補情報は、気管支径Ｄｅｎが最大又はピークとなる分岐点Ｂｉ、Ｂｉ＋１の位置付近で情報を記録した例に相当する）。

　また、術者は、位置合わせを行う場合、内視鏡画像における気管支径Ｄｅｎ部分に注目して、気管支径Ｄｅｎ部分が最大となるように挿入部１１の先端の位置及び姿勢を調整するようにする。このように再度の位置合わせを行う場合、注目すべき部分を把握し易く、かつその値が最大となるように調整すると言った具合に調整内容（調整方針）が明確になるため、画像マッチング（画像比較）による位置合わせを行い易くなる。　
　これに対して、従来例においては、注目すべき部分が明確でないし、挿入部１１の先端の位置及び姿勢の変化に対してどのように調整すべきかの方向付けも不明確となるため、再度の位置合わせに時間がかかってしまう。　
　上述したステップＳ３の位置合わせにより、その位置合わせした位置からの移動距離が小さい場合には、比較的に精度良く位置推定部２５ｃは位置推定を行うことができるが、移動距離が大きくなると、位置推定の精度が低下する場合がある。

　そして、ステップＳ５において位置推定が成功しない場合が発生すると、ステップＳ１１において制御部２６の表示制御部２６ａは、情報記録部２７に記録された所定の情報を読み出し、画像処理部２５に送る。画像処理部２５は、提示情報の画像信号をモニタ３２を出力し、モニタ３２は候補情報を提示する。そして、ステップＳ３の処理に戻る。　
　ステップＳ３において術者は、モニタ３２に表示された候補情報を参考にして、再度の位置合わせを行う。再度の位置合わせを行った後、図４の処理を繰り返し行う。このようにして、挿入部１１を気管支２の末梢側（深部側）に挿入する操作を円滑に行うことが可能になる。　
　図２Ｄは、ステップＳ１１の場合の候補情報の表示例を示す。図２Ｄの候補情報の表示例においては、位置Ｐｋに至るまでに情報記録部２７に記録された挿入部１１の先端の位置（図２Ｄでは気管支径Ｄｅｎの変化量ΔＤｅｎが最大となる位置付近の分岐点ＢｉとＢｉ＋１と、それぞれに対応するＶＢＳ画像とが例えば線で結ぶようにして表示される。なお、分岐点Ｂｉよりも基幹側（挿入口側）の分岐点Ｂｉ－１等も同様に表示しても良い。

　図２Ｄに示すように気管支２における特徴的な領域となる管腔が分岐する分岐点Ｂｉ、Ｂｉ＋１付近でそれぞれ記録した所定の情報を、再度の位置合わせする場合の候補情報として表示する。このように再度の位置合わせに適した各分岐点付近における必要最小限に絞った候補情報を表示する。従って、術者は、再度の位置合わせを円滑かつ短時間に行い易くなる。換言すると、第１の条件と第２の条件とにより、記録する情報を絞り込むようにしているので、再度の位置合わせを行うのに適した情報量の所定の情報を記録することができる。　
　なお、図２Ｄにおいては、分岐点ＢｉとＢｉ＋１とにおける候補画像の提示例を示したが、挿入部１１の先端の位置Ｐｋに対して、推定された位置Ｐｋに最も近い状態において情報記録部２７に記録された情報を候補情報として提示するようにしても良い。図２Ｄに適用した場合には、分岐点Ｂｉ＋１付近で記録された情報のみを候補情報として提示するようにしても良い。

　これに対して、従来例においては、記録する情報を絞り込むようにしていないので、再度の位置合わせの際に表示される候補情報が多すぎたり、不足してしまい、適切なもので再度の位置合わせを行うまでに時間がかかってしまう。　
　また、本実施形態においては、挿入部１１の先端の位置の移動に対して、内視鏡画像における特徴部が大きく変化した場合において、情報を記録するようにしているので、術者等のユーザは、情報を記録する条件を把握し易い。従って、本実施形態は、ユーザが視覚的に把握し易い条件で再度の位置合わせを行うのに適した情報量の所定の情報を記録するができる。　
　また、本実施形態においては、記録された情報を候補情報として表示（提示）して再度の位置合わせを行う場合、挿入部１１の先端の位置の移動に対して、内視鏡画像における特徴部が大きく変化する特性を反映しているので、ユーザは、画像マッチングによる再度の位置合わせを視覚的に行い易くなる。

　また、気管支径Ｄｅｎが先端の位置の移動の軌跡に対して最大（ピーク）となる位置Ｐ３の状態での情報を情報記録部２７に記録すると、再度の位置合わせを行い易くなる。なお、モニタ３２において、図２Ｄにおいて更に２点鎖線で示すように現在の内視鏡画像を、情報記録部２７から読み出して表示する候補情報としてのＶＢＳ画像（及び内視鏡画像）と共に、気管支形状画像２ａ上に重畳した合成画像として表示するようにしても良い。このように現在の内視鏡画像を候補情報に隣接して表示すると、候補情報との画像比較による位置合わせを行い易くできる。　
　また、この場合、候補情報側のＶＢＳ画像を現在の内視鏡画像の表示位置に重ねるように表示位置を移動可能にしたり、候補情報側の内視鏡画像を現在の内視鏡画像の表示位置に重ねるように表示位置を移動可能にする画像移動部を画像処理部２５に設けた構成にしても良い。或いは現在の内視鏡画像の表示位置を候補情報側のＶＢＳ画像の表示位置や、候補情報側の内視鏡画像の表示位置に移動可能にすることができる画像移動部を備えた構成にしても良い。　
　なお、気管支径変化量検知部２５ｅが挿入部１１の先端の位置の情報に基づいて気管支径Ｄａを取得する場合、図５や図６に示す方法で取得しても良い。

　気管支径を取得（計測）する場合、図５に示すように挿入部１１の先端の長手方向（又は軸方向）と垂直な面上となる気管支２の管腔から算出した気管支径Ｄａ１を採用しても良いし、挿入部１１の先端と、該先端から芯線３５に至る垂線を含むように芯線３５と垂直な面に沿って算出した気管支径Ｄａ２を採用しても良い。或いは図６に示すように気管支２の３次元データを管理するＣＴ座標系の座標軸の方向のＤａ３を採用しても良い。換言すると、気管支径変化量検知部２５ｅが挿入部１１の先端の位置の情報に基づいて、先端の長手方向に対して垂直な面における前記所定の管腔臓器の管腔径の変化量を検知しても良いし、気管支２の管腔の中心線となる芯線３５に対して垂直な面における前記所定の管腔臓器の管腔径の変化量を検知しても良い。　
　上述した（Ａ）の場合においては、第１の条件に用いる基準の気管支径Ｄｒｅは、患者に依らず１つ設定していた。これに対して、以下に説明するケース（Ｂ）、（Ｃ）、（Ｄ）においては、患者毎に最適な基準の気管支径を設定することを目的として、患者毎に以下のように基準の気管支径を設定する。

　（Ｂ）予め設定した分岐数の分岐部の気管支径
　術者は、再度の位置合わせを行う際に、参照しようとする候補情報として記録した方が良いと思う分岐数の分岐部を予め決めて入力する設定をする。なお、分岐数とは、気管支における入り口から管腔が分岐している部分としての分岐部の順序に応じて順次番号付けする等して特定し易いように付した識別情報である。術者が予め設定した分岐数に該当する気管支径を気管支抽出部２３またはＣＴ画像データ記録部２２の３次元データから算出し、算出した気管支径を基準の気管支径Ｄｒｅとして設定する。　
　この設定後は、設定した基準の気管支径Ｄｒｅを用いて、（Ａ）のケース（場合）と同様の動作を行う。

　このようにした場合、実際の患者の気管支に応じて基準の気管支径Ｄｒｅを設定できる。このため、体格などが異なる患者の場合においても、実際に挿入部１１が挿入される患者の気管支に対応した基準の気管支径Ｄｒｅを適切に設定できる。　
　また、術者が実際に候補情報として記録することを望む位置の気管支径に対応した基準の気管支径Ｄｒｅを精度良く設定することができる。従って、記録を必要としない情報を無駄に記録することなく、術者が望む候補情報となる有効な情報のみを記録することができる。　
　なお、上述した（Ａ）の場合のように１つの基準の気管支径Ｄｒｅを設定してこの値より小さい気管支径を記録する場合の条件に設定しても良いが、さらに挿入目標となる分岐数が決まっている場合には、２つ目となる基準の気管支径を設定しても良い。

　具体的には、上記のように記録することを望む位置の気管支径に対応した基準の気管支径の分岐数に対応する基準の気管支径Ｄｒｅ０と挿入目標とする分岐数の気管支径に対応する基準の気管支径Ｄｒｅ１との２つを設定し、２つの基準の気管支径Ｄｒｅ０，Ｄｒｅ１との間の気管支径を満たすことを、記録を行う際の条件に設定しても良い。換言すると、第１の条件に関する上限側の基準の気管支径となる１つの基準の気管支径Ｄｒｅの他に、さらに下限側の基準の気管支径を設定し、算出した現在の気管支径Ｄａが下限側の基準の気管支径よりも小さくなった場合には目標とする管腔部位まで挿入できたと判断して記録する動作を終了するようにしても良い。　
　また、上述した分岐数の代わりに、解剖学的に分岐毎に名称が決められている次数を用いるようにしても良い。

　なお、現在の気管支径Ｄａが上記基準の気管支径Ｄｒｅより小さい条件を満たすか否かを検知（算出）する場合、検知（算出）する位置としては図７に示すように芯線３５上の分岐点Ｂｉ、スパーＳｐｉの位置付近に設定しても良い。或いは点線で示すように、分岐点Ｂｉ、又はスパーＳｐｉを中心とした半径Ｒａ，Ｒｂの領域以内に制限するようにしても良い。このような領域を設定する場合、各分岐点Ｂｉ又はスパーＳｐｉ毎に設定しても良い。　
　また、図７とは異なり、図８に示すように分岐点Ｂｉから距離ｄａだけ芯線３５方向に沿って気管支２の入り口（基幹）側に戻った位置Ｐａ、又はスパーＳｐｉから距離ｄａだけ芯線３５方向に沿って気管支２の入り口（基幹）側に戻った位置Ｐｂ、を気管支径Ｄｅｎの変化を検知（算出）する位置として設定しても良い。この場合、芯線３５上の位置Ｐａ又はＰｂから外れた場合の位置を含めるようにしても良い。

　また、上述した挿入部１１の先端の位置Ｐｊにおいて気管支径を算出する場合の方向として、図９や図１０に示すように挿入部１１の先端の軸方向と垂直な面に沿った気管支径Ｄａ１，芯線３５に垂直で面に沿った気管支径Ｄａ２や、ＣＴ座標系の３次元データの座標軸に沿った気管支径Ｄａ３としても良い。　
　また、基準の気管支径Ｄｒｅを算出する方法として、該当する気管支２の最大値／最小値、右肺のみ、左肺のみ、両肺、或いは予め設定した挿入部１１の挿入経路上のみ等としても良い。　
　（Ｃ）術者等のユーザが設定した任意の位置における気管支径
　　検査前に、術者が指定した気管支２上の位置における気管支径をＣＴ座標系の３次元データより算出し、算出した気管支径を基準の気管支径Ｄｒｅに設定する。設定後は、この基準の気管支径Ｄｒｅを用いて、（Ａ）の場合と同様の動作を行う。

　気管支径の算出方法は、図９や図１０に示すように挿入部１１の先端の軸方向と垂直な面に沿った気管支径Ｄａ１，芯線３５に垂直で面に沿った気管支径Ｄａ２や、ＣＴ座標系の３次元データの座標軸に沿った気管支径Ｄａ３としても良い。　
　（Ｃ）の場合は、（Ｂ）の場合とほぼ同様の効果を有する。　
　（Ｄ）予め設定した挿入長の挿入部１１の先端の位置における気管支径Ｄｒｅ
　術者は、予め候補情報を取得した方が良いと思う挿入部１１の挿入長（内視鏡挿入長）を入力装置３１から設定し、例えば画像処理部２５の位置推定部２５ｃが有する距離推定部の機能により、ＣＴ画像データ記録部２２又は気管支抽出部２３の３次元データにおいて設定された前記挿入長で到達可能となる気管支２内の位置を全て算出する。　
　算出した各位置における各気管支径を算出し、その平均値を基準の気管支径Ｄｒｅとして設定する。

　この設定後は、（Ａ）の場合と同様の動作を行う。（Ｄ）の場合、（Ｂ）の場合とほぼ同様の効果を有する。　
　なお、気管支径の算出方法は、図９や図１０に示すように挿入部１１の先端の軸方向と垂直な面において算出した気管支径Ｄａ１，芯線３５に垂直な面において算出した気管支径Ｄａ２や、ＣＴ座標系の３次元データの座標軸に沿った気管支径Ｄａ３としても良い。　
　また、基準の気管支径Ｄｒｅを算出する方法として、該当する気管支２の最大値／最小値、右肺のみ、左肺のみ、両肺、或いは予め設定した挿入部１１の挿入経路上のみ等としても良い。

　上述した（Ａ）～（Ｄ）においては、画像変化量検知部２５ｇが内視鏡画像における気管支径Ｄｅｎの変化を検出する気管支径変化量検知部２５ｈの場合を説明したが、以下の（Ｅ）～（Ｋ）のような他の変化量を検知するようにしてもよい。（Ｅ）内視鏡画像における内視鏡画像（画面）の明るさの変化、（Ｆ）分岐の形状の変化、（Ｇ）スパーの長さの変化、（Ｈ）スパーの角度の変化、（Ｉ）視野の不良、（Ｊ）内視鏡画像における気管支の分岐以外の変化を監視する動作の説明図、（Ｋ）内視鏡画像における特徴部のぶれの変化、を検知しても良い。（Ｅ）～（Ｋ）における（Ｅ）の場合から順次説明する。　
（Ｅ）内視鏡画像における内視鏡画像（画面）の明るさの変化を検知する場合、
　（Ｅ）の場合には、予め設定した一定時間の時間間隔で、（画像変化量検知部２５ｇの）明るさ変化量検知部２５ｉは、内視鏡画像を取得し、取得した内視鏡画像内で暗部の面積を監視する動作を継続して行う。取得した場合の挿入部１１の先端の位置を図１１においてＰ１，Ｐ２，…，Ｐ５で示している。

　暗部の面積とは、内視鏡画像における明るさが、規定値以下となる画像部分の合計面積を指す。図１１においては、気管支２内における挿入部１１の先端前方側の管腔部分における分岐部分が暗部として認識される。　
例えば、位置Ｐ１から位置Ｐ２に移動した場合における暗部の面積変化は小さいが、位置Ｐ３においては分岐している分岐領域に近づくために、位置Ｐ２と比較して暗部の面積が大きく変化している。明るさ変化量検知部２５ｉ又は条件判定部２６ｂは、暗部の面積が設定値以上に大きく変化したことを検知した場合、変化した位置（図１１の場合にはＰ３）において、情報記録部２７にＶＢＳ画像を含む（所定の）情報を記録するように制御する。　
　なお、暗部として検出される分岐部分の数の変化（例えば２個から１個，又は１個から２個の変化）に基づいて、暗部の面積の大きな変化量として検知することにより、その際に情報記録部２７にＶＢＳ画像を含む情報を記録するようにしても良い。

　また、明るさの変化量として、暗部の面積の変化量から検出する場合に限定されるものでなく、内視鏡画像の明るさの平均値を算出し、平均値が閾値以上の変化量となった場合に、情報記録部２７にＶＢＳ画像を含む情報を記録するようにしても良い。　
　内視鏡画像を取得する間隔は、一定時間毎、又は一定距離毎の他に、挿入部１１の先端位置を取得するタイミングと連動させても良い。なお、ＶＢＳ画像を含む情報を記録する場合、暗部の面積等の明るさが設定値以上変化した位置に限らず、その前後の位置としても良い。　
　上記のように位置Ｐ３の位置で情報を記録した場合、、画像中の特徴部の変化量として暗部の面積等、術者が視覚的に比較し易い変化量を採用しているので、候補情報として表示した場合にも、位置合わせの状態を視覚的に行い易い。

　（Ｆ）分岐の形状の変化を検知する場合、
　図１２は気管支２の分岐形状の部分を抽出した状態で示している。この場合には図１２に示すように挿入部１１を気管支２内に挿入した場合、画像変化量検知部２５ｇの形状変化量検知部２５ｊは、内視鏡画像における特徴部の形状の変化量を検知する。　
　より具体的には、図１２に示す位置Ｐ１，Ｐ２，…，Ｐ５で示すように例えば一定間隔又は一定時間間隔で形状変化量検知部２５ｊは、内視鏡画像を取得し、取得した内視鏡画像内で例えば気管支２の分岐形状を監視する動作を継続して行う。　
　図１２おいては各位置Ｐｊ（ｊ＝１，２，…，５）で取得した内視鏡画像と共に、気管支２の分岐形状を抽出した状態で示す。

　具体的には、位置Ｐ１から位置Ｐ２に移動した場合における気管支分岐形状の変化は小さいが、位置Ｐ３においては分岐している分岐領域に近づくために、位置Ｐ２と比較して気管支分岐形状が大きく変化している。形状変化量検知部２５ｊは、気管支分岐形状が（設定値以上に）大きく変化したことを検知した場合、変化した位置（図１２ではＰ３）において、情報記録部２７にＶＢＳ画像を含む情報を記録する。　
　内視鏡画像を取得する間隔は、一定時間毎、又は一定距離毎の他に、挿入部１１の先端位置を取得するタイミングと連動させても良い。　
（Ｆ）の場合には、画像中の特徴部の変化量として気管支分岐形状の変化のように、術者が視覚的に比較し易い変化量を採用しているので、候補情報として表示した場合にも、位置合わせの状態を視覚的に行い易い。

　（Ｇ）スパーの長さの変化を検知する場合、
　この場合には図１３（Ａ）に示すように挿入部１１を気管支２内に挿入した場合、画像変化量検知部２５ｇのスパー変化量検知部２５ｋは、内視鏡画像におけるスパーの長さの変化量を検知する。図１３（Ａ）おいては各位置Ｐｊ（ｊ＝１，２，…，５）で取得した内視鏡画像と共に、スパーの長さを抽出した状態で示す。なお、スパーの長さとは、気管支２の管腔が二股の分岐している分岐部における境界の長さである。　
　図１３（Ａ）に示すように一定間隔又は一定時間間隔の位置Ｐ１，Ｐ２，…，Ｐ５において、（画像変化量検知部２５ｇの）スパー変化量検知部２５ｋは、内視鏡画像を取得し、取得した内視鏡画像内で例えば気管支２のスパーの長さを監視する動作を継続して行う。

　　図１３（Ｂ）は挿入部１１の先端の位置Ｐｊと、スパーの長さの関係を示す。図１３（Ａ），図１３（Ｂ）から分かるように例えば、位置Ｐ１から位置Ｐ２に移動した場合におけるスパーの長さの変化は小さいが、位置Ｐ３においては分岐している分岐領域に近づくために、位置Ｐ２と比較してスパーの長さが大きく変化している。スパー変化量検知部２５ｋは、スパーの長さが（設定値以上に）大きく変化したことを検知した場合、変化した位置（図１３ではＰ３）において、情報記録部２７にＶＢＳ画像を含む情報を記録するように制御する。　
　内視鏡画像を取得する間隔は、一定時間毎、又は一定距離毎の他に、挿入部１１の先端位置を取得するタイミングと連動させても良い。　
　（Ｇ）の場合には、画像中の特徴部の変化量として気管支分岐形状の変化のように、術者が視覚的に比較し易い変化量を採用しているので、候補情報として表示した場合にも、位置合わせの状態を視覚的に行い易い。

　（Ｈ）スパーの角度の変化を検知する場合、
　この場合には図１４（Ａ）に示すように挿入部１１を気管支２内に挿入した場合、画像変化量検知部２５ｇのスパー変化量検知部２５ｋは、内視鏡画像におけるスパーの角度（向き）の変化量を検知する。図１４（Ａ）おいては各位置Ｐｊ（ｊ＝１，２，…，５）で取得した内視鏡画像と共に、スパーの角度を抽出した状態で示す。なお、スパーの角度とは、気管支２の管腔が二股の分岐している分岐部における境界部分の長手方向の向き又は、基準方向となす角度である。　
　図１４（Ａ）に示す位置Ｐ１，Ｐ２，…，Ｐ５で示すように例えば一定間隔又は一定時間間隔で（画像変化量検知部２５ｇの）スパー変化量検知部２５ｋは、内視鏡画像を取得し、取得した内視鏡画像内で例えば気管支２のスパーの角度を監視する動作を継続して行う。

　図１４（Ｂ）は挿入部１１の先端の位置Ｐｊと、スパーの角度の関係を示す。図１４（Ａ），図１４（Ｂ）から分かるように例えば、位置Ｐ１から位置Ｐ２に移動した場合におけるスパーの角度の変化は小さいが、位置Ｐ３においては分岐している分岐領域に近づけるために術者は挿入部１１を捩るために、位置Ｐ２と比較してスパーの角度が大きく変化している。スパー変化量検知部２５ｋは、スパーの角度が（設定値以上に）大きく変化したことを検知した場合、変化した位置（図１４ではＰ３）において、情報記録部２７にＶＢＳ画像を含む情報を記録するように制御する。　
　内視鏡画像を取得する間隔は、一定時間毎、又は一定距離毎の他に、挿入部１１の先端位置を取得するタイミングと連動させても良い。　
（Ｈ）の場合には、画像中の特徴部の変化量として気管支分岐形状の変化のように、術者が視覚的に比較し易い変化量を採用しているので、候補情報として表示した場合にも、位置合わせの状態を視覚的に行い易い。

　（Ｉ）視野の不良を検知する場合、
　この場合には図１５に示すように挿入部１１を気管支２内に挿入した場合、画像変化量検知部２５ｇの視野不良検知部２５ｌは、内視鏡画像における視野不良の発生を検知する。　
　視野不良（の発生）は、気管支内で撮像した内視鏡画像において、管腔の先端側の分岐や暗部が識別できる程度に映っているか否かで判定し、汚れが視野全体を覆ってしまうことを想定して、視野不良検知部２５ｌは、内視鏡画像の明るさが所定の明るさよりも暗くなり、暗い領域がほぼ内視鏡画像の全体に及ぶ場合に視野不良と判定する。　
　このため、例えば明るさ変化量検知部２５ｉが視野不良検知部２５ｌの機能を備える。

　図１５においては各位置Ｐｊ（ｊ＝１，２，…，５）で取得した内視鏡画像の概略を示す。位置Ｐ１，Ｐ２，…，Ｐ５で示すように例えば一定間隔又は一定時間間隔で（画像変化量検知部２５ｇの）視野不良検知部２５ｌは、内視鏡画像を取得し、取得した内視鏡画像内で視野不良を監視する動作を継続して行う。図１５に示す例では、位置Ｐ２から位置Ｐ３に移動した場合に視野不良の発生を検知して、変化の直前の位置Ｐ２において、情報記録部２７にＶＢＳ画像を含む情報を記録する。　
　内視鏡画像を取得する間隔は、一定時間毎、又は一定距離毎の他に、挿入部１１の先端位置を取得するタイミングと連動させても良い。　
　（Ｉ）の場合には、画像中の特徴部の変化量として視野不良のように、術者が視覚的に比較し易い変化量を採用しているので、情報を記録した状態を把握し易い。

　なお、上述した形状変化量検知部２５ｊは、気管支内の分岐形状の変化量を検知していたが、以下のように分岐形状から分岐形状以外の構造、形状に変化した場合、換言すると、分岐形状以外に変化したことを検知した場合に情報を記録するようにしても良い。　
（Ｊ）内視鏡画像における気管支の分岐以外の変化を検知する場合、
　この場合には図１６に示すように挿入部１１を気管支２内に挿入した場合、変化量検知部２５ｇの形状変化量検知部２５ｊは、気管支２内を撮像した内視鏡画像における気管支２の分岐が内視鏡画像内に存在しているか否かを監視する動作を継続して行う。そして、術者により挿入部１１の湾曲部１９が湾曲されたり、挿入部１１が捩られたりして、分岐が内視鏡画像内に存在していないと判定した場合には、その直前の位置でのＶＢＳ画像を含む情報を情報記録部２７に記録する。

　図１６に示すように位置Ｐ１，Ｐ２，…，Ｐ５で示すように例えば一定間隔又は一定時間間隔で（画像変化量検知部２５ｇの）形状変化量検知部２５ｊは、内視鏡画像を取得し、取得した内視鏡画像内で例えば分岐形状部分を抽出し、分岐の有無を監視する動作を継続して行う。そして、図１６において位置Ｐ２から位置Ｐ３に移動した場合、分岐が存在しない状態に変化したことを判定し、その変化の直前の位置Ｐ２において、情報記録部２７にＶＢＳ画像を含む情報を記録するように制御する。　
　内視鏡画像を取得する間隔は、一定時間毎、又は一定距離毎の他に、挿入部１１の先端位置を取得するタイミングと連動させても良い。　
（Ｊ）の場合には、画像中の特徴部の変化量として分岐形状の有無の変化のように、術者が視覚的に比較し易い変化量を採用しているので、情報を記録した状態を把握し易い。

　（Ｋ）内視鏡画像における特徴部のぶれの変化を検知する場合、
　この場合には図１７に示すように画像処理部２５は、ＣＣＵ８Ａから順次所定の時間間隔（例えば１／３０ｓ又は１／６０ｓ）で入力される画像信号を画像メモリ２５ｆにおける第１メモリ８１ａと第２メモリ８１ｂに交互に記憶する。例えば、最新となるｎ番目の画像Ｉｎは、第２メモリ８１ｂに記憶され、その１フレーム又は１フィールド前のｎ－１番目の画像Ｉｎ－１は第２メモリ８１ｂに記憶されている。　
　隣接するフレーム又はフィールドで撮像されたｎ－１番目の画像Ｉｎ－１と、ｎ番目の画像Ｉｎとはぶれ量演算処理部８２に入力され、ぶれ量演算処理部８２は、一方の画像（例えば画像Ｉｎ）中において設定した点に対して、他方の画像における対応点をぶれ量を表す動きベクトル量として算出する演算を行う。

　ぶれ量演算処理部８２により算出された動きベクトル量は、ぶれ量判定部８３に入力され、ぶれ量判定部８３は、算出された動きベクトル量をぶれ量と見なして、動きベクトル量の大きさ（絶対値）が規定値を超えるか否かを判定し、判定結果に応じてＶＢＳ画像を含む情報を候補情報として記録したりする。なお、図１に示す条件判定部２６ｂがぶれ量判定部８３の機能を備える構成にしても良い。　
　ぶれ量演算処理部８２は、画像Ｉｎの中心点を中心としたＷ×Ｈピクセルの範囲をテンプレートに設定し、その中心点に対応する画像Ｉｎ－１上の対応点を探索する。対応点の探索は、例えば輝度のＳＡＤ（Sum of Absolute Differences）を算出することにより行われる。テンプレートの画素値をｔ（ｘ，ｙ）、探索対象の画像の画素値をｇ（ｘ，ｙ）とすると、座標（ｕ，ｖ）におけるＳＡＤであるＦ（ｕ，ｖ）は一般に以下の（４）式で算出される。

　　Ｆ（ｕ，ｖ）＝Σ_ｉΣ_ｊ｜ｇ（ｉ＋ｕ，ｊ＋ｖ）－ｔ（ｉ，ｊ）｜　　（４）
　なお、Σ_ｉ，Σ_ｊは、それぞれｉがＮ_Ｗ以内、Ｎ_Ｈ以内のテンプレートの幅Ｗ、高さＨにおいて｜ｇ－ｔ｜を加算する演算を行うことを表し、またテンプレートの幅をＷ、高さをＨとした場合、－Ｗ／２≦Ｎ_Ｗ≦Ｗ／２，－Ｈ／２≦Ｎ_Ｈ≦Ｈ／２とする。また、画像Ｉｎに相当する画像Ｉｎ－１の中心座標を（Ｏｘ，Ｏｙ）とし、Ｏｘ－Ｗ／２≦ｕ≦Ｏｘ＋Ｗ／２，Ｏｙ－Ｈ／２≦ｖ≦Ｏｙ＋Ｈ／２の範囲でＦ（ｕ，ｖ）が算出される。Ｆ（ｕ，ｖ）が最小となるときの座標（Ｅｘ，Ｅｙ）が対応点となる。　
　画像Ｉｎの中心座標（Ｏｘ，Ｏｙ）に対する対応点の座標（Ｅｘ，Ｅｙ）から、動きベクトルｍは（５）式で算出される。　
　ｍ＝（Ｅｘ－Ｏｘ，Ｅｙ－Ｏｙ）・・・（５）
　以上が動きベクトルｍの算出方法である。

　動きベクトルｍの算出により、該動きベクトルｍをぶれ量として算出する処理が終了すると、ぶれ量判定部８３にて動きベクトルｍの大きさを規定値と比較を行い、ぶれ量判定部８３は、動きベクトルｍの大きさが規定値より大きいと判定した場合は、ぶれ量判定部８３は、情報記録部２７に対して規定値を超えるぶれ変化が発生したと判定して、情報記録部２７に対して、ＶＢＳ画像を記録する記録指示信号（又は保存指示信号）を出力する。　
　この記録指示信号を受けた情報記録部２７は、規定値を超えるぶれが発生前の、画像メモリ２５ｆの第１メモリ８１ａの画像を候補画像として記録する。この候補画像を記録する動作は、記録指示信号が入力される度に行われ、情報記録部２７には候補画像が蓄積されていく。

　以上の動作を繰り返すことで、内視鏡画像のぶれが規定値より大きくなった場合の直前の内視鏡画像を候補画像として蓄積していくことが可能となる。尚、内視鏡画像のぶれを検出する方法としては、SHIFT（Scale-Invariant Feature Transform）による演算や、各画像に対応する特徴点を演算することができなかった場合あるいは、画像の周波数解析で高周波成分が規定値以上に減少した場合に、同様に記録するようにしても良い。そのような場合にも同様の効果が得られる。　
　なお、上述した実施形態において、代表的な組み合わせの場合を説明したが、上述した組み合わせ以外の組み合わせにより、情報を記録するようにしても良い。　
　つまり、本発明は上述した実施形態における第１の条件と第２の条件に関する任意の組み合わせの構成、方法の場合も含む。　
　また、条件情報記録手段としての条件情報記録部２７ａは、第１の条件と第２の条件として設定可能な複数の候補条件の情報や候補情報をそれぞれ記録すると説明したが、候補条件の情報や候補情報を用いることなく、第１の条件と第２の条件として設定可能な複数の条件情報（又は情報）をそれぞれ記録しても良い。また、複数の条件情報（又は情報）を記録することなく、術者などが所望とする条件情報を指定するようにしても良い。

　なお、上述の説明においては、入力装置３１等から再度の位置合わせを行う指示信号が制御部２６に入力された場合に、情報記録部２７に記録された情報を候補情報として表示手段としてのモニタ３２に表示（提示）することを説明した。　
　本発明はこの場合に限定されるものでなく、例えば、所定のタイミングで情報記録部２７に記録された情報を候補情報として表示手段としてのモニタ３２で表示（提示）するようにしても良い。　
　例えば入力装置３１等からユーザが制御部２６に対して、候補情報を表示する時間間隔や条件を設定するための入力を行い、制御部２６は、設定された時間間隔又は条件に合致する場合に、情報記録部２７から情報を読み出す制御を行い、画像処理部２５を経てモニタ３２にＶＢＳ画像を含む候補情報を表示するようにしても良い。　
　また、撮像手段により撮像された画像情報及び仮想内視鏡画像を比較する画像比較手段と、情報取得手段に記録された仮想内視鏡画像を所定のタイミングで表示する表示手段と、備えた構成において、情報取得手段が、画像比較手段の比較結果に基づいて撮像手段の少なくとも位置情報を取得する構成にしても良い。　
　なお、気管支径変化量検知部２５ｅが検知した気管支径が基準の気管支径Ｄｒｅより小さく、かつ画像変化量検知手段２５ｇが検知したスパー等の特徴部の変化量が設定値以上に変化した場合に、ＶＢＳ画像を含む情報を情報記録部２７に記録するが、前記変化量が最大値又はピークとなるように変化する場合には、情報記録制御部２６ｃ等がその変化量が最大値又はピークとなる挿入部１１の先端の位置及びその姿勢と、対応するＶＢＳ画像を含む情報を情報記録部２７に記録するようにしても良い。　
　また、本発明は、上述した例えば図１に示した構成に限定されるものでなく、請求項１に記載した基本的な構成（要素）のみにしても良いし、この基本的な構成において、単数又は複数の構成要素を選択的に追加した構成にしても良い。

　本出願は、２０１３年３月２７日に日本国に出願された特願２０１３－６７４０８号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims

　予め取得した被検体における３次元画像情報を記録する画像記録部と、
　前記３次元画像情報から所定の管腔臓器を抽出する管腔臓器抽出部と、
　前記管腔臓器抽出部により抽出された前記所定の管腔臓器の情報に対して所定の視点位置から内視鏡的に描画した仮想内視鏡画像を生成する仮想内視鏡画像生成部と、
　内視鏡内に設けられ、前記所定の管腔臓器内を撮像する撮像部と、
　前記内視鏡の挿入部の先端の位置情報を取得する位置情報取得部と、
　前記内視鏡の挿入部の先端の位置情報に基づいて前記所定の管腔臓器の管腔径の変化量を検知する管腔径変化量検知比較部と、
　前記撮像部により撮像された内視鏡画像内において、前記所定の管腔臓器に関する特徴部の変化量を検知する画像変化量検知部と、
　前記管腔径変化量検知部の検知結果及び前記画像変化量検知部の検知結果に基づいて、前記内視鏡の挿入部の先端の位置と、該先端の位置に対応する前記仮想内視鏡画像とを含む所定の情報を記録する情報記録部と、
　を備えることを特徴とする内視鏡システム。
　前記管腔径変化量検知部は、前記内視鏡の挿入部の先端の長手方向に対して垂直な面における前記所定の管腔臓器の管腔径の変化量を検知することを特徴とする請求項１に記載の内視鏡システム。
　前記管腔径変化量検知部は、前記所定の管腔臓器の管腔の中心線となる芯線に対して垂直な面における前記所定の管腔臓器の管腔径の変化量を検知することを特徴とする請求項１に記載の内視鏡システム。
　前記画像変化量検知部は、前記所定の管腔臓器の管腔が分岐する分岐領域における特徴部の形状変化量を検知することを特徴とする請求項１に記載の内視鏡システム。
　前記画像変化量検知部は、前記所定の管腔臓器の管腔が分岐する分岐領域における特徴領域の明るさ情報の変化量を検知することを特徴とすることを特徴とする請求項１に記載の内視鏡システム。
　前記撮像部により撮像された前記内視鏡画像及び前記仮想内視鏡画像生成部により生成された前記仮想内視鏡画像を比較する画像比較部を更に備え、
　前記位置情報取得部は、前記画像比較部の比較結果に基づいて前記内視鏡の挿入部の先端の前記位置情報を取得することを特徴とする請求項１に記載の内視鏡システム。
　前記所定の管腔臓器の管腔形状画像を生成する管腔形状画像生成部と、
　前記位置情報取得部が前記画像比較部の比較結果に基づく前記内視鏡の挿入部の先端の位置情報の取得に失敗した場合、又は前記所定の情報を提示させるための指示信号が発生した場合に、前記情報記録部に記録された前記所定の情報における前記内視鏡の挿入部の先端の位置を前記管腔形状画像における対応する位置に表示すると共に、該先端の位置に対応する前記仮想内視鏡画像を表示するように制御する表示制御部と、
　を更に備え、
　前記位置情報取得部は、前記情報記録部から読み出された前記仮想内視鏡画像と、前記撮像部により撮像された現在の内視鏡画像との比較により、前記内視鏡の挿入部の先端の位置情報を取得することを特徴とする請求項６に記載の内視鏡システム。
　前記管腔径変化量知部が検知した前記管腔径が、予め設定された基準の管腔径より小さく、かつ前記画像変化量検知部が検知した前記特徴部の変化量が予め設定された設定値以上に変化した場合に、前記情報記録部が前記所定の情報を記録するように制御する情報記録制御部を更に有することを特徴とする請求項１に記載の内視鏡システム。
　前記画像変化量検知部が検知した前記特徴部の変化量が前記設定値を超えて変化する場合には、前記変化量が最大値となる場合に前記情報記録部が前記所定の情報を記録するように制御することを特徴とする請求項８に記載の内視鏡システム。
　更に、管腔径変化量検知部の検知結果と前記画像変化量検知部の検知結果とが所定の条件を形成する第１の条件と第２の条件をそれぞれ満たすか否かの判定を行う条件判定部を有し、前記情報記録部は、前記条件判定部が前記所定を満たす判定結果の場合に、前記所定の情報を記録することを特徴とする請求項１に記載の内視鏡システム。
　更に、前記第１の条件と前記第２の条件としてそれぞれ複数の条件情報を記録した条件情報記録部と、
　前記条件情報記録部から前記第１の条件と前記第２の条件としてそれぞれ使用する条件情報を選択的に指定する指定部と、
　を備えることを特徴とする請求項１０に記載の内視鏡システム。
　前記画像変化量検知部は、前記所定の管腔臓器の管腔が分岐する分岐領域における特徴部の形状変化量として、前記管腔が分岐する分岐境界の長さ、又は前記分岐境界の長手方向の向きの変化が設定値以上変化したか否かを検知することを特徴とする請求項４に記載の内視鏡システム。
　前記条件判定部が、前記所定の条件を満たすと判定した場合、前記情報記録部は、前記挿入部の先端の位置と、前記仮想内視鏡画像とを含む前記所定の情報として、更に前記挿入部の先端の軸方向の情報を記録することを特徴とする請求項１０に記載の内視鏡システム。