JP2017205343A - 内視鏡装置、内視鏡装置の作動方法 - Google Patents

Abstract

【課題】内視鏡観察中に発見した所定の対象物の位置を正確にマーキングできる内視鏡装置等を提供する。【解決手段】撮像部１１を有する内視鏡１と、被検体の３次元モデル画像Ｍ３を生成する３次元モデル画像生成部２２と、撮像時の内視鏡１の位置および方位情報と３次元モデル画像Ｍ３とに基づき被検体の内部の対象物の位置を算出する位置算出部２６と、対象物の位置を３次元モデル画像Ｍ３上に表示する第１画像処理部２３ａと、を備える内視鏡装置。【選択図】図１

Description

本発明は、被検体の３次元モデル画像に関連付けて被検体の内部に存在する所定の対象物を表示する内視鏡装置、内視鏡装置の作動方法に関する。

内視鏡で管腔内を観察する際に、２次元の画像として取得される内視鏡画像を表示すると共に、管腔の３次元モデル画像を生成して表示することにより、観察状況をユーザに提示する観察支援システムとしての機能を備えた内視鏡装置が提案されている。

また、２次元の内視鏡画像により観察を行っているときに、病変あるいは結石などの所定の対象物を発見した場合には、発見時の内視鏡の先端位置をマーキングすることにより、おおよその所定の対象物の位置をユーザに提示する技術も提案されている。

例えば、国際公開ＷＯ２０１３／１３２８８０号には、事前に取得したＸ線画像データおよびＸ線撮影位置データに基づいて結石等の位置を算出し、結石等の位置が重畳表示された３次元データを画像処理して、表示装置に表示するための２次元画像を作成する技術が記載されている。

また、特開平１０−２３４６６２号公報には、サブ画面に表示した立体モデル画像おける、予め記憶している腫瘍等が位置する座標に、腫瘍等を示す図形を作成する技術が記載されている。さらに、該公報には、内視鏡スコープの先端状況（視線方向、視点位置、術者の頭方向）を示すインジケータ画像を、立体モデル画像上に表示することも記載されている。

さらに、国際公開ＷＯ２０１５／１９０１８６号には、位置検出装置で取得された位置情報を、３次元画像に対して位置合わせし、位置合わせされた位置情報で示される位置に、画角表示情報を重畳する技術が記載されている。また、画角表示情報は、フリーズ画角表示ボタンの操作によってフリーズ表示されるようになっている。

そして、特表２００８−５３７７３０号公報には、蛍光透視法で見ることができる放射性不透過性造影剤と、内視鏡観察装置を使用して見ることができる着色色素と、を含むマーキング材料で体腔をマーキングし、視覚的な表示を与える技術が記載されている。

国際公開ＷＯ２０１３／１３２８８０号 特開平１０−２３４６６２号公報 国際公開ＷＯ２０１５／１９０１８６号 特表２００８−５３７７３０号公報

しかしながら、上記国際公開ＷＯ２０１３／１３２８８０号や上記特開平１０−２３４６６２号公報に記載された技術では、結石や病変部などの所定の対象物の位置を、予めＸ線撮影等で取得しておく必要があり、内視鏡で観察中に発見した所定の対象物の位置をマーキングすることには対応していない。

また、上記国際公開ＷＯ２０１５／１９０１８６号や上記特表２００８−５３７７３０号公報に記載された技術は、内視鏡の先端またはその近傍位置をマーキングする技術であるために、マーキングされた位置の近傍のどこかに結石や病変部などの所定の対象物があることは把握できても、所定の対象物の正確な位置を把握することは困難である。

こうして、上記従来の技術では、内視鏡で観察中に発見した所定の対象物の位置を正確にマーキングすることは困難であった。そのために、ユーザが、前回の手技／検査で生成した管腔臓器モデルと、今回の手技／検査の観察状況とを比較しようとしても、比較しているのが同一の対象物であるかどうかを明確に判断することができなかった。

本発明は上記事情に鑑みてなされたものであり、内視鏡観察中に発見した所定の対象物の位置を正確にマーキングすることができる内視鏡装置、内視鏡装置の作動方法を提供することを目的としている。

本発明のある態様による内視鏡装置は、３次元形状をなす被検体の内部を撮像して撮像画像を取得するように構成された撮像部を有する内視鏡と、前記被検体の３次元モデル画像を生成するように構成された３次元モデル画像生成部と、前記被検体の内部に存在する所定の対象物を前記撮像部により撮像したときの前記内視鏡の位置情報および方位情報と、前記３次元モデル画像と、に基づき、前記所定の対象物の位置情報を算出するように構成された位置算出部と、前記所定の対象物の前記位置情報で示される位置を、前記３次元モデル画像上、または前記３次元モデル画像を２次元に展開した２次元展開画像上に表示する第１の画像処理を行うように構成された第１の画像処理部と、を備える。

本発明のある態様による内視鏡装置の作動方法は、内視鏡が有する撮像部が、３次元形状をなす被検体の内部を撮像して撮像画像を取得し、３次元モデル画像生成部が、前記被検体の３次元モデル画像を生成し、位置算出部が、前記被検体の内部に存在する所定の対象物を前記撮像部により撮像したときの前記内視鏡の位置情報および方位情報と、前記３次元モデル画像と、に基づき、前記所定の対象物の位置情報を算出し、第１の画像処理部が、前記所定の対象物の前記位置情報で示される位置を、前記３次元モデル画像上、または前記３次元モデル画像を２次元に展開した２次元展開画像上に表示する第１の画像処理を行う。

本発明の内視鏡装置、内視鏡装置の作動方法によれば、内視鏡観察中に発見した所定の対象物の位置を正確にマーキングすることが可能となる。

本発明の実施形態１の内視鏡装置の構成を示すブロック図。 上記実施形態１において、内視鏡画像および３次元モデル画像を表示する表示装置の表示例を示す図。 上記実施形態１において、３次元モデル画像における結石位置の表示例を示す図。 上記実施形態１において、内視鏡と管腔臓器内の結石との位置関係の一例を示す図。 上記実施形態１において、内視鏡と管腔臓器内の結石との位置関係の他の例を示す図。 上記実施形態１の内視鏡装置の観察時の処理を示すフローチャート。 本発明の実施形態２の内視鏡装置の構成を示すブロック図。 上記実施形態２において、内視鏡の先端部位置をマーキングする例を示す図。 上記実施形態２において、内視鏡の先端部位置から求められる所定の領域をマーキングする例を示す図。 上記実施形態２の内視鏡装置の観察時の処理を示すフローチャート。 本発明の実施形態３の内視鏡装置の、制御部に関連する構成を示すブロック図。 上記実施形態３において、取得時点の異なる複数枚の撮像画像に基づき得られる結石の移動ベクトルと結石以外の移動ベクトルの例を示す図。 上記実施形態３の内視鏡装置の観察時の処理を示すフローチャート。 上記実施形態３の図１３における結石の種類判定の処理を示すフローチャート。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図６は本発明の実施形態１を示したものであり、図１は内視鏡装置の構成を示すブロック図である。

この内視鏡装置は、内視鏡１と、処理システム２とを備え、必要に応じてさらにデータベース３と表示装置４との少なくとも一方を備えていてもよい。以下では、内視鏡装置が、表示装置４を備えている場合を例に挙げて説明し、データベース３をさらに備えている場合については適宜説明する。

内視鏡１は、３次元形状をなす被検体の内部を観察するために、被検体の内部の画像を取得する画像取得装置であり、撮像部１１と、照明部１２と、位置方位検出部１３と、操作部１４と、を備えている。これら内の撮像部１１、照明部１２、および位置方位検出部１３は例えば内視鏡１の挿入部の先端部に配置され、操作部１４は挿入部の手元側に連設されている。

なお、本実施形態においては、３次元形状をなす被検体として腎臓の腎盂腎杯を例に挙げるが、これに限定されるものではなく、複数の管路を有し内視鏡観察が可能な被検体であれば広く適用することができる。

照明部１２は、被検体の内部へ向けて照明光を照射する。

撮像部１１は、照明光を照射された被検体の内部の光学像を光学系により結像して撮像素子等により光電変換を行うことで撮像し、撮像画像を生成して取得する。

位置方位検出部１３は、内視鏡１の挿入部の先端部の３次元位置を検出して位置情報として出力すると共に、内視鏡１の挿入部の先端部が向く方向を検出して方位情報として出力する。例えば、ｘｙｚ座標系を設定する場合には、位置情報は（ｘ，ｙ，ｚ）座標により表され、方位情報はｘ軸周りの角度、ｙ軸周りの角度、およびｚ軸周りの角度により表される（従って、位置方位検出部１３は、例えば６Ｄセンサなどとも呼ばれる）。なお、内視鏡１の位置情報および方位情報は、その他の適宜の方法（例えば極座標系など）を用いて表しても勿論構わない。

操作部１４は、内視鏡１の湾曲操作等を行うものであると共に、マーキング操作を行うための部材を兼ねたものである。なお、マーキング操作は、フットスイッチ等により行ってもよいし、処理システム２に設けられた操作部により行っても構わないし、特定の構成により行うに限定されるものではない。

処理システム２は、内視鏡１を制御すると共に、必要に応じてデータベース３と通信し、内視鏡１から取得された撮像画像、位置情報および方位情報を処理して、表示用の画像データや記録用の画像データを生成し、表示装置４等へ出力するものである。なお、この処理システム２は、単一の装置として構成されていてもよいし、光源装置やビデオプロセッサなどの複数の装置から構成されていても構わない。

この処理システム２は、内視鏡画像生成部２１と、３次元モデル画像生成部２２と、画像処理部２３と、画像合成出力部２４と、照明制御部２５と、制御部２７と、を備えている。

内視鏡画像生成部２１は、撮像部１１から出力された撮像画像に、例えば、デモザイキング処理（または同時化処理）、ホワイトバランス処理、カラーマトリクス処理、ガンマ変換処理などの各種の画像処理を行って、内視鏡画像ＥＩ（図２等参照）を生成する。

３次元モデル画像生成部２２は、被検体の３次元モデル画像Ｍ３（図２等参照）を生成する。

例えば、３次元モデル画像生成部２２は、内視鏡画像生成部２１により生成された内視鏡画像ＥＩと、この内視鏡画像ＥＩを生成する元となった撮像画像が撮像されたときに位置方位検出部１３により検出された位置情報および方位情報と、を制御部２７を介して複数フレーム分取得する。そして、３次元モデル画像生成部２２は、複数フレームの内視鏡画像ＥＩの位置関係を各フレームの位置情報および方位情報に基づき整合させながら、３次元モデル画像Ｍ３を生成するようになっている。この場合には、観察が進むにつれて３次元モデル画像Ｍ３（図２等参照）が次第に構築されることになる。

ただし、３次元モデル画像生成部２２による３次元モデル画像Ｍ３の生成方法は、これに限定されるものではない。例えば、被検体に対する内視鏡検査が２回目もしくはそれ以降であり、過去の内視鏡検査によって生成された３次元モデルデータがデータベース３に既に記録されている場合には、その３次元モデルデータを用いてもよい。あるいは、被検体に対して造影ＣＴ撮影を行って取得したデータがデータベース３に既に記録されている場合には、その造影ＣＴデータを用いて３次元モデル画像Ｍ３を生成するようにしても構わない。

この３次元モデル画像Ｍ３は、例えば、３次元の被検体像をある視線方向から見たときの像であり、視線方向は変更可能となっている（すなわち、視線方向の変更に伴い、３次元モデル画像Ｍ３が回転するようになっている）。

画像処理部２３は、第１画像処理部２３ａを備えている。

第１画像処理部２３ａは、所定の対象物（なお、本実施形態においては所定の対象物として結石４２（図２等参照）を例に挙げるが、病変部でも構わないし、その他の対象物であってもよいし、特定の対象物に限定されるものではない）の位置情報（この所定の対象物の位置情報は、後述する位置算出部２６により算出される）で示される位置を、３次元モデル画像生成部２２により生成された３次元モデル画像Ｍ３上に表示する第１の画像処理を行う。具体的に、第１画像処理部２３ａは、３次元モデル画像Ｍ３上の、所定の対象物である結石４２の位置情報で示される位置に、結石マークＭＫ１を追加すること（つまり、マーキング）を行う。従って、第１画像処理部２３ａは、対象物マーキング部である。

ここでは第１画像処理部２３ａが、第１の画像処理として、所定の対象物の位置情報で示される位置を、３次元モデル画像Ｍ３上に表示する処理を行っているが、これに限定されるものではない。例えば、第１画像処理部２３ａが、第１の画像処理として、所定の対象物の位置情報で示される位置を、３次元モデル画像Ｍ３を２次元に展開した２次元展開画像上に表示する処理を行っても構わない。

画像合成出力部２４は、内視鏡画像生成部２１により生成された内視鏡画像ＥＩと、画像処理部２３により生成された３次元モデル画像Ｍ３と、を１つの画像に合成して、表示装置４へ出力する。

照明制御部２５は、照明部１２が照射する照明光のオン／オフや光量を制御するものである。ここに、照明制御部２５が光源装置であって照明部１２がライトガイド等であってもよいし、照明制御部２５が発光制御回路であって照明部１２がＬＥＤ等の発光源であっても構わない。

制御部２７は、処理システム２の全体を制御し、さらに内視鏡１の制御も行うものであり、上述した内視鏡画像生成部２１、３次元モデル画像生成部２２、画像処理部２３、画像合成出力部２４、および照明制御部２５と接続されている。

そして、制御部２７は、位置算出部２６を備えている。位置算出部２６は、被検体の内部に存在する所定の対象物を撮像部１１により撮像したときの内視鏡１の位置情報および方位情報と、３次元モデル画像Ｍ３と、に基づき、所定の対象物の位置情報を算出する。

データベース３は、例えば院内システム等を介して処理システム２に接続されており、上述したように、３次元モデル画像を生成する際の元データとなる、被検体の造影ＣＴデータ、過去の内視鏡検査によって生成された被検体の３次元モデルデータなどを記録している。

表示装置４は、画像合成出力部２４から出力された内視鏡画像ＥＩおよび３次元モデル画像Ｍ３を含む画像を表示する。

次に、図２は、内視鏡画像ＥＩおよび３次元モデル画像Ｍ３を表示する表示装置４の表示例を示す図である。

表示装置４には、内視鏡画像表示部４ａと、３次元モデル画像表示部４ｂと、が設けられている。

内視鏡画像表示部４ａには、内視鏡画像ＥＩが表示されている。この内視鏡画像ＥＩは、被検体である腎杯４１の内部に存在する、所定の対象物である結石４２を、撮像部１１により撮像して取得された撮像画像に基づき、内視鏡画像生成部２１により生成された画像である。この図２では、結石４２が内視鏡画像ＥＩの中央部に写っており、撮像部１１の光学系のほぼ光軸上に結石４２が位置する例となっている。

３次元モデル画像表示部４ｂには、３次元モデル画像生成部２２により生成された３次元モデル画像Ｍ３が表示されている。この図２には、上述したような、観察が進むにつれて次第に構築されていく３次元モデル画像Ｍ３を示しているために、未観察領域ＵＯＲが存在することを、未観察領域ＵＯＲへの接続部分の表示態様（例えば、色（色相、彩度、明度）、模様、または色と模様の組み合わせなど）を異ならせることで表示している。幾つかの具体例を挙げれば、未観察領域ＵＯＲへの接続部分を赤の色相で表示する（赤色表示）、未観察領域ＵＯＲへの接続部分の彩度を下げて表示する（モノクロ表示）、未観察領域ＵＯＲへの接続部分の明度を上げて表示する（ハイライト表示）、等である。

そして、３次元モデル画像Ｍ３上には、第１画像処理部２３ａにより追加された結石マークＭＫ１と、内視鏡マークＥＬと、が表示されている。この図２に示す例においては、結石マークＭＫ１は例えば球状であり、内視鏡マークＥＬは内視鏡１の挿入部の湾曲形状に沿った曲線状をなしている。なお、３次元モデル画像Ｍ３の内部に位置する結石マークＭＫ１と、内視鏡マークＥＬが視認できるよう３次元モデル画像Ｍ３の透過明度が調整されている。

また、図３は、３次元モデル画像Ｍ３における結石位置の表示例を示す図である。この図３に示すように、内視鏡マークＥＬは表示しなくても構わない。あるいは、内視鏡マークＥＬの表示のオン／オフをユーザが所望に切り替えられるようにしてもよい。

ここで、位置算出部２６による所定の対象物の位置情報の算出について、図４および図５を参照して説明する。３次元モデル画像Ｍ３と内視鏡１の位置情報および方位情報とを用いた位置算出部２６による位置情報の算出方法は、例えば、次のような２通りの方法がある。

第１の方法は、所定の対象物が内視鏡画像ＥＩの中央部に位置すると見なして、所定の対象物の位置情報を算出する簡易的な方法である。

また、第２の方法は、所定の対象物が内視鏡画像ＥＩの中央部からどの方向にどれだけずれているかに基づいて、所定の対象物の位置情報をより正確に算出する方法である。

第２の方法は、第１の方法よりも正確な位置情報を取得できるが、内視鏡画像ＥＩ内の結石４２を画像認識により検出する必要があり、演算処理が複雑になる。従って、内視鏡画像ＥＩの中央部に結石４２が位置する場合には、第１の方法を用いれば足りるし、結石４２を画像認識できない場合には、第１の方法を用いることになる。

これら第１の方法と第２の方法の使い分けとしては、例えば、ユーザが操作部１４等から操作を行ったことによりマーキングを行うためのトリガ信号が生成された場合に第１の方法で結石４２の位置情報を生成し、画像処理部２３による画像認識処理で結石４２が発見されたことによりマーキングを行うためのトリガ信号が生成された場合に第２の方法で結石４２の位置情報を生成する、等である。

第１の方法について、図４を参照して説明する。図４は、内視鏡１と管腔臓器内の結石４２との位置関係の一例を示す図である。

図４に示す例では、内視鏡１の撮像部１１の光学系の光軸上に所定の対象物である結石４２が存在している。

位置算出部２６は、内視鏡１の位置情報で示される位置から、内視鏡１の方位情報で示される方向に延長した直線が、３次元モデル画像Ｍ３と交わる点の位置を、所定の対象物である結石４２の位置情報として算出する。

具体的に、位置算出部２６は、位置方位検出部１３から取得される位置情報に基づき、３次元座標で表される内視鏡１の先端部位置Ｐを算出する。さらに、位置算出部２６は、位置方位検出部１３から取得される方位情報に基づき、内視鏡１の撮像部１１の光学系の光軸方向ベクトルＶＤを算出する。そして、内視鏡１の先端部位置Ｐから、光軸方向ベクトルＶＤに沿って延長した直線が、３次元モデル画像Ｍ３における腎杯４１の内壁と交差した点を、結石４２の位置情報として算出する。

次に、第２の方法について、図５を参照して説明する。図５は、内視鏡１と管腔臓器内の結石との位置関係の他の例を示す図である。

図５に示す例では、内視鏡１の撮像部１１の光学系の光軸上からずれた位置に、所定の対象物である結石４２が存在している。

位置算出部２６は、所定の対象物である結石４２を撮像部１１により撮像して取得された撮像画像における結石４２の位置と、内視鏡１の方位情報で示される方向と、に基づいて、内視鏡１の位置情報で示される位置から結石４２へ向かう視線方向を算出し、内視鏡１の位置情報で示される位置から、視線方向に延長した直線が、３次元モデル画像Ｍ３と交わる点の位置を、結石４２の位置情報として算出する。

具体的に、内視鏡１の先端部位置Ｐから所定の距離に内視鏡画像の投影面ＶＥＩがあると想定したときに、内視鏡１の先端部位置Ｐから光軸方向ベクトルＶＤに沿って延長した直線は、内視鏡画像の投影面ＶＥＩの中心Ｏを通る。

これに対して、内視鏡画像の投影面ＶＥＩにおける結石画像Ｖ４２は、内視鏡画像の投影面ＶＥＩの中心Ｏからずれた位置にあるとする。この場合に位置算出部２６は、内視鏡画像の投影面ＶＥＩの中心Ｏに対する結石画像Ｖ４２の座標と、内視鏡１の先端部位置Ｐから内視鏡画像の投影面ＶＥＩまでの所定の距離と、に基づいて、内視鏡１の先端部位置Ｐから結石画像Ｖ４２へ向かう視線ベクトルＶＥを算出する。そして、内視鏡１の先端部位置Ｐから、視線ベクトルＶＥに沿って延長した直線が、３次元モデル画像Ｍ３における腎杯４１の内壁と交差した点を、結石４２の位置情報として算出する。

上述したように、位置算出部２６による位置情報算出の第１の方法は、３次元モデル画像Ｍ３と、内視鏡１の位置情報および方位情報と、を用いる方法であった。また、位置算出部２６による位置情報算出の第２の方法は、３次元モデル画像Ｍ３と、内視鏡１の位置情報および方位情報と、撮像部１１により撮像された撮像画像に基づいて生成された内視鏡画像ＥＩと、を用いる方法であった。

しかし、位置算出部２６による位置情報の算出方法は、これらに限定されるものではない。例えば、撮影位置の異なる複数枚の撮像画像（あるいは撮像画像に基づいて生成された内視鏡画像ＥＩ）に基づいて、視差を利用したステレオ計測技術を用いて、結石４２の位置情報を算出するようにしても構わない。

次に、図６は、内視鏡装置の観察時の処理を示すフローチャートである。

この処理を開始すると、ステップＳ１からステップＳ７のループを回っている間に新たな結石４２が発見されたか否かを判定する（ステップＳ１）。

この結石４２の発見は、ユーザにより行うか、または画像処理部２３の画像認識処理により自動的に行う。

自動判定を行う場合の結石４２である旨の判定は、例えば、内視鏡画像ＥＩ内に結石４２の輪郭が全て入ったときに行うものする。さらに自動判定を行う場合には、既に発見されている結石４２の位置から所定の半径ｒの球の外部に結石４２が発見された場合に、新たな結石４２が発見されたと判定するものとする。

このような処理を行うことにより、所定の半径ｒの球内に複数の結石４２が存在する場合であっても、結石マークＭＫ１は１つだけ表示されることになり、表示が煩雑になるのを避けて、見易くすることができる。

そして、ステップＳ１において新たな結石４２が発見された場合には、制御部２７がトリガ信号を生成する（ステップＳ２）。このトリガ信号は、ユーザが操作部１４等に対して行ったマーキング操作に基づき、または、画像処理部２３により新たな結石４２が発見されたとの画像認識結果に基づき、制御部２７が生成する。

すると、制御部２７は、トリガ信号が生成された時点の内視鏡１の先端部の位置情報および方位情報を位置方位検出部１３から取得し（ステップＳ３）、トリガ信号がユーザ操作に基づき生成された場合には上述した第１の方法により、トリガ信号が画像認識処理に基づき生成された場合には上述した第２の方法により、視線ベクトルＶＥを算出する（ステップＳ４）。ここに、第１の方法の場合には、光軸方向ベクトルＶＤが視線ベクトルＶＥに一致すると近似することに該当する。

そして、内視鏡１の先端部位置Ｐから視線ベクトルＶＥの方向に延長した直線が、３次元モデル画像Ｍ３における腎杯４１の内壁と交差した点の座標を、結石４２の位置情報として算出する（ステップＳ５）。

第１画像処理部２３ａは、３次元モデル画像Ｍ３上における、ステップＳ５において算出した交点の座標の位置に、例えば球状の結石マークＭＫ１を追加し、必要に応じて内視鏡マークＥＬも追加してから、追加後の３次元モデル画像Ｍ３を画像合成出力部２４へ出力する。ただし、内視鏡マークＥＬについては、トリガ信号の有無に関わらず、リアルタイムの形状が追加されるようになっている。

ここに、第１画像処理部２３ａが用いる３次元モデル画像Ｍ３は、ステップＳ１〜Ｓ６のループにおいて既に結石マークＭＫ１が追加されている画像であるために、ステップＳ１〜Ｓ６のループを繰り返して行うに従って、結石マークＭＫ１の数が増加して行くことになる。ただし、任意の結石マークＭＫ１を、ユーザ操作に応じて所望に取り消すことができるようにしてもよい。

画像合成出力部２４は、内視鏡画像生成部２１からの内視鏡画像ＥＩと、画像合成出力部２４からの３次元モデル画像Ｍ３とを図２に示すように合成して、表示装置４へ出力する。これにより、表示装置４には、結石マークＭＫ１（必要に応じてさらに内視鏡マークＥＬ）が追加された３次元モデル画像Ｍ３が、内視鏡画像ＥＩと共に表示される（ステップＳ６）。

このステップＳ６の処理を行った場合、またはステップＳ１において新たな結石が発見されていなかった場合には、内視鏡観察を終了するか否かを判定する（ステップＳ７）。

ここで、内視鏡観察をまだ終了しないと判定された場合にはステップＳ１へ戻って上述したような処理を繰り返して行い、一方、内視鏡観察を終了すると判定された場合には、この処理を終える。

このような実施形態１によれば、内視鏡１の位置情報および方位情報と、３次元モデル画像Ｍ３と、に基づき、所定の対象物の位置情報を算出するようにしたために、内視鏡観察中に発見した所定の対象物の位置を正確に算出することができる。

また、３次元モデル画像Ｍ３上、または３次元モデル画像Ｍ３を２次元に展開した２次元展開画像上の、算出により得られた所定の対象物の位置にマークを表示するようにしたために、所定の対象物の位置を正確にマーキングすることができる。

こうして、内視鏡観察を行う前のＣＴ撮影等を必須とすることなく、対象物の正確なマーキングを行うことが可能となり、ユーザは、所定の対象物の位置を正確に把握することができる。

さらに、今回の手技／検査で算出した石と、次回の手技／検査で算出する石と、を比較することができるようになるために、より精度の高い診断および治療を行うことができる。

そして、結石マークＭＫ１が追加された３次元モデル画像Ｍ３を用いれば、患者に対する説明を、分かり易く正確に行うことが可能となる。

また、内視鏡１の先端部位置Ｐから光軸方向ベクトルＶＤの方向に延長した直線が、３次元モデル画像Ｍ３と交わる点の位置を、所定の対象物の位置情報として算出する場合には、所定の対象物を画像認識することができない場合でも、結石マークＭＫ１等を表示することが可能となる。

一方、撮像画像における所定の対象物の位置と、光軸方向ベクトルＶＤと、に基づいて、所定の対象物へ向かう視線ベクトルＶＥを算出し、内視鏡１の先端部位置Ｐから視線ベクトルＶＥの方向に延長した直線が、３次元モデル画像Ｍ３と交わる点の位置を、所定の対象物の位置情報として算出する場合には、結石マークＭＫ１等をより正確な位置で表示することが可能となる。
［実施形態２］

図７から図１０は本発明の実施形態２を示したものであり、図７は内視鏡装置の構成を示すブロック図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１では、トリガ信号に応じて結石マークＭＫ１を３次元モデル画像Ｍ３等に追加するようにしていたが、本実施形態では、トリガ信号に応じて結石マークＭＫ１と内視鏡１の例えば先端位置を示す先端マークＭＫ２との何れか一方を３次元モデル画像Ｍ３等に追加するようにしたものとなっている。

まず、本実施形態の内視鏡装置は、図７に示すように、制御部２７が、位置算出部２６に加えて画像処理切替部３１を備え、画像処理部２３が、第１画像処理部２３ａに加えて第２画像処理部２３ｂを備えている。ここに、第１画像処理部２３ａと第２画像処理部２３ｂとは、独立した異なる回路として構成されていてもよいが、同一の回路を兼用する構成であっても構わない。

第２画像処理部２３ｂは、内視鏡１の位置情報から求められる所定の領域を、例えば３次元モデル画像Ｍ３上に表示する第２の画像処理を行う。

画像処理切替部３１は、３次元モデル画像生成部２２により生成された３次元モデル画像Ｍ３に対して行う画像処理を、第１画像処理部２３ａによる第１の画像処理と、第２画像処理部２３ｂによる第２の画像処理と、の何れか一方に切り替える処理を行う。この画像処理切替部３１による画像処理の切り替えは、例えば操作部１４からのユーザによる切り替え操作に基づき行う。

上述した第２画像処理部２３ｂが表示する所定の領域は、内視鏡１の先端部の位置（面積０の領域が点となる）、内視鏡１の先端部の位置を含む腎杯、内視鏡１の先端部の位置を含まない腎杯、などの何れでもよい。

図８は、内視鏡１の先端部位置Ｐをマーキングする例を示す図である。

この図８に示す例では、内視鏡１の先端部位置Ｐ（図４、図５等参照）に対応する先端マークＭＫ２が、内視鏡マークＥＬと共に、３次元モデル画像Ｍ３に対して追加されている。ここに、図８に示す先端マークＭＫ２は六面体となっており、上述した結石マークＭＫ１の球状とは異なっている。このように、第１の画像処理で追加する結石マークＭＫ１と、第２の画像処理で追加する先端マークＭＫ２とは、マークの大きさ、形状、色、模様、あるいはこれらの組み合わせなどの表示態様を異ならせるとよい。

また、図９は、内視鏡１の先端部位置Ｐから求められる所定の領域をマーキングする例を示す図である。

この図９に示す例では、内視鏡１の先端部位置Ｐを含む腎杯の領域を塗りつぶすように、先端マークＭＫ２’が３次元モデル画像Ｍ３に対して追加されている。

続いて、図１０は、内視鏡装置の観察時の処理を示すフローチャートである。

この処理を開始すると、制御部２７は、ユーザの切り替え操作に応じて画像処理切替部３１により選択されているのが、第１画像処理であるか第２画像処理であるかを判定する（ステップＳ１１）。

ここで第１画像処理が選択されていると判定された場合には、図６を参照して説明したのと同様の、結石マークＭＫ１を３次元モデル画像Ｍ３に追加するためのステップＳ１〜Ｓ６の処理を行う。

一方、ステップＳ１１において第２画像処理が選択されていると判定された場合には、操作部１４等からのユーザによるマーキング操作がなされたか否かを判定する（ステップＳ１２）。

ここで、マーキング操作が行われたと判定された場合には、制御部２７がトリガ信号を生成する（ステップＳ１３）。

すると、制御部２７は、トリガ信号が生成された時点の内視鏡１の先端部の位置情報を位置方位検出部１３から取得する（ステップＳ１４）。

第２画像処理部２３ｂは、３次元モデル画像Ｍ３上における、ステップＳ１４において取得した位置情報で示される座標の位置に、例えば六面体の先端マークＭＫ２を追加してから、追加後の３次元モデル画像Ｍ３を画像合成出力部２４へ出力する。

なお、内視鏡１の先端マークＭＫ２についても、３次元モデル画像Ｍ３に表示するのに代えて、３次元モデル画像Ｍ３を２次元に展開した２次元展開画像上に表示しても構わないのは、上述した実施形態１の結石マークＭＫ１の場合と同様である。

画像合成出力部２４は、上述したように画像合成を行うために、表示装置４には、新たな先端マークＭＫ２が追加された３次元モデル画像Ｍ３が、内視鏡画像ＥＩと共に表示される（ステップＳ１５）。

上述したステップＳ６の処理を行った場合、ステップＳ１において新たな結石が発見されていなかった場合、ステップＳ１５の処理を行った場合、またはステップＳ１２においてマーキング操作が行われていないと判定された場合には、ステップＳ７の処理を行って内視鏡観察を終了するか否かを判定する。ここで、内視鏡観察をまだ終了しないと判定された場合にはステップＳ１１へ戻って上述したような処理を繰り返して行う。

こうして、ステップＳ１１〜Ｓ７のループを繰り返して行うに従って、結石マークＭＫ１と先端マークＭＫ２とが増加して行くことになる（内視鏡マークＥＬは、上述したように、リアルタイムの形状が表示される）。なお、上述と同様に、任意の結石マークＭＫ１および任意の先端マークＭＫ２を、ユーザ操作に応じて所望に取り消すことができるようにしてもよい。

一方、ステップＳ７において内視鏡観察を終了すると判定された場合には、この処理を終える。

手技や検査を行う場合に、マーキングは結石４２の位置を示すために用いられるだけでなく、その他の目的にも有効活用することができる。例えば、腎杯に対してマーキングすることで、その腎杯内に残石が無いという情報を残したい場合などである。従って、内視鏡１の先端部の位置をマーキングする第２の画像処理を可能とすることで、このような需要にも応えることができる。

また、例えば、あまり大きくない結石４２が１つだけ存在する場合には、そのまま結石４２を破砕して取り出す処置が行われることがある。これに対して、結石４２が大きい場合や複数ある場合には、結石４２の位置を予め覚えておいて、結石４２を取り出し易い場所に移動してまとめてから、まとめた場所で結石４２を破砕して取り出す処置が行われることがある。このために、結石４２の位置を予め覚えておく際に、正確な結石４２の位置を示す結石マークＭＫ１が有用となる。また、結石４２をまとめておく場所をマーキングする際には、先端マークＭＫ２を利用することができる。従って、こうした用途にも、本実施形態の構成を有効に利用することができる。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、結石マークＭＫ１等を表示する第１の画像処理と、先端マークＭＫ２等を表示する第２の画像処理と、をユーザが所望に切り替えることができるようにしたために、先端マークＭＫ２を、残石が無い腎杯のマーキングや、結石４２をまとめた場所のマーキングなどに適応的に利用することができる。これにより、手技や検査をより効率的に行うことが可能となる。
［実施形態３］

図１１から図１４は本発明の実施形態３を示したものであり、図１１は内視鏡装置の制御部２７に関連する構成を示すブロック図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

本実施形態は、所定の対象物、具体例としては結石４２の種類を判別して、判別した種類に応じて異なる表示態様で結石４２の位置を表示するようにしたものとなっている。

本実施形態の内視鏡装置は、図１１に示すように、制御部２７が、位置算出部２６に加えて判定部３５を備えている。

判定部３５は、所定の対象物を撮像部１１により撮像して取得された撮像画像に基づいて、所定の対象物の種類を判定する。

また、第１画像処理部２３ａは、判定部３５により判定された所定の対象物の種類に応じて、所定の対象物の位置情報で示される位置を表示する際の表示態様を異ならせる。

具体的に、結石４２を、埋没結石と浮動結石とに種類判定する場合の例について、図１２〜図１４を参照して説明する。ここに、埋没結石は、被検体の内部に埋め込まれるなどして移動が被検体と一体的である埋没型の結石、浮動結石は、被検体とは独立して移動可能な浮動型の結石を指す。

まず、図１３は、内視鏡装置の観察時の処理を示すフローチャートである。

この処理を開始すると、上述したステップＳ１〜Ｓ５の処理を行う。ただし、判定部３５により結石４２の種類を判定するには、結石４２の画像認識が必要であるために、ここではトリガ信号が例えば画像認識処理に基づき生成され、視線ベクトルＶＥが上述した第２の方法により算出されているものとする（ただし、ユーザ操作に基づき生成されたトリガ信号に応じて、結石４２の画像認識を行っても構わない）。

そして、ステップＳ５の処理を行った後に、判定部３５が、結石４２の種類を判定する処理を行う（ステップＳ２１）。

ここで、図１４は、図１３における結石４２の種類判定の処理を示すフローチャートである。

この処理に入ると、判定部３５は、例えば、撮像部１１により取得された取得時点の異なる複数枚の撮像画像に基づき、内視鏡画像生成部２１により生成された複数枚の内視鏡画像ＥＩを用いて、図１２に示すような、結石４２の移動ベクトルＶ１（図１２参照）を算出する（ステップＳ３１）と共に、結石４２以外の例えば腎杯４１内壁の移動ベクトルＶ２（図１２参照）を算出する（ステップＳ３２）。

ここに、図１２は、取得時点の異なる複数枚の撮像画像に基づき得られる結石４２の移動ベクトルＶ１と結石４２以外の移動ベクトルＶ２の例を示す図である。

そして、判定部３５は、移動ベクトルＶ１と移動ベクトルＶ２とが、一致するか否かを判定する（ステップＳ３３）。

ここで、移動ベクトルＶ１と移動ベクトルＶ２とが（許容範囲の誤差内で）一致する場合には、判定部３５は、種類判定の対象となっている結石４２が埋没結石であると判定する（ステップＳ３４）。

一方、移動ベクトルＶ１と移動ベクトルＶ２とが（許容範囲の誤差を超えて）一致しない場合には、判定部３５は、種類判定の対象となっている結石４２が浮動結石であると判定する（ステップＳ３５）。

こうして、ステップＳ３４またはステップＳ３５の処理を行って種類判定の結果が得られたら、図１３の処理にリターンする。

図１３の処理に戻ると、第１画像処理部２３ａは、所定の対象物である結石４２が埋没結石であるか浮動結石であるかに応じて、位置を表示する際の結石マークＭＫ１の表示態様を異ならせる。具体的には、結石４２が埋没結石であるか浮動結石であるかに応じて、結石マークＭＫ１の大きさ、形状、色、模様、あるいはこれらの組み合わせを異ならせる、等である。

画像合成出力部２４は、内視鏡画像生成部２１からの内視鏡画像ＥＩと、画像合成出力部２４からの３次元モデル画像Ｍ３とを図２に示すように合成して、表示装置４へ出力する。これにより、表示装置４には、結石４２の種類に応じた結石マークＭＫ１等が追加された３次元モデル画像Ｍ３が、内視鏡画像ＥＩと共に表示される（ステップＳ６Ａ）。

その後は、ステップＳ７の判定を行って、終了しない場合にはステップＳ１へ戻り、終了する場合にはこの処理を終えることは、上述した実施形態１の図６に示した処理と同様である。

また、この実施形態３の変形例として、所定の対象物の大きさを判定するようにしてもよい。この場合には、判定部３５が所定の対象物の大きさを判定し、第１画像処理部２３ａは、所定の対象物の大きさに応じて、位置を表示する際の表示態様を異ならせる。

具体的に、図５に示す内視鏡１の先端部位置Ｐから結石４２までの距離は、３次元モデル画像Ｍ３を用いて算出することができる。一方、結石４２の輪郭から、内視鏡画像ＥＩ内における結石４２の画像の大きさを算出することができる。従って、距離と画像上の大きさとに基づいて、結石４２の実際の大きさを算出することができる。

こうして、判定部により結石４２の実際の大きさが算出されたら、その大きさに応じて、第１画像処理部２３ａが、結石マークＭＫ１の表示態様、具体的には、大きさ、形状、色、模様、あるいはこれらの組み合わせなどを異ならせて表示するようにすればよい。

なお、この実施形態３に示したような構成において、上述した実施形態２で説明したような第１の画像処理と第２の画像処理とを切り替え可能な構成をさらに追加しても勿論構わない。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、撮像画像に基づいて所定の対象物の種類を判定し、判定された種類に応じて表示態様を異ならせるようにしたために、単に結石４２の位置を正確に知ることができるだけでなく、どのような結石であるのかまでを把握することが可能となる。

具体的に、腎杯との移動ベクトルの相違に基づき結石４２が埋没結石であるか浮動結石であるかを判定する場合には、結石マークＭＫ１を見るだけで、何れであるかを認識することができる。

また、結石４２の大きさを判定する場合には、結石マークＭＫ１を見るだけで、どの程度の大きさの結石４２であるかを認識することができる。

なお、上述した各部は、回路として構成されていてもよい。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていてもよいし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

また、上述では主として内視鏡装置について説明したが、内視鏡装置を上述したように作動させる作動方法であってもよいし、コンピュータに内視鏡装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…内視鏡
２…処理システム
３…データベース
４…表示装置
４ａ…内視鏡画像表示部
４ｂ…３次元モデル画像表示部
１１…撮像部
１２…照明部
１３…位置方位検出部
１４…操作部
２１…内視鏡画像生成部
２２…３次元モデル画像生成部
２３…画像処理部
２３ａ…第１画像処理部
２３ｂ…第２画像処理部
２４…画像合成出力部
２５…照明制御部
２６…位置算出部
２７…制御部
３１…画像処理切替部
３５…判定部
４１…腎杯
４２…結石
ＥＩ…内視鏡画像
ＥＬ…内視鏡マーク
Ｍ３…３次元モデル画像
ＭＫ１…結石マーク
ＭＫ２，ＭＫ２’…先端マーク
Ｏ…内視鏡画像の投影面の中心
Ｐ…内視鏡の先端部位置
ＵＯＲ…未観察領域
Ｖ１，Ｖ２…移動ベクトル
Ｖ４２…内視鏡画像の結石画像
ＶＤ…光軸方向ベクトル
ＶＥ…視線ベクトル
ＶＥＩ…内視鏡画像の投影面

Claims (9)

1. ３次元形状をなす被検体の内部を撮像して撮像画像を取得するように構成された撮像部を有する内視鏡と、
   前記被検体の３次元モデル画像を生成するように構成された３次元モデル画像生成部と、
   前記被検体の内部に存在する所定の対象物を前記撮像部により撮像したときの前記内視鏡の位置情報および方位情報と、前記３次元モデル画像と、に基づき、前記所定の対象物の位置情報を算出するように構成された位置算出部と、
   前記所定の対象物の前記位置情報で示される位置を、前記３次元モデル画像上、または前記３次元モデル画像を２次元に展開した２次元展開画像上に表示する第１の画像処理を行うように構成された第１の画像処理部と、
   を備えることを特徴とする内視鏡装置。
2. 前記位置算出部は、前記内視鏡の位置情報で示される位置から、前記内視鏡の方位情報で示される方向に延長した直線が、前記３次元モデル画像と交わる点の位置を、前記所定の対象物の前記位置情報として算出することを特徴とする請求項１に記載の内視鏡装置。
3. 前記位置算出部は、前記所定の対象物を前記撮像部により撮像して取得された前記撮像画像における該所定の対象物の位置と、前記内視鏡の方位情報で示される方向と、に基づいて、前記内視鏡の位置情報で示される位置から前記所定の対象物へ向かう視線方向を算出し、前記内視鏡の位置情報で示される位置から、前記視線方向に延長した直線が、前記３次元モデル画像と交わる点の位置を、前記所定の対象物の前記位置情報として算出することを特徴とする請求項１に記載の内視鏡装置。
4. 前記内視鏡の位置情報から求められる所定の領域を、前記３次元モデル画像上、または前記３次元モデル画像を２次元に展開した２次元展開画像上に表示する第２の画像処理を行うように構成された第２の画像処理部と、
   前記第１の画像処理部による前記第１の画像処理と、前記第２の画像処理部による前記第２の画像処理と、の何れか一方に切り替えるように構成された画像処理切替部と、
   をさらに備えることを特徴とする請求項１に記載の内視鏡装置。
5. 前記第２の画像処理は、前記第１の画像処理による表示とは異なる態様で、前記内視鏡の位置情報から求められる前記所定の領域を表示することを特徴とする請求項４に記載の内視鏡装置。
6. 前記所定の対象物を前記撮像部により撮像して取得された前記撮像画像に基づいて、該所定の対象物の種類を判定するように構成された判定部をさらに備え、
   前記第１の画像処理部は、前記判定部により判定された前記所定の対象物の種類に応じて、該所定の対象物の前記位置情報で示される位置を表示する際の表示態様を異ならせるように構成されていることを特徴とする請求項１に記載の内視鏡装置。
7. 前記所定の対象物は、前記被検体の内部の結石であり、
   前記判定部は、取得時点の異なる複数枚の前記撮像画像に基づき得られる結石の移動ベクトルと結石以外の移動ベクトルとが、一致する場合に埋没結石であると判定し、一致しない場合に浮動結石であると判定するように構成され、
   前記第１の画像処理部は、前記所定の対象物が埋没結石であるか浮動結石であるかに応じて、位置を表示する際の表示態様を異ならせることを特徴とする請求項６に記載の内視鏡装置。
8. 前記判定部は、前記所定の対象物の大きさを判定するように構成され、
   前記第１の画像処理部は、前記所定の対象物の大きさに応じて、位置を表示する際の表示態様を異ならせることを特徴とする請求項６に記載の内視鏡装置。
9. 内視鏡が有する撮像部が、３次元形状をなす被検体の内部を撮像して撮像画像を取得し、
   ３次元モデル画像生成部が、前記被検体の３次元モデル画像を生成し、
   位置算出部が、前記被検体の内部に存在する所定の対象物を前記撮像部により撮像したときの前記内視鏡の位置情報および方位情報と、前記３次元モデル画像と、に基づき、前記所定の対象物の位置情報を算出し、
   第１の画像処理部が、前記所定の対象物の前記位置情報で示される位置を、前記３次元モデル画像上、または前記３次元モデル画像を２次元に展開した２次元展開画像上に表示する第１の画像処理を行うことを特徴とする内視鏡装置の作動方法。

Images