JP7607128B2 - 画像処理装置、内視鏡システム、画像処理装置の作動方法、プログラム及び情報記憶媒体 - Google Patents

Description

本発明は、画像処理装置、内視鏡システム、画像処理装置の作動方法、プログラム及び情報記憶媒体等に関する。

特許文献１には、手術中の画像情報から出血領域を検出する医療画像記録装置が開示されている。この医療画像記録装置は、表示画面において出血領域の周囲にマークを表示する。また、この医療画像記録装置は、出血領域の変化量を、予め設定した閾値と比較することで、出血領域の状態を判定する。

特開２０１１－３６３７１号公報

手術中に生じた出血に対して止血処置を行う場合、術者が止血点を適切に把握できることが望ましい。上記の特許文献１には、画像から出血開始位置を推定し、その出血開始位置を術者に報知する技術が開示されている。しかしながら、特許文献１には、出血位置に対応する止血推奨点を特定すること、或いは、止血推奨点を術者に提示することについて、開示も示唆もされていない。

本開示の一態様は、内視鏡により撮像された手術画像を取得する取得部と、処理部と、を含み、前記処理部は、前記手術画像から第１出血位置を認識し、前記第１出血位置に対応した止血処置の推奨位置である止血推奨点を特定し、前記止血推奨点を前記手術画像に重畳してディスプレイに表示する処理を行う画像処理装置に関係する。

本開示の他の態様は、上記の画像処理装置と、前記内視鏡と、前記ディスプレイと、を含む内視鏡システムに関係する。

本開示の更に他の態様は、内視鏡により撮像された手術画像から第１出血位置を認識し、前記第１出血位置に対応した止血処置の推奨位置である止血推奨点を特定し、前記止血推奨点を前記手術画像に重畳してディスプレイに表示する処理を行う画像処理方法に関係する。

本開示の更に他の態様は、内視鏡により撮像された手術画像から第１出血位置を認識することと、前記第１出血位置に対応した止血処置の推奨位置である止血推奨点を特定することと、前記止血推奨点を前記手術画像に重畳してディスプレイに表示する処理を行うことと、をコンピュータに実行させるプログラムに関係する。

本開示の更に他の態様は、上記のプログラムを記憶する非一時的な情報記憶媒体に関係する。

内視鏡を用いた手術中の止血処置について説明する図。 画像処理装置及び内視鏡システムの第１構成例。 内視鏡システムの第２構成例。 画像処理装置及び内視鏡システムの第３構成例。 画像処理装置が行う処理のフローチャート。 画像処理装置が行う処理の説明図。 学習装置と内視鏡システムの構成例。 事前シミュレーションの手順を示すフローチャート。 事前シミュレーションの説明図。 第３手法において止血推奨点を決定する処理のフローチャート。 第３手法において止血推奨点を決定する処理の説明図。 画像処理装置及び内視鏡システムの第４構成例。 術中における止血候補点抽出のフローチャート。 止血候補点抽出の説明図。 止血の影響を受ける血管の強調表示の例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。

１．第１、第２構成例
まず、内視鏡を用いた手術中の止血処置について説明する。止血処置としては、出血点を焼灼する手法、又は出血点よりも上流の血流を、クリップ等を用いて止める手法等がある。ここでは、出血点よりも上流の血流を、クリップ等を用いて止める止血処置を想定する。

止血処置においては、血管走行を考慮して止血点を決める必要がある。出血点より上流を止血する際に、術者が血管走行を正しく認識できていないと、上手く止血したつもりでも出血が止まらないことがある。例えば、一旦留めたクリップが外れたことで再出血したとき、或いは何らかの理由で新たに出血したとき、出血点より上流の血管にクリップを止め直したい場合がある。しかし、図１の左図に示すように、手術画像において血だまりで血管が見えないため止血点を把握できない可能性がある。或いは、図１の右図に示すように、出血位置より上流で且つ分岐より下流の血管を止血したいが、奥行きのある血管の分岐を正確には把握できない。即ち、臓器表面からの深さによっては、血管走行を把握しにくい場合がある。なお、図１の右図には血管走行の例のみ示すが、実際には、臓器の表面から様々な深さを血管が走行する。

以上のことから、止血処理において、術者が止血点を特定することを支援できるシステムが求められている。具体的には、止血処置において、血管走行を考慮して止血推奨点を提示できるシステムが求められている。

図２は、本実施形態における画像処理装置２００及び内視鏡システム３００の第１構成例である。内視鏡システム３００は、内視鏡１０と制御装置１００と画像処理装置２００とディスプレイ２０とを含む。

内視鏡１０はスコープとも呼ばれ、患者の体内に挿入され、患者の体内を撮影する。内視鏡１０の先端には、体内を撮影する撮像装置と、光源からライトガイドにより導光された照明光を体内に照射する照明レンズと、が設けられる。また、内視鏡１０の先端には、処置具を体内に挿入するための鉗子口が設けられてもよい。内視鏡１０は、消化管等に用いられる軟性鏡であってもよいし、外科手術等に用いられる硬性鏡であってもよい。

制御装置１００は、内視鏡１０の撮像装置から送信された画像信号を画像処理することで内視鏡画像を生成する。また、制御装置１００は、内視鏡システム３００の各部の制御を行う。制御装置１００は、プロセッサユニット又はコントロールボックス等とも呼ばれる。なお、制御装置１００が生成する上記内視鏡画像を、手術画像と呼ぶこととする。即ち、手術画像とは、内視鏡を用いた手術において内視鏡によりリアルタイムに撮像されている画像のことである。

ディスプレイ２０は、制御装置１００が生成した手術画像を表示する。また、ディスプレイ２０は、後述するように、画像処理装置２００が特定した止血推奨点を表示することで、止血推奨点を術者に提示する。ディスプレイ２０は、表示装置又はモニタとも呼ばれる。

画像処理装置２００は、取得部２２０と処理部２１０とを含む。第１構成例において、画像処理装置２００は、制御装置１００とは別に設けられたＰＣ又はサーバ等の情報処理装置である。

取得部２２０は、制御装置１００からの手術画像と、画像診断装置５００からの体内モデルとを取得し、それらを処理部２１０へ出力する。取得部２２０のハードウェアは種々想定できるが、一例としては、画像処理装置２００である情報処理装置の通信インターフェース、或いは、処理部２１０を構成するプロセッサのデータインターフェース等である。

画像診断装置５００は、患者の体内を撮像し、そのデータに基づいて患者の体内モデルを生成する装置である。体内モデルは、内視鏡を用いた手術の前に作成されてもよいし、手術中に内視鏡撮影と並行して作成されてもよい。画像診断装置５００は、例えば、体内を３Ｄ撮像可能なＣＴ（Computed Tomography）、ＭＲＩ（magnetic resonance imaging）又はエコー検査装置等である。

処理部２１０は、手術画像と体内モデルに基づいて、手術画像における止血推奨点を特定し、その止血推奨点を手術画像に重畳してディスプレイ２０に表示させる。処理部２１０は、血管認識部２１１と画像比較部２１２と推奨点決定部２１３とを含む。

血管認識部２１１は、体内モデルから血管走行情報を認識する。血管走行情報は、患者の体内において血管がどのように走行しているかを示す情報であり、血管の位置、血管の分岐、及び血流の方向の情報を含む。また、血管走行情報は、血管の太さ、又は臓器表面からの血管の深さの情報を含んでもよい。体内モデルが、事前にラベリングされた各組織の情報を含む場合には、血管認識部２１１は、その情報から血管走行情報を取得する。或いは、血管認識部２１１は、画像認識等の認識技術を用いて体内モデルから血管走行情報を抽出してもよい。

画像比較部２１２は、手術画像と血管走行情報を比較することで、手術画像と血管走行情報の位置関係を一致させる。例えば、画像比較部２１２は、主要な血管の分岐等を用いて、手術画像に写る血管と血管走行情報における血管とをマッチングすることで、手術画像に写る被写体領域が、血管走行情報において、どの領域に対応するのかを特定する。或いは、血管走行情報は血管以外の臓器又は組織の情報を含んでもよく、画像比較部２１２は、手術画像に写る臓器又は組織と血管走行情報における臓器又は組織とをマッチングしてもよい。

推奨点決定部２１３は、手術画像、血管走行情報、及び画像比較部２１２が特定した手術画像と血管走行情報の対応に基づいて、止血推奨点を特定する。具体的には、推奨点決定部２１３は、手術画像から出血位置を認識し、その出血位置に対応した血管走行情報における出血位置を特定し、その出血位置に対応した止血推奨点を手術画像上において特定する。なお、手術画像から認識された出血位置を第１出血位置とする。また、手術画像と血管走行情報の対応から、第１出血位置に対応した血管走行情報における出血位置を、第２出血位置とする。推奨点決定部２１３は、手術画像に止血推奨点を重畳し、その画像をディスプレイ２０に表示させる。

なお、内視鏡システムの制御装置１００が画像処理装置２００を含む構成としてもよい。図３に、その場合における内視鏡システム３００の第２構成例を示す。内視鏡システム３００は、内視鏡１０と制御装置１００とディスプレイ２０とを含む。なお、既に説明した構成要素についての説明を適宜に省略する。

制御装置１００は、内視鏡画像処理部１１０と画像処理装置２００とを含む。内視鏡画像処理部１１０は、内視鏡１０の撮像装置から送信された画像信号を画像処理することで手術画像を生成し、その手術画像を画像処理装置２００へ出力する。例えば、内視鏡画像処理部１１０は、画像信号に対して現像処理、階調補正処理、ホワイトバランス処理、又はノイズリダクション処理等を行うことで、手術画像を生成する。本構成例における取得部２２０は、処理部２１０を構成するプロセッサのデータインターフェースである。或いは、画像処理装置２００が実装された回路基板上に通信インターフェースが設けられる場合には、取得部２２０は、その通信インターフェースであってもよい。

以上の本実施形態では、画像処理装置２００は、内視鏡１０により撮像された手術画像を取得する取得部２２０と、処理部２１０と、を含む。処理部２１０は、手術画像から第１出血位置を認識し、その第１出血位置に対応した止血処置の推奨位置である止血推奨点を特定し、その止血推奨点を手術画像に重畳してディスプレイ２０に表示する処理を行う。

本実施形態によれば、出血位置に対応した止血推奨点を術者に提示でき、術者は、その提示された止血推奨点を見ることで即座に止血すべき場所を決定できる。これにより、術者が適切な止血点に対して止血処置できる。

なお、第１出血位置とは、手術画像における出血位置のことであり、具体的には、手術画像において、その位置から出血していると認識される位置のことである。第１出血位置は第１出血点とも呼ばれる。止血推奨点とは、第１出血位置における出血を止血するための止血処置を行う位置として推奨される位置のことである。なお、「止血推奨点」等における「点」は一点でなくてもよい。例えば、「点」は、ある程度の広さを有する領域であってもよいし、或いは、複数の点の集合等であってもよい。

また本実施形態では、処理部２１０は、内視鏡１０の被写体における血管走行を示す血管走行情報を認識する。そして、処理部２１０は、手術画像における第１出血位置に対応する血管走行情報における第２出血位置を特定し、その第２出血位置に対応した止血点を止血推奨点として特定する。

本実施形態によれば、手術画像における第１出血位置と、血管走行における第２出血位置とが対応付けられ、その血管走行における第２出血位置から特定された止血推奨点が、術者に提示される。これにより、血管走行を考慮した止血推奨点を術者に提示できる。例えば、図１の右図で説明したように、出血位置よりも上流で且つ分岐の下流で止血することが望ましいが、血管走行を考慮することで、その望ましい止血推奨点を術者に提示できるようになる。

なお、第２出血位置とは、血管走行情報における出血位置のことである。具体的には、画像比較部２１２が対応させた手術画像と血管走行情報の位置関係に基づいて、手術画像における第１出血位置を血管走行情報上に対応させた位置が、第２出血位置である。第２出血位置は、第２出血点とも呼ばれる。

また本実施形態では、血管走行情報は、手術画像を撮像する手法とは異なる手法で撮像された、臓器内部の血管に関する２次元又は３次元の情報である。

本実施形態によれば、手術画像を撮像する手法とは異なる手法で血管走行情報が得られることで、手術画像からは認識できない又は認識が困難な血管走行であっても、血管走行情報を用いて認識可能になる。これにより、血だまり又は臓器表面にない血管等においても、止血推奨点を術者に提示することができ、術者は、その止血推奨点を参照して適切に止血処置できる。

なお、図２では画像診断装置５００が事前に撮像した体内モデルから血管走行情報が認識される例を説明したが、血管走行情報を認識する手法は、これに限定されない。例えば、内視鏡により手術画像とは別に撮像された画像から血管走行情報が認識されてもよい。この場合、例えば手術画像は白色光画像であり、白色光とは異なる特殊光により撮像された特殊光画像から血管走行情報が認識されてもよい。特殊光画像は、事前に撮像されたものであってもよいし、面順次照明等によって手術画像と並行してリアルタイムに撮像されたものであってもよい。特殊光としては、例えばＲＤＩ（Red Dichromatic Imaging）の照明光、ＮＢＩ（Narrow Band Imaging）の照明光、又はそれら両方を想定できる。ＲＤＩは、緑、アンバー及び赤の光を体内に照射することで、深部組織のコントラストを高める撮影手法である。この手法は、臓器表面の血管だけでなく、臓器表面から比較的深い血管を撮影できる。ＮＢＩは、紫及び緑の狭帯域光を体内に照射することで、粘膜表層の血管を強調撮影する手法である。

以上に説明した本実施形態の画像処理装置２００の一部又は全部は、プログラムによって実現されてもよい。具体的には、プログラムは、内視鏡により撮像された手術画像から第１出血位置を認識することと、第１出血位置に対応した止血処置の推奨位置である止血推奨点を特定することと、止血推奨点を手術画像に重畳してディスプレイに表示する処理を行うことと、をコンピュータに実行させる。

この場合、画像処理装置２００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。情報は、例えばプログラムと各種のデータ等である。プログラムには、処理部２１０及び取得部２２０の一部又は全部の機能が記述される。プロセッサは、そのプログラムを実行することで、処理部２１０及び取得部２２０の一部又は全部の機能を実現する。

プロセッサはハードウェアを含み、そのハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、プロセッサは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field Programmable Gate Array）等の集積回路装置でもよい。またプロセッサは、アナログ信号を処理するアンプ回路やフィルタ回路等を含んでもよい。メモリは、ＳＲＡＭ、ＤＲＡＭなどの半導体メモリであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、画像処理装置２００の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

また、上記プログラムは、例えばコンピュータにより読み取り可能な媒体である非一時的な情報記憶媒体に格納できる。情報記憶媒体は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどにより実現できる。半導体メモリは例えばＲＯＭ又は不揮発性メモリである。画像処理装置２００の一部又は全部は、情報記憶媒体に格納されるプログラムとデータに基づいて本実施形態の種々の処理を行う。

２．第３構成例
図４は、画像処理装置２００及び内視鏡システム３００の第３構成例である。第３構成例では、内視鏡システム３００が、内視鏡ディスプレイ２１と推奨点ディスプレイ２２の２つのディスプレイを含む。また、内視鏡システム３００は、比較指定部３０を含む。また、取得部２２０は、診断画像サーバ５１０から体内モデルの３Ｄデータを取得する。なお、既に説明した構成要素についての説明を適宜に省略する。

内視鏡ディスプレイ２１は、制御装置１００が出力した画像処理後の内視鏡画像を表示する。即ち、内視鏡ディスプレイ２１は、止血推奨点等のガイドが重畳されていない手術画像を表示する。推奨点ディスプレイ２２は、推奨点決定部２１３が出力した止血推奨点を表示する。即ち、推奨点ディスプレイ２２は、止血推奨点が重畳された手術画像を表示する。なお、ここでは２つのディスプレイを設ける例を示したが、１つのディスプレイを設け、その第１表示領域に、止血推奨点等のガイドが重畳されていない手術画像を表示し、第１表示領域とは異なる第２表示領域に、止血推奨点が重畳された手術画像を表示してもよい。

診断画像サーバ５１０は、シミュレーション用画像データを保管する。シミュレーション用画像データは、画像診断装置５００が撮像した診断用画像データ、そのデータを基に手術計画時の事前シミュレーションにおいて作成された３Ｄボリュームデータ、又はそれら両方である。取得部２２０は、診断画像サーバ５１０に保管されたシミュレーション用画像データを体内データとして取得する。

比較指定部３０は、手術画像と血管走行情報の比較位置を術者が指定する、画像比較部２１２が出力した比較結果を採用するか否かを術者が指定する、又はそれら両方を行うための操作部である。比較指定部３０は、例えばポインティングデバイス、スイッチ、ボタン、又はタッチパネル等によって実現される。

画像比較部２１２は、手術画像と血管走行情報の比較位置が比較指定部３０から入力されたとき、その比較位置の付近において手術画像と血管走行情報を比較することで、手術画像と血管走行情報の位置関係を対応付ける。また、画像比較部２１２は、比較結果を採用する指示が比較指定部３０から入力されたとき、手術画像と血管走行情報の対応付け結果を推奨点決定部２１３に出力し、比較結果を採用しない指示が比較指定部３０から入力されたとき、手術画像と血管走行情報の対応付け結果を推奨点決定部２１３に出力しない。後者の場合、例えば、術者が比較指定部３０から手術画像と血管走行情報の対応付けを入力してもよいし、画像比較部２１２が再比較を行ってもよい。

画像比較部２１２は、３Ｄデータである血管走行情報と、２Ｄデータである手術画像とを、例えば次のようにマッチング処理する。即ち、手術の内容に応じて、内視鏡と臓器の配置関係はおおよそ決まっており、また、事前シミュレーション等において内視鏡と臓器の配置関係を指定しておくことも可能である。これらの情報から、体内３Ｄデータにおける仮想的な内視鏡カメラの位置と視線方向を、おおまかに推定できる。また、体内３Ｄデータにおいて仮想的な内視鏡カメラから見た臓器、血管又は組織等と、実際の手術画像に写る臓器、血管又は組織等とを比較し、それらが一致する仮想カメラ位置と視線方向を探索することで、詳細な仮想カメラ位置と視線方向を決定できる。このときの、体内３Ｄデータにおいて仮想的な内視鏡カメラの視野に入る血管走行が、実際の手術画像に写る血管走行に対応付けられる。なお、上記はマッチング処理の一例であって、手術画像と血管走行情報をマッチングする手法はこれに限定されず、例えば公知の種々のマッチング技術を採用できる。例えば、上述のように血管走行情報は２Ｄ情報であってもよいが、その場合には２次元画像同士のマッチング処理が用いられてもよい。

図５は、画像処理装置２００が行う処理のフローチャートである。図６は、画像処理装置２００が行う処理の説明図である。

ステップＳ１と図６の上段に示すように、血管認識部２１１は、取得部２２０が診断画像サーバ５１０から取得した体内データに基づいて血管走行情報を認識する。図６の中段に示すように、画像比較部２１２は、手術画像と血管走行情報の位置関係をマッチングする。図６中段において、左の内視鏡画像においてハッチングされた血管領域と、右の血管走行情報において点線で囲まれる血管領域とが、対応付けられていることを示す。

なお、血管認識部２１１は、画像診断装置５００が撮像した診断用画像データから血管走行情報を認識してもよいし、事前シミュレーションにおいて作成された３Ｄボリュームデータから血管走行情報を認識してもよい。また、画像比較部２１２は、特殊光画像から臓器表面の血管を抽出し、その情報を利用することで、より精度の高いマッチングを行ってもよい。

ステップＳ２において、推奨点決定部２１３は、手術画像から出血点を認識する。推奨点決定部２１３は、画像の特徴量に基づく画像認識により手術画像から出血点を検出する、或いは、手術画像から出血点を認識するように機械学習された学習済みモデルを用いて、手術画像から出血点を検出してもよい。

ステップＳ３において、推奨点決定部２１３は、ステップＳ２で出血点が検出されたか否かを判定する。ステップＳ２で出血点が検出されていない場合、ステップＳ２に戻る。図６の下段に示すように、ステップＳ２で出血点が検出された場合、ステップＳ４に進む。このステップＳ２で検出された出血点が、第１出血位置となる。

ステップＳ４において、図６の下段に示すように、推奨点決定部２１３は、血管走行情報において、第１出血位置に対応する第２出血位置を特定する。推奨点決定部２１３は、血管走行情報を参照して血管の走行と分岐を確認する。

ステップＳ５において、推奨点決定部２１３は、ステップＳ４で確認した血管の走行と分岐に基づいて、第２出血位置に対応した止血推奨点を決定する。ステップＳ６において、推奨点決定部２１３は、止血推奨点を手術画像に重畳して推奨点ディスプレイ２２に表示させる。止血推奨点を決定する手法として、例えば、ＡＩなどを用いたルールベースで止血推奨点を判定する第１手法と、事前シミュレーション結果を利用して止血推奨点を決定する第２手法と、ＡＩ又は事前シミュレーションを用いないアルゴリズムで止血推奨点を決定する第３手法と、がある。

まず、第１手法について説明する。術前において、過去情報を参照して学習された学習済みモデルが作成される。過去情報は、出血点と止血点の距離、及び、その距離で止血したときの止血成否結果を含む。術中において、術中の実際の出血点が学習済みモデルに入力され、学習済みモデルが止血推奨点を出力し、その止血推奨点が術者に提示される。これにより、過去の止血成否に基づく適切な止血推奨点を提示できる。また、事前シミュレーションが行われていない場合であっても、止血推奨点の提示が可能となる。

図７は、学習済みモデルを生成する学習装置６００と、その学習済みモデルを用いて止血推奨点を提示する内視鏡システム３００と、の構成例である。

学習装置６００は、処理部６１０と記憶部６２０とを含み、例えばＰＣ等の情報処理装置により構成される。処理部６１０は、ＣＰＵ等のプロセッサである。記憶部６２０は、半導体メモリ又はハードディスクドライブ等の記憶装置である。

記憶部６２０は、教師データ６２１と学習モデル６２２とを記憶する。

教師データは、内視鏡画像ＤＴ１と血管走行情報ＤＴ２と過去情報ＤＴ３とを含む。過去情報ＤＴ３は、過去に行われた止血処置に関する情報であり、出血点と、その出血点に対して実際に止血処置した止血点とを含む。また、上述のように、過去情報ＤＴ３は、出血点と止血点の距離、及び、その距離で止血したときの止血成否結果を含んでもよい。

学習モデル６２２は、内視鏡画像と血管走行情報が入力データとして入力され、その入力データから出血点の認識と止血推奨点の決定とを行い、その出血点と止血推奨点を出力データとして出力する。学習モデル６２２は、機械学習を用いたアルゴリズムで記述されており、例えばＣＮＮ等のニューラルネットワークである。

処理部６１０は、学習モデル６２２に内視鏡画像ＤＴ１と血管走行情報ＤＴ２を入力することで、学習モデル６２２に出血点と止血推奨点を推論させる。処理部６１０は、得られた出血点及び止血推奨点と、過去情報ＤＴ３との誤差を評価し、その誤差に基づいて学習モデル６２２にフィードバックを行うことで、学習モデル６２２に対する学習処理を行う。この例では、過去情報ＤＴ３が正解データに相当する。フィードバックの手法としては、例えば誤差逆伝播法がある。

学習後の学習モデル６２２は、学習済みモデル２３１として、画像処理装置２００の記憶部２３０に記憶される。処理部２１０は、学習済みモデル２３１に内視鏡画像と血管走行情報を入力することで、学習済みモデル２３１に出血点と止血推奨点を推論させる。ここでの内視鏡画像は、術中において内視鏡１０により撮像された画像であり、血管走行情報は、画像診断装置５００を用いて術前又は術中に取得された情報である。処理部２１０は、推論により得られた止血推奨点を内視鏡画像に重畳して推奨点ディスプレイ２２に表示させる。

以上の第１手法では、画像処理装置２００は、学習済みモデル２３１を記憶する記憶部２３０を含む。学習済みモデル２３１は、過去の止血結果情報を用いて、手術画像における止血推奨点を特定するように学習されている。処理部２１０は、学習済みモデル２３１を用いた処理により、手術画像における止血推奨点を特定する。

本実施形態によれば、過去に行われた止血処置をルールとして、それに類似する止血結果が得られる止血推奨点を決定できる。即ち、過去の止血結果において成績の良い止血点が得られるように機械学習を行うことで、術中に生じた出血に対して適切な止血推奨点を提示できる。また、機械学習を用いることで、止血点の事前シミュレーションを行っていない場合であっても、術中にリアルタイムに止血推奨点を決定できる。

次に、第２手法について説明する。術前において、作業者が手術のシミュレーションを行う。作業者は、術者、又は術者を含む医療従事者グループである。シミュレーションにおいて、作業者は、血管の各領域に対して、その領域で出血が生じた時に止血すべき点を、止血推奨点としてシミュレーションしておく。このシミュレーション結果は、診断画像サーバ５１０に３Ｄボリュームデータとして記憶される。術中において、推奨点決定部２１３は、３Ｄボリュームデータに含まれるシミュレーション結果を用いて、出血点に対応する止血推奨点を決定する。これにより、シミュレーションにおいて、事前に、止血推奨点を決めるルールを設定しておくことができる。即ち、止血推奨点を、ブラックボックスでないルールによって決定できる。

図８は、事前シミュレーションの手順を示すフローチャートである。図９は、事前シミュレーションの説明図である。以下、情報処理装置において動作する事前シミュレーション用のソフトウェアを用いて、事前シミュレーションを行う例を想定する。

ステップＳ１１において、シミュレーションソフトがＣＴデータ又はＭＲＩデータを読み込み、そのデータから患者体内の３Ｄデータを構築する。ステップＳ１２において、作業者がシミュレーションソフトを用いて、患者に設けるポートの位置と、そのポートに内視鏡を挿入したときの視野とを、シミュレーションする。

ステップＳ１３において、作業者は、シミュレーションソフトを用いて、手術対象の臓器又は組織に対する処置操作をシミュレーションする。ステップＳ１４において、作業者は、シミュレーションソフトを用いて、処置操作において重要な組織を選択し、その組織を３Ｄデータ上において強調表示させる。

ステップＳ１５において、作業者は、３Ｄデータにおいて血管を認識し、その血管において出血が生じたときの止血点をシミュレーションする。作業者は、シミュレーションで決めた止血点を、３Ｄデータ上に止血推奨点として入力する。ステップＳ１６において、シミュレーションソフトは、３Ｄデータと、その３Ｄデータ上に入力された止血推奨点とを、診断画像サーバ５１０に保存する。

図９に示すように、作業者は、３Ｄデータにおいて複数の血管領域ＡＲ１～ＡＲ３と、各血管領域に対応した止血推奨点ＰＴ１～ＰＴ３とを指定する。例えば、止血推奨点ＰＴ１は、血管領域ＡＲ１において出血が生じた際に、止血処置を行う点として推奨される止血点である。同様に、血管領域ＡＲ２、ＡＲ３に対して、止血推奨点ＰＴ２、ＰＴ３が対応付けられている。例えば、止血推奨点は、血管領域よりも上流側における最初の分岐、又はその下流側に、指定される。

術中においては、推奨点決定部２１３は、例えば、第１出血位置が血管領域ＡＲ１に属すると判定したとき、その血管領域ＡＲ１に対応した止血推奨点ＰＴ１を止血推奨点として術者に提示する。

以上の第２手法では、取得部２２０は、血管走行情報における１又は複数の血管領域ＡＲ１～ＡＲ３の各血管領域に対応した止血推奨点ＰＴ１～ＰＴ３の情報を取得する。処理部２１０は、１又は複数の血管領域ＡＲ１～ＡＲ３のうち、第２出血位置が属する血管領域を特定する。処理部２１０は、その特定した血管領域に対応した止血推奨点を手術画像に重畳してディスプレイに表示する処理を行う。

本実施形態によれば、事前シミュレーションにおいて設定された血管領域と止血推奨点の対応関係に従って、術中に生じた出血点に対する止血推奨点を決定できる。これにより、ブラックボックスでない明示的なルールに従って、止血推奨点を術者に提示できる。また、事前シミュレーションにおいて、ＣＴ等で得られた患者体内の３Ｄデータ等から術者が適切と判断した止血点を、血管領域毎に予め決めておくことができる。

次に、第３手法について説明する。図１０は、第３手法において止血推奨点を決定する処理のフローチャートである。図１１は、第３手法において止血推奨点を決定する処理の説明図である。

ステップＳ３１において、推奨点決定部２１３は、手術画像から第１出血位置を検出したとき、止血推奨点の算出を開始する。

ステップＳ３２と図１１に示すように、推奨点決定部２１３は、血管走行情報において第２出血位置から上流に血管をたどっていく。ステップＳ３３において、推奨点決定部２１３は、血管の分岐に到達したか否かを判定する。推奨点決定部２１３は、分岐に到達していない場合にはステップＳ３２に戻り、分岐に到達した場合にはステップＳ３４に進む。

推奨点決定部２１３は、第２出血位置から上流側の分岐までの範囲内で止血推奨点を探す。具体的には、ステップＳ３４において、推奨点決定部２１３は、血管の太さと、太さの許容閾値範囲とを比較し、太さが許容閾値範囲内である血管位置を探す。また、ステップＳ３５において、推奨点決定部２１３は、血管の臓器表面からの深さと、深さの閾値とを比較し、深さが閾値以下である血管位置を探す。ステップＳ３６において、推奨点決定部２１３は、太さが許容閾値範囲内であり、且つ深さが閾値以下である血管位置を、止血推奨点に決定する。

なお、血管の太さの情報は、例えば、ＣＴ又はＭＲＩで撮像された３Ｄデータから抽出できる。或いは、作業者が、事前シミュレーションにおいて３Ｄデータ内の血管に対して太さ情報を付与してもよい。血管の深さの情報は、例えば、ＣＴ又はＭＲＩで撮像された３Ｄデータ、或いは特殊光画像から抽出できる。特殊光画像において、照明の波長に応じて組織内の到達深度が異なることを利用して、血管の深さを推定できる。或いは、作業者が、事前シミュレーションにおいて３Ｄデータ内の血管に対して深さ情報を付与してもよい。

以上の第３手法では、処理部２１０は、血管走行情報において第２出血位置から上流の分岐を探索する。処理部２１０は、第２出血位置と上流の分岐との間の血管領域において、血管走行情報における血管の太さ又は臓器表面からの血管の深さの少なくとも１つが所定範囲内である位置を、止血推奨点として特定する。

本実施形態によれば、機械学習又は事前シミュレーションを用いなくても、出血点の認識後において第２出血位置から上流の分岐を探索することで、止血推奨点を決定できる。また、血管の太さ又は臓器表面からの血管の深さの少なくとも１つに基づいて止血推奨点が決定されることで、止血処置に適した太さ又は深さの血管位置を止血推奨点として提示できる。止血には焼灼又はクリップ留め等の手法があるが、各止血法において適した血管の太さがある。また、臓器表面から深い血管を止血する場合には、臓器表面を切開して血管を露出させた後に止血する必要がある。このため、止血点の血管が深すぎると止血処置に時間がかかる可能性がある。血管の深さを考慮することで、止血処置に比較的時間がかからない位置に止血推奨点を提示できる。

３．第４構成例
図１２は、画像処理装置２００及び内視鏡システム３００の第４構成例である。第４構成例では、処理部２１０が、止血候補点抽出部２１４を更に含む。なお、既に説明した構成要素についての説明を適宜に省略する。

止血候補点抽出部２１４は、診断用画像データ、シミュレーション用画像データ、又はそれら両方である体内データを受け取る。止血候補点抽出部２１４は、体内データに基づいて、血管走行における血管分岐箇所を認識し、その分岐箇所よりも下流の血管に対する止血候補点を抽出する。止血候補点の抽出は、分岐毎、その分岐の下流の血管毎に、実行される。即ち、下流の血管毎に止血候補点が対応付けられており、複数の止血候補点が存在する。

推奨点決定部２１３は、血管走行情報において、どの血管に出血点が存在するのかを判断し、その血管に対応付けられた止血候補点を選択し、その止血候補点を止血推奨点として決定する。以上のように、止血候補点とは、血管走行と分岐を基準に決定された止血点の候補点であり、出血点に応じて止血推奨点として選択される候補点のことである。

図１３は、術中における止血候補点抽出のフローチャートである。図１４は、止血候補点抽出の説明図である。ステップＳ４１において、止血候補点抽出部２１４は、診断用画像データ、シミュレーション用画像データ、又はそれら両方である体内データを受け取る。ステップＳ４２において、止血候補点抽出部２１４は、血管認識部２１１が認識した血管走行情報を受け取る。

ステップＳ４３と図１４に示すように、止血候補点抽出部２１４は、体内データと血管走行情報から組織（解剖）情報と血流の方向を認識する。図１４において、矢印が血流の方向を示す。ステップＳ４４において、止血候補点抽出部２１４は、血流の方向に基づいて、血管の分岐を認識する。図１４において、血管の分岐によって区分される血管の枝をＢＲａ～ＢＲｆで示す。枝は、分岐から血管の末端までの血管領域、又は分岐から分岐までの血管領域を意味する。なお本明細書では動脈を例に示すが、静脈の場合も同様である。

ステップＳ４５、Ｓ４６において、止血候補点抽出部２１４は、各枝における血流方向から、血管分岐を基準として、各枝で出血が生じたときに適切に止血可能な止血候補点を決定する。図１４の例では、枝ＢＲａに止血候補点ＫＰ１が対応し、枝ＢＲｃ、ＢＲｄに止血候補点ＫＰ２が対応し、枝ＢＲｅ、ＢＲｆに止血候補点ＫＰ３が対応する。止血候補点抽出部２１４は、過去情報を参照して止血候補点を決定する。過去情報は、出血点と止血点の距離、及び、その距離で止血したときの止血成否結果を含む。具体的には、止血候補点抽出部２１４は、各分岐に対して、過去情報における類似の出血点と止血点の関係、即ち、その分岐に出血点があったときの止血点の位置を参照し、その情報に基づいて各分岐を基準とした止血候補点を決定する。

止血候補点抽出部２１４は、例えば、機械学習を用いた処理によって止血候補点を抽出する。この場合、体内データと血管走行情報と過去情報が入力されたときに止血候補点を出力するように、事前に学習モデルを学習させておく。そして、術中において止血候補点抽出部２１４は、その学習済みモデルを用いた推論処理によって、体内データと血管走行情報と過去情報から止血候補点を決定する。或いは、分岐判定のルール、及び分岐に基づく止血候補点の決定のルールに従って止血候補点を決定するアルゴリズムを組み込んだプログラムを作成してもよい。この場合、処理部２１０を構成するプロセッサが、上記プログラムを実行することで、止血候補点抽出部２１４の処理が実現される。

推奨点決定部２１３は、画像比較部２１２が決定した第２出血位置を受け取る。推奨点決定部２１３は、分岐によって区分される血管の枝のうち、いずれの枝に第２出血位置が属するかを判断し、その枝に対応した止血候補点を止血推奨点に決定する。推奨点決定部２１３は、図１０と図１１で説明した手法を用いて、血管の太さ又は深さを考慮して止血候補点を決定してもよい。また、推奨点決定部２１３は、第２出血位置と止血候補点との距離に応じて止血候補点を取捨選択してもよい。以下に説明する。

推奨点決定部２１３は、第２出血位置と止血候補点との距離が近すぎる場合、例えば第１所定距離より近い場合、第２出血位置から第１所定距離以上離れた止血候補点を止血推奨点として選択する。また、推奨点決定部２１３は、第２出血位置と止血候補点との距離が遠すぎる場合、例えば第２所定距離より遠い場合、第２所定距離よりも近い位置に止血候補点を設定し直し、その止血候補点を止血推奨点に決定する。即ち、第２出血位置と、その上流側の最初の止血候補点との間に、他の止血候補点がない場合であっても、新たに、第２所定距離よりも近い位置に止血候補点を設定する。

以上の実施形態では、処理部２１０は、血管走行情報における血流の方向と血管の分岐に基づいて、血管走行情報における１又は複数の血管領域の各血管領域に対応した止血候補点ＫＰ１～ＫＰ３を抽出する。なお、上記では枝ＢＲａ～ＢＲｆが血管領域に対応する。処理部２１０は、１又は複数の血管領域のうち、第２出血位置が属する血管領域を特定し、その特定した血管領域に対応した止血候補点を止血推奨点として特定する。

本実施形態によれば、処理部２１０が分岐等を考慮して予め抽出した止血候補点から、出血点に対応する止血推奨点を選択できる。予め止血候補点を抽出しておくことで、出血点の認識後にリアルタイムに止血推奨点を求める場合に比べて処理負荷の大きい抽出処理を用いることが可能となり、精度の高い止血候補点を抽出することが可能となる。また、出血点の認識後においては、止血候補点から止血推奨点を選択するだけでよく、処理負荷が小さくなる。

４．止血の影響を受ける血管の強調表示
図１５に、止血の影響を受ける血管の強調表示の例を示す。この強調表示は、第１～第４構成例のいずれにも適用可能である。

推奨点決定部２１３は、止血推奨点より下流にある血管を、「止血により影響を受ける血管」として内視鏡画像に重畳して表示する。具体的には、図１５の右図に示すように、出血点から上流側の最初の分岐よりも上流に止血推奨点が設定されたとする。このとき、出血点が存在する枝以外にも、止血により血流が止まる可能性のある枝が存在する。図１５では、その血管を点線で囲んで示している。図１５の左図に示すように、推奨点決定部２１３は、その止血により血流が止まる可能性のある血管に対応した内視鏡画像上の領域を、ハイライト等により強調表示する。この強調表示は、止血推奨点の表示と共に内視鏡画像に重畳表示される。

以上の実施形態では、処理部２１０は、手術画像において、止血推奨点に対して止血処置を行った場合に影響を受ける領域を強調表示する処理を行う。

本実施形態によれば、術者が手術画像の強調表示を見ることで、その止血推奨点で止血処置すべきか判断できる。例えば、手術において切除される組織の血管が影響を受けるのであれば、その点で止血しても問題が生じにくい。一方、切除しない組織の血管が影響を受けるのであれば、術者は、止血点を変更する等の対処を行うことができる。

以上、本実施形態およびその変形例について説明したが、本開示は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、本開示の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０ 内視鏡、２０ ディスプレイ、２１ 内視鏡ディスプレイ、２２ 推奨点ディスプレイ、３０ 比較指定部、１００ 制御装置、１１０ 内視鏡画像処理部、２００ 画像処理装置、２１０ 処理部、２１１ 血管認識部、２１２ 画像比較部、２１３ 推奨点決定部、２１４ 止血候補点抽出部、２２０ 取得部、２３０ 記憶部、２３１ 学習済みモデル、３００ 内視鏡システム、５００ 画像診断装置、５１０ 診断画像サーバ、６００ 学習装置、６１０ 処理部、６２０ 記憶部、６２１ 教師データ、６２２ 学習モデル、ＤＴ１ 内視鏡画像、ＤＴ２ 血管走行情報、ＤＴ３ 過去情報、ＫＰ１～ＫＰ３ 止血候補点、ＰＴ１～ＰＴ３ 止血推奨点

Claims (15)

1. 内視鏡により撮像された手術画像を取得する取得部と、
   処理部と、
   を含み、
   前記処理部は、
   前記内視鏡の被写体における血管走行を示す血管走行情報を認識し、
   前記手術画像から第１出血位置を認識し、
   前記手術画像における前記第１出血位置に対応する前記血管走行情報における第２出血位置を特定し、
   前記取得部は、
   前記血管走行情報における１又は複数の血管領域の各血管領域に対応した止血推奨点の情報を取得し、
   前記処理部は、
   前記１又は複数の血管領域のうち、前記第２出血位置が属する血管領域を特定し、
   特定した前記血管領域に対応した前記止血推奨点を前記手術画像に重畳してディスプレイに表示する処理を行うことを特徴とする画像処理装置。
2. 請求項１において、
   前記血管走行情報は、前記手術画像を撮像する手法とは異なる手法で撮像された、臓器内部の血管に関する２次元又は３次元の情報であることを特徴とする画像処理装置。
3. 請求項１において、
   過去の止血結果情報を用いて、前記手術画像における前記止血推奨点を特定するように学習された学習済みモデルを記憶する記憶部を含み、
   前記処理部は、
   前記学習済みモデルを用いた処理により、前記手術画像における前記止血推奨点を特定することを特徴とする画像処理装置。
4. 請求項１において、
   前記処理部は、
   前記血管走行情報における血流の方向と血管の分岐に基づいて、前記血管走行情報における１又は複数の血管領域の各血管領域に対応した止血候補点を抽出し、
   前記１又は複数の血管領域のうち、前記第２出血位置が属する血管領域を特定し、
   特定した前記血管領域に対応した前記止血候補点を前記止血推奨点として特定することを特徴とする画像処理装置。
5. 請求項１において、
   前記処理部は、
   前記血管走行情報において前記第２出血位置から上流の分岐を探索し、
   前記第２出血位置と前記上流の分岐との間の血管領域において、前記血管走行情報における血管の太さ又は臓器表面からの前記血管の深さの少なくとも１つが所定範囲内である位置を、前記止血推奨点として特定することを特徴とする画像処理装置。
6. 請求項１において、
   前記処理部は、
   前記手術画像において、前記止血推奨点に対して止血処置を行った場合に影響を受ける領域を強調表示する処理を行うことを特徴とする画像処理装置。
7. 請求項１に記載された画像処理装置と、
   前記内視鏡と、
   前記ディスプレイと、
   を含むことを特徴とする内視鏡システム。
8. 画像処理装置が、内視鏡の被写体における血管走行を示す血管走行情報を認識し、
   前記画像処理装置が、前記内視鏡により撮像された手術画像から第１出血位置を認識し、
   前記画像処理装置が、前記手術画像における前記第１出血位置に対応する前記血管走行情報における第２出血位置を特定し、
   前記画像処理装置が、前記血管走行情報における１又は複数の血管領域の各血管領域に対応した止血推奨点の情報を取得し、
   前記画像処理装置が、前記１又は複数の血管領域のうち、前記第２出血位置が属する血管領域を特定し、
   前記画像処理装置が、特定した前記血管領域に対応した前記止血推奨点を前記手術画像に重畳してディスプレイに表示する処理を行うことを特徴とする画像処理装置の作動方法。
9. 請求項８において、
   前記血管走行情報は、前記手術画像を撮像する手法とは異なる手法で撮像された、臓器内部の血管に関する２次元又は３次元の情報であることを特徴とする画像処理装置の作動方法。
10. 請求項８において、
    前記画像処理装置が、過去の止血結果情報を用いて、前記手術画像における前記止血推奨点を特定するように学習された学習済みモデルを用いた処理により、前記手術画像における前記止血推奨点を特定することを特徴とする画像処理装置の作動方法。
11. 請求項８において、
    前記画像処理装置が、前記血管走行情報における血流の方向と血管の分岐に基づいて、前記血管走行情報における１又は複数の血管領域の各血管領域に対応した止血候補点を抽出し、
    前記画像処理装置が、前記１又は複数の血管領域のうち、前記第２出血位置が属する血管領域を特定し、
    前記画像処理装置が、特定した前記血管領域に対応した前記止血候補点を前記止血推奨点として特定することを特徴とする画像処理装置の作動方法。
12. 請求項８において、
    前記画像処理装置が、前記血管走行情報において前記第２出血位置から上流の分岐を探索し、
    前記画像処理装置が、前記第２出血位置と前記上流の分岐との間の血管領域において、前記血管走行情報における血管の太さ又は臓器表面からの前記血管の深さの少なくとも１つが所定範囲内である位置を、前記止血推奨点として特定することを特徴とする画像処理装置の作動方法。
13. 請求項８において、
    前記画像処理装置が、前記手術画像において、前記止血推奨点に対して止血処置を行った場合に影響を受ける領域を強調表示する処理を行うことを特徴とする画像処理装置の作動方法。
14. 内視鏡の被写体における血管走行を示す血管走行情報を認識することと、
    前記内視鏡により撮像された手術画像から第１出血位置を認識することと、
    前記手術画像における前記第１出血位置に対応する前記血管走行情報における第２出血位置を特定することと、
    前記血管走行情報における１又は複数の血管領域の各血管領域に対応した止血推奨点の情報を取得することと、
    前記１又は複数の血管領域のうち、前記第２出血位置が属する血管領域を特定することと、
    特定した前記血管領域に対応した前記止血推奨点を前記手術画像に重畳してディスプレイに表示する処理を行うことと、
    をコンピュータに実行させるプログラム。
15. 請求項１４に記載されたプログラムを記憶する非一時的な情報記憶媒体。

Images