JP7820162B2 - 医用画像処理装置及びプログラム - Google Patents

Description

本明細書及び図面に開示の実施形態は、医用画像処理装置及びプログラムに関する。

肺内部気管、血管または肝臓内部血管は人体の重要な組織であり、これらの内部血管または気管は通常木構造であり、これらの木構造の検出またはセグメンテーション（segmentation）は重要な課題である。また、これらの木構造は、該木構造を有する器官のセグメンテーション及びマルチモダリティ画像のレジストレーションにとっても重要である。

特許文献１には、医用画像に含まれる肺領域を分割するための、肺気管構造を利用して領域分割を行う装置が記載されている。木構造である気管におけるランドマーク（landmark）の検出及び位置決めについて、特許文献１には、気管支領域の複数の分岐位置に基づいて領域の分割を行うために、分岐点を含む気管支構造を抽出することが記載されている。また、特許文献１には、機械学習を用いて、気管支構造の抽出を行うことが記載されている。

上述のように、木構造について、分岐点は重要なランドマークであり、特許文献１では、気管支領域の複数の分岐位置を領域分割に用いることが記載されているが、特許文献１の記載は、画像セグメンテーションではなく、領域分割のみに関するものである。具体的には、特許文献１では、分岐位置を利用して、肺領域を例えば上下方向に複数の領域に分割するか、或いは、複数の分岐位置のうちの特定の分岐位置からの特定の距離内の領域と特定の距離内の領域以外の領域とに肺領域を分割する（特許文献１の明細書の段落［００４２］参照）。

また、セグメンテーション方法は、木構造セグメンテーションを行った後に木構造のセグメンテーション画像から木構造の中心線及び分岐点を抽出するものが多い。このようなセグメンテーション方法は、画像の強度、幾何形状などに基づいて画像から木構造のセグメンテーションを直接に行うもの、あるいは深層学習に基づいて木構造の画像セグメンテーションを直接に行うものが多い。ランドマークである分岐点は、木構造のセグメンテーションにおいて十分に利用されていない。

また、分岐点の検出について、特許文献１などの技術では、機械学習に基づく木構造または木構造分岐点の検出方法が提案されているが、これらの方法は、分岐点の間の対応関係を考慮しておらず、検出精度及び正確性が足りない。

国際公開第２０２０／０４４８４０号

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、木構造の分岐点を検出する精度及び正確性を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決される課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

本実施形態に係る学習済みモデル生成装置は、生成部を備える。前記生成部は、木構造の分岐点トポロジーアトラスを利用して、医用画像における前記木構造の分岐点を検出するように学習された学習済みモデルを生成する。

図１は、第１実施形態に係る医用画像処理システムの構成を示す図である。 図２Ａは、第１実施形態における医用画像処理装置の構成の一例を示す図である。 図２Ｂは、第１実施形態における学習済みモデル生成装置１０の構成の一例を示す図である。 図３Ａは、第１実施形態における深層学習の一例を説明するための図である。 図３Ｂは、第１実施形態における深層学習の一例を説明するための図である。 図４Ａは、第１実施形態による学習済みモデルを生成する処理（トレーニングプロセス）を示すフローチャートである。 図４Ｂは、第１実施形態による学習済みモデルを利用する処理（推論プロセス）を示すフローチャートである。 図５は、第１実施形態による学習済みモデルを生成する処理の具体的な流れを示す概念図である。 図６は、第１実施形態による学習済みモデルを利用する処理の具体的な流れを示す概念図である。 図７は、第２実施形態における医用画像処理装置の処理として、画像レジストレーション処理を示すフローチャートである。 図８は、第２実施形態による画像レジストレーション処理において検出結果を修正する処理を示す説明図である。 図９は、第３実施形態における医用画像処理装置の処理として、画像セグメンテーション処理を示すフローチャートである。

本実施形態は、分岐点検出、画像レジストレーション、画像セグメンテーションに関するものであり、これらは、独立したコンピュータなどの、ＣＰＵ（central process unit：中央処理装置）を有する機器でソフトウェアプログラムを実行することによって実現することができる。本実施形態は上述の独立したコンピュータとして実現することができ、後述の各ステップを実現可能な回路としてハードウェアの方式で実現することもできる。且つ、本実施形態のシステムは、磁気共鳴イメージング装置（ＭＲＩ）などの医用画像処理装置における一部として予め実装することもできる。

そこで、以下に、添付図面を参照して、実施形態に係る学習済みモデル生成装置、医用画像処理装置及びプログラムを説明する。なお、以下に説明する実施形態はあくまで一例であり、以下の実施形態に限定されるものではない。また、一つの実施形態に記載した内容は、原則として他の実施形態にも同様に適用可能である。

なお、各実施形態において、同一の部材について同一の図面の符号を使用し、且つ重複する説明を省略した。

＜第１実施形態＞
以下、医用画像処理システムを例に挙げて説明する。図１は、第１実施形態に係る医用画像処理システム１の構成を示す図である。医用画像処理システム１は、深層学習によって木構造の分岐点を検出するシステムであって、学習済みモデル生成装置１０と医用画像処理装置２０とを備える。学習済みモデル生成装置１０は、木構造の分岐点トポロジーアトラスを利用して、医用画像における木構造の分岐点を検出するように学習された学習済みモデルを生成する。医用画像処理装置２０は、学習済みモデル生成装置１０で生成した学習済みモデルに対して、取得された医用画像を入力して、当該医用画像における木構造の分岐点を検出し、木構造の分岐点トポロジーアトラスを利用して、検出された分岐点の絞り込みを行う。

図２Ａは、第１実施形態における医用画像処理装置２０の構成の一例を示す図である。例えば、図２Ａに示すように、医用画像処理装置２０は、入力インターフェース２１０と、ディスプレイ２２０と、記憶回路２３０と、処理回路２４０とを有する。

入力インターフェース２１０は、種々の設定などを行うためのトラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。入力インターフェース２１０は、処理回路２４０に接続されており、操作者から受け付けた入力操作を電気信号に変換して処理回路２４０に出力する。

ディスプレイ２２０は、処理回路２４０に接続され、処理回路２４０から出力される各種情報及び各種画像データを表示する。例えば、ディスプレイ２２０は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。例えば、ディスプレイ２２０は、操作者の指示を受け付けるためのＧＵＩ（Graphical User Interface）や、種々の表示画像、処理回路２４０による種々の処理結果を表示する。

記憶回路２３０は、処理回路２４０に接続され、各種データを記憶する。例えば、記憶回路２３０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。また、記憶回路２３０は、処理回路２４０によって実行される各処理機能に対応するプログラムを記憶する。

処理回路２４０は、入力インターフェース２１０を介して操作者から受け付けた入力操作に応じて、医用画像処理装置２０が有する各構成要素を制御する。例えば、処理回路２４０は、プロセッサによって実現される。処理回路２４０は、図２Ａに示すように、取得機能２４１、検出機能２４２、制御機能２４３を実行する。なお、取得機能２４１、検出機能２４２、制御機能２４３は、それぞれ、取得部、検出部、制御部の一例である。

図２Ｂは、第１実施形態における学習済みモデル生成装置１０の構成の一例を示す図である。例えば、図２Ｂに示すように、学習済みモデル生成装置１０は、入力インターフェース１１０と、ディスプレイ１２０と、記憶回路１３０と、処理回路１４０とを有する。

処理回路１４０は、取得機能１４１、生成機能１４２を実行する。なお、取得機能１４１、生成機能１４２は、それぞれ、入力部、生成部の一例である。ここで、処理回路１４０の構成要素である取得機能１４１、生成機能１４２が実行する各処理機能は、例えば、コンピュータによって実行可能なプログラムの形態で記憶回路１３０に記録されている。処理回路１４０は、各プログラムを記憶回路１３０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。また、記憶回路１３０は、後述の学習用プログラムを記憶する。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサが例えばＣＰＵである場合、プロセッサは記憶回路２３０に保存されたプログラムを読み出し実行することで機能を実現する。一方、プロセッサが例えばＡＳＩＣである場合、記憶回路１３０、２３０にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込まれる。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図２Ａ、２Ｂにおける複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

第１実施形態では、深層学習ネットワークによってトレーニングされた木構造のランドマーク検出モデル（後述の学習済みモデル）を利用して、木構造の分岐点を検出する。学習済みモデルは、学習済みモデル生成装置１０で生成されて、医用画像処理装置２０内に保管される（例えば、記憶回路２３０に記憶させる）。又は、学習済みモデルは、医用画像処理装置２０により生成されて、医用画像処理装置２０内に保管されてもよい。以下、学習済みモデルが、学習済みモデル生成装置１０で生成されて、医用画像処理装置２０内に保管される場合を例にして説明する。

本実施形態における深層学習は、例えば、ニューラルネットワークを基にしたＡＩ（Artificial Intelligence）を用いた学習である。例えば、深層学習では、学習済みモデルを生成する処理と、学習済みモデルを利用する処理とが実行される。図３Ａ及び図３Ｂは、第１実施形態における深層学習の一例を説明するための図である。

学習済みモデルを生成する処理において、図３Ａに示すように、まず、学習済みモデル生成装置１０の取得機能１４１は、過去に被検体から得られた医用画像をデータセット５０１として取得（入力）する。なお、ＡＩ等のアルゴリズムは経験から学習していくものであるため、学習に用いられるデータセットは、同一の被検体でなくてもよい。そして、取得機能１４１は、データセット５０１を後述の学習用データセット５０２に加工する。

学習済みモデル生成装置１０は、ＡＩのアルゴリズムとして学習用プログラム５０３を有する。学習済みモデル生成装置１０の生成機能１４２は、学習用プログラム５０３と、後述の木構造の分岐点トポロジーアトラスとを用いて、学習用データセット５０２から、木構造の分岐点を学習し、後述の入力データの入力を受けて木構造の分岐点を検出する後述の出力データを出力するように機能付けられた学習済みモデル５０４を生成する。生成された学習済みモデル５０４は、医用画像処理装置２０の記憶回路２３０に保管される。

学習済みモデル５０４を利用する処理において、図３Ｂに示すように、医用画像処理装置２０の取得機能２４１は、被検体から得られた医用画像を入力データ５０５として取得する。そして、医用画像処理装置２０の検出機能２４２は、記憶回路２３０から学習済みモデル５０４を読み出す。検出機能２４２は、読み出した学習済みモデル５０４を用いて、入力データ５０５である医用画像から、当該医用画像における木構造の分岐点を検出し、分岐点の検出結果を出力データ５０６として出力する。例えば、制御機能２４３は、出力データ５０６をディスプレイ２２０に表示させる。

検出モデル深層学習の完全なフレームワークは、主にトレーニング（training）プロセスと推論（inference）プロセスとの２つの部分を含む。ここで、学習済みモデル５０４を生成する処理（トレーニングプロセス）では、学習済みモデル生成装置１０の取得機能１４１は、モデルにラベル（真値：ＧＴ、Ground Truthともいう）付きのトレーニング用のデータセットを入力し、生成機能１４２は、後述の目標関数（損失関数）により、モデルの検出結果である出力値と真値との間の不一致度（誤差値）を算出し、誤差値を最小化させるように、勾配降下法、確率的勾配降下法などの方法でパラメータを最適化する処理を行う。そして、生成機能１４２は、検出結果（出力値）と真値との間の誤差が所定の精度を満たすまで、上記処理を繰り返すことにより、図３Ａの学習済みモデル５０４を生成し、モデルの予測値（出力値）の誤差を低減させる。学習済みモデルを利用する処理（推論プロセス）では、医用画像処理装置２０の検出機能２４２は、学習済みモデル生成装置１０により生成された学習済みモデル５０４にラベル無しのライブデータ（live data）を入力することにより、検出結果（検出値）を取得する。

以下、学習済みモデル５０４を生成する処理、及び、学習済みモデル５０４を利用する処理について詳しく説明する。

図４Ａは、第１実施形態による学習済みモデル５０４を生成する処理（トレーニングプロセス）を示すフローチャートであり、図４Ｂは、第１実施形態による学習済みモデルを利用する処理（推論プロセス）を示すフローチャートである。

図４Ａに示すように、本実施形態の学習済みモデル５０４を生成する処理は、ステップＳ１００～Ｓ４００を含む。図４ＡのステップＳ１００において、学習済みモデル生成装置１０の取得機能１４１は、図３Ａのデータセット５０１として、画像セット及びランドマークの真値（ＧＴ）を入力（取得）する。次に、図４ＡのステップＳ２００において、取得機能１４１は、図３Ａの学習用データセット５０２として、後述のサンプル及びランドマークヒートマップを生成する。次に、図４ＡのステップＳ３００において、生成機能１４２は、学習用プログラム５０３を用いて、学習用データセット５０２から木構造の分岐点（ランドマーク）を学習して、図３Ａの学習済みモデル５０４を生成する。次に、図４ＡのステップＳ４００において、生成機能１４２は、生成した学習済みモデル５０４を出力する。出力された学習済みモデル５０４は、医用画像処理装置２０内の記憶回路２３０に保管される。

また、図４Ｂに示すように、本実施形態の学習済みモデル５０４を利用する処理は、ステップＳ１００’～Ｓ４００’を含む。図４ＢのステップＳ１００’において、医用画像処理装置２０の取得機能２４１は、図３Ｂの入力データ５０５として画像セットを取得し、検出機能２４２が、記憶回路２３０から読み出した学習済みモデル５０４に画像セットを入力する。次に、図４ＢのステップＳ２００’において、検出機能２４２は、学習済みモデル５０４を利用して、入力データ５０５から、医用画像における木構造の分岐点（ランドマーク）を検出し、検出した結果を、図３Ｂの出力データ５０６として出力する。次に、図４ＢのステップＳ３００’において、制御機能２４３は、木構造の分岐点トポロジーアトラスを利用して、検出結果の絞り込みを行う。

以下、図５と図６を参照して、学習済みモデル５０４を生成する処理、及び、学習済みモデル５０４を利用する処理を詳しく説明する。

図５は、第１実施形態による学習済みモデル５０４を生成する処理の具体的な流れを示す概念図である。

図５に示すように、ステップＳ１００において、学習済みモデル生成装置１０の取得機能１４１が、木構造の３Ｄ画像セットを入力する処理（ステップＳ１０１）と、取得機能１４１が、ＧＴラベルである木構造の分岐点（即ち、ランドマーク）情報を入力する処理（ステップＳ１０２）とを行う。ここで、ステップＳ１０２において入力されるＧＴラベルは、ステップＳ１０１において入力された３Ｄ画像セットに対して、既知の方法でラベル付け（アノテーション）を行ったものであってもよいが、予め用意されたものであってもよい。つまり、ステップＳ１０１とステップＳ１０２は、図５に示すように前後して行われてもよいが、並行して行われてもよく、この場合、ステップＳ１０１とステップＳ１０２との間の矢印は省略されてもよい。

ステップＳ２００において、学習済みモデル生成装置１０の取得機能１４１が、入力された画像セットに対して画像前処理及び変換を行う。具体的には、取得機能１４１が、例えば等方変換、強度変換、弾性変換などによって、入力された画像セットに対してサンプルを生成する（ステップＳ２０１）。ここで、ステップＳ２０１は必ずしも実施されなくてもよい。ステップＳ２００では、さらに、取得機能１４１が、入力されたＧＴラベルであるランドマークを変換してＧＴヒートマップ（heatmap）を生成し、例えばガウスカーネルヒートマップなどによってランドマークのヒートマップを生成してもよい（ステップＳ２０２）。

上述のステップＳ２００の処理は例示的なものに過ぎず、画像セットの前処理、変換及びＧＴヒートマップ生成は、公知の技術の様々な方法で実現させることができる。

ステップＳ３００において、学習済みモデル生成装置１０の生成機能１４２が、分岐点検出モデルをトレーニングする。即ち、学習済みモデル５０４を生成する。本実施形態では、分岐点検出モデルをトレーニングする際に、木構造の分岐点トポロジーアトラスをトレーニングプロセス（学習済みモデル５０４を生成する処理（ステップＳ１００～Ｓ４００））に導入することにより、生成機能１４２が、トレーニングプロセスにおいて、木構造のマルチランドマークのトポロジー情報を利用できるため、木構造の分岐点を検出する精度及び正確性を向上させることができる。

具体的には、生成機能１４２は、まず、ネットワークアーキテクチャを築く際に、本実施形態の上述の特徴に適合している特徴を有するネットワークを選択する。例えば、ネットワーク設計の時に、各等級（scale）において上述のトポロジー情報をキャプチャするのに好適なネットワーク種類を選択し、中間監視を有するスタックネットワークは、中間ヒートマップを改めて評価するメカニズムと高次空間関係を改めて評価するメカニズムを提供できるため、本実施形態の深層学習で用いられるネットワークとしては、スタックネットワークを用いることが好ましい。例えば、深層学習で用いられるネットワークは、スタック砂時計型ネットワーク（Stacked Hourglass Network）またはカップリングＵネットワーク（Coupled U-Network）であってもよい。

次に、生成機能１４２は、損失関数を用いて、学習済みモデル５０４を生成する。具体的には、学習済みモデル５０４を生成するための損失関数には、木構造の分岐点トポロジーアトラスと出力値との間の差異を示す項が含まれている。損失関数（loss function）は、モデルの出力値Ｐと真値Ｇとの間の不一致度（誤差値）を推測するための関数であり、通常の損失関数は、Ｌ（Ｐ，Ｇ）として示される。本実施形態において、学習済みモデルを生成する処理における損失関数は、下記式（１）により表される。

Ｌｏｓｓ_{ｔｏｔａｌ}＝λ_１Ｌ（Ｐ，Ｇ）＋λ_２Ｌ（Ｐ，Ａ） （１）

ここで、Ｌｏｓｓ_{ｔｏｔａｌ}はモデルの総的な誤差値を示す。Ｌ（Ｐ，Ｇ）は出力値と真値との間の差異を示す。Ｌ（Ｐ，Ａ）は出力値と木構造の分岐点トポロジーアトラスとの間の差異を示す。λ_１とλ_２は重み係数である。

Ｌは必要に応じて、ＬｏｇＬｏｓｓ対数損失関数、平方損失関数、指数損失関数、Ｈｉｎｇｅ損失関数などの、本分野でよく用いられる損失関数を用いることができ、これらの損失関数は公知技術であるため、ここでは説明を省略する。Ｌ（Ｐ，Ｇ）の値の求め方としては、公知の技術における様々な方法を用いることができ、ここでは説明を省略する。Ｌ（Ｐ，Ａ）の値の求め方としては、具体的には、モデル出力の予測点セットＰと木構造の分岐点トポロジーアトラスＡとに対して、位置とトポロジー構造との間の類似度の比較を行い、関数Ｌ（Ｐ，Ａ）によって両者の間のトポロジー構造の差異を求める。上述の位置とトポロジー構造との間の類似度の比較は、公知の技術における様々な方法を用いてもよいため、ここでは説明を省略する。分岐点トポロジーアトラスＡには、異なる等級の分岐点の間の接続及び辺長関係が含まれており、本実施形態は、損失関数の一部として、予測点セットＰの特定の点の間の位置／トポロジー構造と、分岐点トポロジーアトラスＡにおける位置／トポロジー構造との差異を算出する。

重み係数であるλ_１とλ_２は０～１の間の数であり、両者の和は１である。λ_１とλ_２の具体的な数値は、経験に基づいて事前に選択することができ、例えば、ステップＳ３００において、生成機能１４２が、他のパラメータを最適化するように、重み係数λ_１とλ_２を調整することにより、出力された検出結果と真値との間の距離を算出し、該距離を短縮させるように重み係数λ_１とλ_２を最適化し、最適な結果を取得できる重み係数値を選択することもできる。

以上の説明により、学習済みモデル生成装置１０において、学習済みモデル５０４を生成する処理（ステップＳ１００～Ｓ４００）に木構造の分岐点トポロジーアトラスを導入することにより、ステップＳ３００において、生成機能１４２が、木構造のマルチランドマークのトポロジー情報を利用できるため、木構造の分岐点を検出する精度及び正確性を向上させることができる。

図６は、第１実施形態による学習済みモデル５０４を利用する処理（木構造分岐点検出モデルの推論プロセス）の具体的な流れを示す概念図である。

図６に示すように、ステップＳ１００’において、医用画像処理装置２０の取得機能２４１が画像セットを取得し、検出機能２４２が、学習済みモデル５０４に画像セットを入力する。ステップＳ２００’において、検出機能２４２が、学習済みモデル５０４を利用してランドマークを検出する。ここで、ステップＳ２００’において、検出された分岐点毎に１つのヒートマップを出力し、ヒートマップにおける明るいスポットは、木構造の分岐点に対応し、理想的な場合、得られる各ヒートマップは、１つの明るいスポットしかないが、モデルの正確性、精度及びノイズなどによる誤検出のため、得られるヒートマップに１つだけでない明るいスポットが存在することがある。この問題を解決するために、制御機能２４３は、次のステップＳ３００’において、木構造の分岐点トポロジーアトラスを利用して検出結果の絞り込みを行うことにより、木構造の分岐点を検出する精度及び正確性を向上させることができる。

木構造の分岐点トポロジーアトラスが、その検出結果の絞り込みに適用できる原因として、血管や気管などの木構造を有する管状器官にとっては、木構造の分岐点は、位置が異なる可能性があるが、全般的に安定したトポロジー構造を有する。肝血管または肺気道／血管などは、基本的に何れも、第１級分岐点、第２級分岐点１、第２級分岐点２・・・からなる標準的なまたは標準化できたトポロジー構造を有するため、制御機能２４３は、学習済みモデル５０４から出力された検出結果に木構造の分岐点トポロジーアトラスを適用し、当該分岐点トポロジーアトラスに適合しない検出結果を取り除くことにより、検出結果を絞り込むことができる。特に等級が高いほど、分岐点は上述の絞り込みによって安定的、正確に検出することができる。

このため、ステップＳ３００’において、木構造の分岐点トポロジーアトラスによって検出された分岐点を選別し、図６には、肝臓の門脈を例として、学習済みモデルを利用する処理で検出結果を絞り込む処理が示されており、学習済みモデル５０４から出力された結果には、分岐点１～分岐点Ｎにそれぞれ対応しているＮ個のヒートマップが含まれており、各ヒートマップには、分岐点の候補として、該分岐点に対する極値点（ヒートマップにおける明るいスポット）候補がそれぞれ含まれており、これらの極値点候補の数は、１つだけでないことがある。図６に示すように、制御機能２４３は、肝臓の門脈トポロジー構造における門脈第１級分岐点、門脈第２級右１分岐点、門脈第２級右２分岐点、門脈第２級左１分岐点、門脈第２級左２分岐点・・・のような分岐点間の等級関係及び空間位置関係などに基づいて、複数の極値点候補を含むヒートマップにおける極値点を選別し、分岐点トポロジー構造に適合しない極値点を取り除き、各ヒートマップに、絞り込み後の検出結果として１つの極値点のみを保留する。上述の選別の具体的な方法としては、公知の方法を用いることができるが、ここでは説明を省略する。

以上の説明により、医用画像処理装置２０において、学習済みモデル５０４を利用する処理（ステップＳ１００’～Ｓ３００’）に木構造の分岐点トポロジーアトラスを導入することにより、ステップＳ３００’において、制御機能２４３が、当該分岐点トポロジーアトラスと検出された木構造分岐点とを組み合わせ、検出結果を絞り込むため、木構造の分岐点を検出する精度及び正確性を向上させることができる。

このように、第１実施形態によれば、上述の学習済みモデル５０４を生成する処理、及び、学習済みモデル５０４を利用する処理により、木構造の各分岐点の間の対応情報を分岐点検出に用いることにより、木構造の分岐点を検出する精度及び正確性を向上させることができる。

本実施形態では、学習済みモデルを生成する処理、及び、学習済みモデルを利用する処理の何れについても改良することによって、本実施形態の課題を解決することができる。ここで、学習済みモデルを生成する処理と、学習済みモデルを利用する処理のうちの何れか一方を改良しても同様に、本実施形態の課題を解決することができる。

また、本実施形態は、様々な変形を含むこともできる。例えば、異なる器官について、木構造の分岐点トポロジーは、標準的なものであることがあるが、性別などの個体要素によって差異が存在することもある。従って、本実施形態における木構造の分岐点トポロジーアトラスとしては、予め用意された標準的なトポロジーアトラスを用いてもよいが、これらの個体要素について、例えば、学習済みモデルを生成する処理によって得られた非標準的なトポロジーアトラスであってもよい。

以上、第１実施形態における学習済みモデル生成装置１０及び医用画像処理装置２０の処理について説明した。本実施形態によれば、学習済みモデル生成装置１０が、木構造の分岐点トポロジーアトラスを利用して、医用画像における木構造の分岐点を検出するように学習された学習済みモデルを生成する。医用画像処理装置２０は、学習済みモデル生成装置１０で生成した学習済みモデルに対して、取得された医用画像を入力して、当該医用画像における木構造の分岐点を検出し、木構造の分岐点トポロジーアトラスを利用して、分岐点の検出結果の絞り込みを行う。これにより、本実施形態は、木構造の各分岐点の間の対応情報を分岐点の検出に用いることで、木構造の分岐点を検出する精度及び正確性を向上させることができる。

＜第２実施形態＞
第２実施形態では、第１実施形態を医用画像のレジストレーション、特に、以下に示すマルチモダリティ医用画像のレジストレーションを行うものである。即ち、位置合わせを行う。

以下、図面を参照して第２実施形態を詳しく説明する。

図７は、第２実施形態における医用画像処理装置２０の処理として、画像レジストレーション処理を示すフローチャートである。図７に示すように、本実施形態の画像レジストレーション処理は、以下のステップＳ４１００～Ｓ４５００を含む。

図７のステップＳ４１００において、医用画像処理装置２０の取得機能２４１は、木構造を有する同一の器官について複数のモダリティから得られた医用画像を取得する。例えば、複数のモダリティの画像は、器官の術前の医用画像、及び、当該器官の術中の医用画像を含み、術前の医用画像である肝臓３Ｄ画像と、術中の医用画像である肝臓２Ｄ画像との間のレジストレーションを例として本実施形態を説明する。この場合、例えば、ステップＳ４１００は、モダリティとしてＭＲＩ（Magnetic Resonance Imaging）装置やＸ線ＣＴ（Computed Tomography）装置から得られた３Ｄ術前ＭＲ／ＣＴ画像セットを取得するステップ（ステップＳ４１０１）と、モダリティとして超音波診断装置から得られた同一器官に関する２Ｄ術中ＵＳ（Ultra-Sonic；超音波）等の画像セットを取得するステップ（Ｓ４１０２）と、を含む。

図７のステップＳ４２００において、医用画像処理装置２０の検出機能２４２は、学習済みモデル生成装置１０により生成された学習済みモデル５０４を用いて、複数のモダリティから得られた医用画像のうち、少なくとも１つの医用画像から、当該医用画像における器官の木構造である肝臓血管の分岐点を検出する。図７のステップＳ４３００において、医用画像処理装置２０の制御機能２４３は、分岐点トポロジーアトラスとして肝臓血管３Ｄトポロジーアトラスを利用して、検出された肝臓血管の分岐点の絞り込みを行う。

ここで、ステップＳ４２００及びＳ４３００は、具体的には、第１実施形態における各ステップによって実現できる。言い換えると、図７における破線で囲まれているステップＳ４２００とＳ４３００とは、第１実施形態における各ステップによって実現でき、例えば、ステップＳ４２００は、第１実施形態におけるステップＳ２００’に対応し、ステップＳ４３００は、第１実施形態におけるステップＳ３００’に対応する。図７のステップＳ４４００において、医用画像処理装置２０の制御機能２４３は、ステップＳ４２００及びステップＳ４３００によって検出された複数のモダリティから得られた医用画像に対して、レジストレーションを行う。

本実施形態において、制御機能２４３が、術前の医用画像である３Ｄ画像と、術中の医用画像である２Ｄ画像とに対して、レジストレーションを行う場合、ステップＳ４２００は、３Ｄ画像及び２Ｄ画像について２つのステップとしてステップＳ４２０１とＳ４２０２とに分けて行われる。

この場合、ステップＳ４２００は、制御機能２４３が学習済みモデル５０４を用いて３Ｄ画像における分岐点を検出するステップＳ４２０１と、制御機能２４３が学習済みモデル５０４を用いて２Ｄ画像における分岐点を検出するステップＳ４２０２とに分けられ、ステップＳ４２０１及びステップＳ４２０２は、それぞれ第１実施形態におけるステップＳ２００’に対応する。具体的には、ステップＳ４２０１及びステップＳ４２０２において、検出機能２４２が、複数のモダリティから得られた医用画像のうち、レジストレーション対象となる２つの医用画像（３Ｄ術前ＭＲ／ＣＴ画像セット、２Ｄ術中ＵＳ等の画像セット）を学習済みモデル５０４に入力し、２つの医用画像それぞれにおける器官の木構造の分岐点を検出する。そして、制御機能２４３が、ステップＳ４３００において、分岐点トポロジーアトラスを利用して、２つの医用画像それぞれについて検出された分岐点の絞り込みを行って、ステップＳ４４００において、２つの医用画像に対してレジストレーションを行う。

一方、２Ｄ画像は、分岐点の検出が比較的に簡単であるので、処理速度の向上及び処理負荷の低減のために、ステップＳ４２０２では、第１実施形態におけるステップＳ２００’の処理を使用せずに、例えば、制御機能２４３が、マニュアル方式で、２Ｄ画像における分岐点を設定してもよい。このような場合、ステップＳ４３００は、ステップＳ４２０１の検出結果のみに対して実行される。具体的には、ステップＳ４２０１及びステップＳ４２０２において、検出機能２４２が、複数のモダリティから得られた医用画像のうち、レジストレーション対象となる２つの医用画像の一方の医用画像（３Ｄ術前ＭＲ／ＣＴ画像セット）を学習済みモデル５０４に入力して、当該医用画像における器官の木構造の分岐点を検出する。そして、制御機能２４３が、ステップＳ４３００において、分岐点トポロジーアトラスを利用して、一方の医用画像（３Ｄ術前ＭＲ／ＣＴ画像セット）で検出された分岐点と、マニュアル方式で他方の医用画像（２Ｄ術中ＵＳ等の画像セット）において設定された木構造の分岐点との絞り込みを行って、ステップＳ４４００において、２つの医用画像に対してレジストレーションを行う。

上述のように、ステップＳ４４００において、制御機能２４３は、ステップＳ４２００及びステップＳ４３００によって検出された、例えば肝臓血管の分岐点を利用して、術前の肝臓の医用画像、及び、術中の肝臓の医用画像に対して、レジストレーションを行う。なお、血管の分岐点を利用して、血管を含む画像レジストレーションを行うことは、公知の技術を用いることもできるため、説明を省略する。

ここで、レジストレーションの精度を向上させ、レジストレーションの処理負荷を低減させるために、本実施形態は、木構造の分岐点の検出を行った後、ステップＳ４４００においてレジストレーションを行う前に、器官のセグメンテーション結果によって木構造の分岐点の検出結果を修正することもできる。

図８は、第２実施形態による画像レジストレーション処理において、ステップＳ４４００においてレジストレーションを行う前に検出結果を修正する処理を示す説明図である。図８に示すように、ステップＳ４１００～Ｓ４３００において、取得機能２４１が画像セットを取得（入力）し、検出機能２４２が学習済みモデル５０４を用いて画像セットから器官の木構造である肝臓血管の分岐点を検出する。なお、図８における画像セットの「ＰＶ」と「ＨＶ」は、それぞれ肝臓の門脈と肝静脈を表す。

また、ステップＳ４３００において、制御機能２４３は、例えば画像セットから肝臓をセグメンテーションすることによって肝組織のセグメンテーション結果画像（肝組織分割結果画像）を取得し、セグメンテーション結果画像をテンプレートとして肝臓血管の分岐点の検出結果に用いる。具体的には、制御機能２４３は、ステップＳ４３００において、例えばセグメンテーション結果画像の肝組織領域内に位置するヒートマップにおける明るいスポットを分岐点検出結果として保留し、ステップＳ４４００において、セグメンテーション結果画像の肝組織領域外の明るいスポットを排除する。このように、ステップＳ４４００において、制御機能２４３がレジストレーション前にまず分岐点を修正することにより、レジストレーションの精度を向上させ、且つ不要な処理負荷を低減させることができる。

図７に戻り、ステップＳ４４００において分岐点によってマルチモダリティ画像のレジストレーションを行った後、ステップＳ４５００において他の構造によってマルチモダリティ画像に対してさらに細かいレジストレーションを行ってもよい。なお、ステップＳ４５００の処理は省略してもよい。

また、本実施形態の画像レジストレーション処理によれば、ステップＳ４４００のレジストレーションにおいては、制御機能２４３は、木構造の分岐点以外に、無論、木構造そのものを用いることもできる。この場合、例えば、検出機能２４２が木構造の分岐点を検出した後、制御機能２４３は、検出された木構造の分岐点を利用して、器官の木構造の中心線を生成し、生成した木構造の中心線に基づいて、器官の木構造のセグメンテーションを行って、木構造のセグメンテーション画像を器官のセグメンテーション結果として生成する。さらに、ステップＳ４４００において、制御機能２４３は、生成された器官のセグメンテーション結果（木構造のセグメンテーション画像）に基づいて、複数のモダリティの医用画像に対してレジストレーションを行う。

上述の分岐点を利用したレジストレーション、木構造を利用したレジストレーション及び細かいレジストレーション等は、公知の技術を用いることで実現できるため、説明を省略する。

以上の説明により、第２実施形態の画像レジストレーション処理では、医用画像処理装置２０の取得機能２４１が、木構造を有する同一の器官の複数のモダリティの医用画像を取得し、検出機能２４２が、学習済みモデル生成装置１０により生成された学習済みモデル５０４を用いて、複数のモダリティの医用画像のうち、少なくとも１つの医用画像から、当該医用画像における器官の木構造の分岐点を検出し、制御機能２４３が、検出された分岐点を利用して、複数のモダリティの医用画像に対してレジストレーションを行う。

以上、第２実施形態における医用画像処理装置２０の画像レジストレーション処理について説明した。以上の説明には、術前の医用画像である３Ｄ画像と術中の医用画像である２Ｄ画像との間のレジストレーションのみが示されているが、本実施形態の画像レジストレーション処理は他のモダリティの画像に適用することもでき、より多くのモダリティの画像の間のレジストレーションに適用することができる。また、第２実施形態では肝臓血管を例として説明を行ったが、本実施形態の画像レジストレーション処理は、木構造を有する他の器官のレジストレーションに適用することができる。

また、第２実施形態では、第１実施形態の効果に加えて、例えば術前の医用画像と術中の医用画像などのマルチモダリティ画像のレジストレーション精度を向上させるという効果を得ることもできる。

＜第３実施形態＞
第３実施形態では、第１実施形態を画像セグメンテーションに適用するものである。

以下、図面を参照して第３実施形態を詳しく説明する。

図９は、第３実施形態における医用画像処理装置の処理として、画像セグメンテーション処理を示すフローチャートである。

図９に示すように、本実施形態における医用画像処理装置２０の画像セグメンテーション処理は、以下のステップＳ６１００～Ｓ６４００を含む。

図９のステップＳ６１００において、医用画像処理装置２０の取得機能２４１は、木構造を有する器官の医用画像を取得する。図９のステップＳ６２００において、検出機能２４２が、学習済みモデル５０４を用いて、取得された医用画像から、当該医用画像における器官の木構造の分岐点を検出する。図９のステップＳ６３００において、制御機能２４３が、検出された分岐点を利用して、木構造の中心線を生成する。例えば、制御機能２４３は、分岐点トポロジーアトラスを利用して、検出された分岐点の絞り込みを行い、絞り込んだ分岐点を利用して、木構造の中心線を生成する。そして、図９のステップＳ６４００において、制御機能２４３が、生成された木構造の中心線に基づいて、木構造のセグメンテーションを行う。

木構造が血管である場合、ステップＳ６３００は公知の技術として、ランドマークを利用して中心線を抽出する方法、例えば血管追跡（vessel tracking）法などによって実現でき、ステップＳ６４００は、閾値に基づくセグメンテーション、画像の強度や幾何学的特徴などに基づくセグメンテーション、深層学習に基づくセグメンテーションなどによって実現できるため、その詳細は省略する。

以上の説明により、第３実施形態の画像セグメンテーション処理では、医用画像処理装置２０の取得機能２４１が、木構造を有する器官の医用画像を取得し、検出機能２４２が、学習済みモデル生成装置１０により生成された学習済みモデル５０４を用いて、取得された医用画像から、当該医用画像における器官の木構造の分岐点を検出し、制御機能２４３が、検出された分岐点を利用して、木構造の中心線を生成する。そして、制御機能２４３は、生成された木構造の中心線に基づいて、木構造のセグメンテーションを行う。

以上、第３実施形態における医用画像処理装置２０の画像セグメンテーション処理について説明した。第３実施形態では、第１実施形態の効果に加えて、木構造のセグメンテーション精度を向上させるという効果を得ることもできる。

＜他の変形例＞
本実施形態は、以上の説明した実施形態に限られず、様々な変形を行うこともできる。

例えば、以上の各実施形態において血管を例として説明したが、本実施形態は、気管などの他の管状構造の器官に用いることもできる。

また、実施形態で図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。

また、上記実施形態で説明した処理方法は、各実施形態で説明した機能を実現できる回路として医用機器に実装することもできる。具体的には、当該処理方法は、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することによって実現することができる。このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な非一時的な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。

そして、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワークソフト等のＭＷ（ミドルウェア）等が上述の実施形態を実現するための各処理の一部を実行しても良い。

以上説明した少なくとも１つの実施形態によれば、木構造の分岐点を検出する精度及び正確性を向上させることができる。

なお、幾つかの実施形態を説明したが、これらの実施形態は例として示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると共に、請求項に記載された発明とその均等の範囲に含まれるものである。

１０ 学習済みモデル生成装置
２０ 医用画像処理装置
１４１ 取得機能
１４２ 生成機能
２４１ 取得機能
２４２ 推定機能
２４３ 制御機能

Claims (11)

1. 木構造の分岐点トポロジーアトラスを利用して、医用画像における前記木構造の分岐点を検出するように学習された学習済みモデルに対して、取得された医用画像を入力して、当該医用画像における前記木構造の分岐点を検出する検出部と、
   前記分岐点トポロジーアトラスを利用して、前記検出された分岐点の絞り込みを行う制御部と、
   を備え、
   前記学習済みモデルは、前記分岐点トポロジーアトラスと出力値との間の差異を示す項を含む損失関数を用いて生成され、
   前記損失関数は、下記式（１）により表され、
   Ｌｏｓｓ _{ｔｏｔａｌ} ＝λ _１ Ｌ（Ｐ，Ｇ）＋λ _２ Ｌ（Ｐ，Ａ） （１）
   Ｌｏｓｓ _{ｔｏｔａｌ} は、モデルの総的な誤差値を示し、
   Ｌ（Ｐ，Ｇ）は、出力値と真値との間の差異を示し、
   Ｌ（Ｐ，Ａ）は、出力値と前記分岐点トポロジーアトラスとの間の差異を示し、
   λ _１ とλ _２ は重み係数である、医用画像処理装置。
2. 前記検出部は、同一の器官について複数のモダリティから得られた医用画像のうち、少なくとも１つの医用画像を学習済みモデルに入力して、当該医用画像における前記木構造の分岐点を検出し、
   前記制御部は、前記検出された分岐点を利用して、前記複数のモダリティから得られた医用画像に対してレジストレーションを行う、
   請求項１に記載の医用画像処理装置。
3. 前記検出部は、前記複数のモダリティから得られた医用画像のうち、レジストレーション対象となる２つの医用画像を前記学習済みモデルに入力して、当該２つの医用画像それぞれにおける前記木構造の分岐点を検出し、
   前記制御部は、前記分岐点トポロジーアトラスを利用して、前記２つの医用画像それぞれについて前記検出された分岐点の絞り込みを行って、前記２つの医用画像に対してレジストレーションを行う、
   請求項２に記載の医用画像処理装置。
4. 前記検出部は、前記複数のモダリティから得られた医用画像のうち、レジストレーション対象となる２つの医用画像の一方の医用画像を前記学習済みモデルに入力して、当該医用画像における前記木構造の分岐点を検出し、
   前記制御部は、前記分岐点トポロジーアトラスを利用して、前記一方の医用画像で検出された分岐点と、マニュアル方式で他方の医用画像において設定された前記木構造の分岐点との絞り込みを行って、前記２つの医用画像に対してレジストレーションを行う、
   請求項２に記載の医用画像処理装置。
5. 前記制御部は、
   前記検出された分岐点を利用して、前記器官の前記木構造の中心線を生成し、前記木構造の中心線に基づいて、前記器官の前記木構造のセグメンテーションを行って、前記器官のセグメンテーション結果を生成し、
   前記器官のセグメンテーション結果に基づいて、前記複数のモダリティの医用画像に対してレジストレーションを行う、
   請求項２に記載の医用画像処理装置。
6. 前記複数のモダリティの画像は、前記器官の術前の医用画像、及び、前記器官の術中の医用画像を含み、
   前記検出部は、前記学習済みモデルを用いて前記術前の医用画像における前記分岐点を検出し、かつ、前記学習済みモデルを用いて前記術中の医用画像における前記分岐点を検出し或いはマニュアル方式で前記術中の医用画像における前記分岐点を設定し、
   前記制御部は、前記器官のセグメンテーション結果により、前記術前の医用画像における前記分岐点の検出結果を修正する、
   請求項２または５に記載の医用画像処理装置。
7. 前記術前の医用画像は、ＭＲ画像またはＣＴ画像であり、前記術中の医用画像は、超音波画像である、
   請求項６に記載の医用画像処理装置。
8. 木構造の分岐点トポロジーアトラスを利用して、医用画像における前記木構造の分岐点を検出するように学習された学習済みモデルに対して、取得された医用画像を入力して、当該医用画像における前記木構造の分岐点を検出する検出部と、
   前記検出された分岐点を利用して、前記木構造の中心線を生成し、前記木構造の中心線に基づいて、前記木構造のセグメンテーションを行う制御部と、
   を備え、
   前記学習済みモデルは、前記分岐点トポロジーアトラスと出力値との間の差異を示す項を含む損失関数を用いて生成され、
   前記損失関数は、下記式（１）により表され、
   Ｌｏｓｓ _{ｔｏｔａｌ} ＝λ _１ Ｌ（Ｐ，Ｇ）＋λ _２ Ｌ（Ｐ，Ａ） （１）
   Ｌｏｓｓ _{ｔｏｔａｌ} は、モデルの総的な誤差値を示し、
   Ｌ（Ｐ，Ｇ）は、出力値と真値との間の差異を示し、
   Ｌ（Ｐ，Ａ）は、出力値と前記分岐点トポロジーアトラスとの間の差異を示し、
   λ _１ とλ _２ は重み係数である、医用画像処理装置。
9. 前記制御部は、前記分岐点トポロジーアトラスを利用して、前記検出された分岐点の絞り込みを行い、絞り込んだ分岐点を利用して、前記木構造の中心線を生成する、
   請求項８に記載の医用画像処理装置。
10. 木構造の分岐点トポロジーアトラスを利用して、医用画像における前記木構造の分岐点を検出するように学習された学習済みモデルに対して、取得された医用画像を入力して、当該医用画像における前記木構造の分岐点を検出し、
    前記分岐点トポロジーアトラスを利用して、前記検出された分岐点の絞り込みを行う
    処理をコンピュータに実行させ、
    前記学習済みモデルは、前記分岐点トポロジーアトラスと出力値との間の差異を示す項を含む損失関数を用いて生成され、
    前記損失関数は、下記式（１）により表され、
    Ｌｏｓｓ _{ｔｏｔａｌ} ＝λ _１ Ｌ（Ｐ，Ｇ）＋λ _２ Ｌ（Ｐ，Ａ） （１）
    Ｌｏｓｓ _{ｔｏｔａｌ} は、モデルの総的な誤差値を示し、
    Ｌ（Ｐ，Ｇ）は、出力値と真値との間の差異を示し、
    Ｌ（Ｐ，Ａ）は、出力値と前記分岐点トポロジーアトラスとの間の差異を示し、
    λ _１ とλ _２ は重み係数である、プログラム。
11. 木構造の分岐点トポロジーアトラスを利用して、医用画像における前記木構造の分岐点を検出するように学習された学習済みモデルに対して、取得された医用画像を入力して、当該医用画像における前記木構造の分岐点を検出し、
    前記検出された分岐点を利用して、前記木構造の中心線を生成し、前記木構造の中心線に基づいて、前記木構造のセグメンテーションを行う、
    処理をコンピュータに実行させ、
    前記学習済みモデルは、前記分岐点トポロジーアトラスと出力値との間の差異を示す項を含む損失関数を用いて生成され、
    前記損失関数は、下記式（１）により表され、
    Ｌｏｓｓ _{ｔｏｔａｌ} ＝λ _１ Ｌ（Ｐ，Ｇ）＋λ _２ Ｌ（Ｐ，Ａ） （１）
    Ｌｏｓｓ _{ｔｏｔａｌ} は、モデルの総的な誤差値を示し、
    Ｌ（Ｐ，Ｇ）は、出力値と真値との間の差異を示し、
    Ｌ（Ｐ，Ａ）は、出力値と前記分岐点トポロジーアトラスとの間の差異を示し、
    λ _１ とλ _２ は重み係数である、プログラム。