JP2020192006A - 診断支援装置、及び、ｘ線ｃｔ装置 - Google Patents

Abstract

【課題】機械学習等の技術を用いて、Ｘ線ＣＴ画像等の高解像度３次元画像から、効率的に異常を検出できるようにする。【解決手段】実施形態に係る診断支援装置は、第１の医用画像を取得する取得部と、処理部と、を備え、前記処理部は、前記第１の医用画像から、情報量を削減した第２の医用画像を生成する一方、前記第１の医用画像から、補助情報を抽出し、 前記第２の医用画像と前記補助情報を入力として、疾患の推論を行う。【選択図】 図２

Description

本発明の実施形態は、診断支援装置、及び、Ｘ線ＣＴ装置に関する。

今日、Ｘ線撮影装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、或いは超音波診断装置等のモダリティで被検体を撮像して生成された医用画像を解析することにより、種々の疾患の診断が行われている。

医用画像を入力とした診断支援装置はこれまでにも様々なものが報告されているが、昨今は各種の機械学習技術を用いて、診断支援装置や診断支援システムを構築する研究や製品開発が積極的に進められている。

例えば、胸部の単純Ｘ線画像を用いた深層学習によって、胸部の疾患名や疾患位置を推定する技術が提案されている。一方、Ｘ線ＣＴ画像を用いて異常検出等を行うシステムも提案されている。

単純Ｘ線画像は、撮影対象の全範囲を１枚の２次元画像で表現しているため、撮影全範囲における異常の検出には好適であるものの、Ｘ線ＣＴ画像に比べると情報量が不足している。このため、単純Ｘ線画像において疑わしい部位が発見された場合には、より詳細な検査のためにＸ線ＣＴ画像を取得する場合が多い。

一方、Ｘ線ＣＴ画像は、解像度の高さと３次元情報が得られるという特徴から、異常の詳細な評価に好適である。しかしながら、機械学習等の技術を用いて異常を検出するという目的においては、情報量が多すぎ、計算機の処理負荷が大きくなる。また、教師あり学習を行う場合、人手で教師ラベル付ける必要があるが、Ｘ線ＣＴ画像は３次元であるために単純Ｘ線画像に比べてラベル付けに多くの時間を要し、学習に十分な教師データを集めることが困難となる。

一方、Ｘ線ＣＴ装置を用いた検査では、低線量で撮影された比較的低解像度のＸ線ＣＴ画像を用いたスクリーニング目的の初回検査が行われる。そして、初回検査の結果、精査が必要と判断された場合に、後日、精査用の撮影条件で撮影されたＸ線ＣＴ画像を用いた検査が行われることが多い。このため、初回検査から精査による異常発見までに時間を要する場合がある。

Zhe Li, Chang Wang, et al. "Thoracic Disease Identification and Localization with Limited Supervision", https://arxiv.org/abs/1711.06373v6 [cs.CV] 20 June 2018

本発明が解決しようとする課題は、機械学習等の技術を用いて、Ｘ線ＣＴ画像等の高解像度３次元画像から、効率的に異常を検出できるようにすることである。また、Ｘ線ＣＴ装置を用いた検査の効率を向上させ、早期に異常を発見できるようにすることである。

実施形態に係る診断支援装置は、第１の医用画像を取得する取得部と、処理部と、を備え、前記処理部は、前記第１の医用画像から、情報量を削減した第２の医用画像を生成する一方、前記第１の医用画像から、補助情報を抽出し、 前記第２の医用画像と前記補助情報を入力として、疾患の推論を行う。

第１の実施形態に係る診断支援装置を含む医用画像診断システムの構成例を示す図。 第１の実施形態に係る診断支援装置の構成例を示すブロック図。 第１の実施形態の学習フェーズの動作例を示すフローチャート。 学習フェーズの動作概念の説明図。 第１の実施形態の推論フェーズの動作例を示すフローチャート。 推論フェーズの動作概念の説明図。 第１の実施形態の変形例における学習フェーズの動作概念の説明図。 第１の実施形態の変形例における推論フェーズの動作概念の説明図。 第２の実施形態に係る診断支援装置の構成例を示すブロック図。 第２の実施形態の学習フェーズの動作例を示すフローチャート。 第２の実施形態における学習フェーズの動作概念の説明図。 第３の実施形態に係るＸ線ＣＴ装置の構成例を示すブロック図。 第３の実施形態のＸ線ＣＴ装置の動作例を示すフローチャート。 第３の実施形態のＸ線ＣＴ装置の動作概念の説明図。

実施形態に係る診断支援装置について、添付図面を参照して説明する。図１は、実施形態に係る診断支援装置１００を含む、医用画像処理システムの一構成例を示す図である。医用画像処理システムは、例えば、病院内において、医用画像を取得し、画像処理し、保存し、利用する、医用画像に関する一連の処理システムである。医用画像の利用には、診断支援装置１００等を用いたＣＡＤ（Computer-Aided Diagnosis）による医師の支援を含む。

医用画像処理システムは、患者等の被検体から医用画像を取得するＸ線ＣＴ装置５１１、ＭＲＩ装置５１２、超音波診断装置５１３などのモダリティ５１０（即ち、医用画像診断装置５１０）のほか、画像サーバ５２０や、診断支援装置１００を有している。これらの各装置は、各種のデータや医用画像を授受できるように、例えば病院内のネットワーク５００を介して互いに接続されている。

（第１の実施形態の構成）
図２は、第１の実施形態に係る診断支援装置１００の構成例を示すブロック図である。診断支援装置１００は、例えば、入力インターフェース回路１０、処理回路２０、記憶回路３０、入力デバイス４０、及び、ディスプレイ５０を備えて構成される。診断支援装置１００は、例えば、所謂ワークステーション、或いは、高性能パーソナルコンピュータとして構成される。

実施形態の診断支援装置１００は、機械学習機能に基づく診断支援機能を提供することができる。そして、機械学習機能に基づく診断支援機能を実現するために、学習フェーズにおいては、医用画像を含む学習用データを用いて疾患を診断するためのモデルを学習によって構築する。一方、推論フェーズにおいては、学習フェーズで構築された学習済みモデルに、新規の医用画像を入力し、推定疾患情報を得る。

入力インターフェース回路１０は、有線又は無線のネットワーク、或いは、専用又は汎用の通信回線を介してデータを入力したり、光ディスクやＵＳＢメモリ等の記憶媒体を介してデータを入力したりするインターフェース回路である。第１の実施形態の診断支援装置１００は、学習フェーズにおいては、入力インターフェース回路１０を介して、Ｘ線ＣＴ装置５１１等のモダリティ５１０で撮像された、或いは、画像サーバ５２０に保存されている学習用の３次元ボリューム画像（例えば、Ｘ線ＣＴ画像等）３００を第１の医用画像として取得する。

同様に、第１の実施形態の診断支援装置１００は、推論フェーズにおいても、入力インターフェース回路１０を介して、Ｘ線ＣＴ装置５１１等のモダリティ５１０で撮像された、或いは、画像サーバ５２０に保存されている新規の３次元ボリューム画像（例えば、Ｘ線ＣＴ画像等）４００を第１の医用画像として取得する。

記憶回路３０は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）の他、ＨＤＤ（Hard Disk Drive）や光ディスク装置等の外部記憶装置を含む記憶媒体である。記憶回路３０は、後述する学習フェーズで生成したモデルを、学習済みモデルとして記憶する。また、推論フェーズにおいては、記憶回路３０に保存されている学習済みモデルが読み出される。この他、記憶回路３０は、処理回路２０が具備するプロセッサが実行する各種のプログラムを記憶する。

入力デバイス４０は、例えば、マウス、キーボード、トラックボール、タッチパネル等であり、各種の情報やデータを操作者が入力するための種々のデバイスを含む。

ディスプレイ５０は、液晶ディスプレイパネル、プラズマディスプレイパネル、有機ＥＬパネル等の表示デバイスである。

処理回路２０は、例えば、ＣＰＵや、専用又は汎用のプロセッサを備える回路である。プロセッサは、記憶回路３０に記憶した各種のプログラムを実行することによって、後述する各種の機能を実現する。処理回路２０は、ＦＰＧＡ（field programmable gate array）やＡＳＩＣ（application specific integrated circuit）等のハードウェアで構成してもよい。これらのハードウェアによっても後述する各種の機能を実現することができる。また、処理回路２０は、プロセッサとプログラムによるソフトウェア処理と、ハードウェア処理とを組み合わせて、各種の機能を実現することもできる。

また、複数の独立したプロセッサを組み合わせて処理回路２０を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、１つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

（第１の実施形態の動作）
第１の実施形態の処理回路２０は、図２に示す各機能を、即ち、学習フェーズ機能２１０と、推論フェーズ機能２２０とを実現する。

具体的には、処理回路２０は、学習フェーズ機能２１０内の個別機能として、学習用画像取得機能２１１、学習用仮想投影画像生成機能２１２、疾患情報ラベル付け機能２１３、学習用補助情報抽出機能２１４、学習用補助情報画像生成機能２１５、及び、モデル生成機能２１６の各機能を実現する。学習フェーズ機能２１０によって生成された機械学習用のモデルは、学習済みモデル２２６として、記憶回路３０に保存される。

また、処理回路２０は、推論フェーズ機能２２０内の個別機能として、新規画像取得機能２２１、新規仮想投影画像生成機能２２２、新規補助情報抽出機能２２４、及び、新規補助情報画像生成機能２２５の各機能を実現する。記憶回路３０から読み出した学習済みモデル２２６に対して上記の推論フェーズの各機能を適用することにより、学習済みモデル２２６が推定した疾患情報２２８を取得する。

ここで、疾患情報２２８とは、例えば、疾患名に関する情報、疾患の位置情報（例えば、疾患が疑われる解剖学的部位や臓器等に関する情報）、推定の確からしさを示す情報、等である。

上記の各機能は、例えば、処理回路２０が具備するプロセッサが、記憶回路３０に記憶される所定のプログラムを実行することによって実現される。

以下、上述した学習フェーズ機能２１０内の夫々の機能について、図３に示すフローチャート、及び、図４に示す動作概念図を用いて詳しく説明していく。同様に、上述した推論フェーズ機能２２０内の夫々の機能について、図５に示すフローチャート、及び、図６４に示す動作概念図を用いて詳しく説明していく。

まず、図３のステップＳＴ１００では、学習用３次元ボリューム画像を取得する。学習用３次元ボリューム画像は、例えば、Ｘ線ＣＴ装置５１１で撮像したＸ線ＣＴ画像であるが、これに限定されるものではなく、例えば、ＭＲＩ装置５１２で撮像した３次元ＭＲＩ画像でもよいし、超音波診断装置１３で撮像した３次元超音波画像でもよい。

学習用３次元ボリューム画像がＸ線ＣＴ画像の場合、図４左上に示すように、多数枚のＸ線断層画像によって構成される。ステップＳＴ１００の処理は、学習用画像取得機能２１１が行う処理である。

次のステップＳＴ１０１では、学習用３次元ボリューム画像を投影して２次元の学習用仮想投影画像を生成する。ここで「仮想投影画像」とは、例えば、２次元の一般Ｘ線画像を模擬した画像である。実際に一般Ｘ線撮像装置を用いて撮影されたＸ線画像ではなく、３次元のＸ線ＣＴ画像を投影して生成した２次元画像であるため、「仮想」という用語を用いている。３次元ボリューム画像から２次元の仮想投影画像を生成する処理は、３次元ボリューム画像が本来有している情報量を削減する処理である。したがって、３次元ボリューム画像を第１の医用画像とし、仮想投影画像を第２の医用画像とするとき、ステップＳＴ１０１の処理は、第１の医用画像から、情報量を削減した第２の医用画像を生成する処理となる。

第１の医用画像がＸ線ＣＴ画像の場合、ステップＳＴ１０１の処理によって生成される第２の医用画像は、例えば、図４の上段中央に例示したような、一般胸部Ｘ線画像に類似した仮想投影画像となる。ステップＳＴ１０１の処理は、学習用仮想投影画像生成機能２１２が行う処理である。

ステップＳＴ１０２では、生成された仮想投影画像を、例えば、診断支援装置１００が備えるディスプレイ５０に表示する。そして、ステップＳＴ１０３では、表示された仮想投影画像も対して、専門家（例えば、医師や放射線技師等）が疾患情報のラベル付けを行って学習用データを生成する。

本明細書では、「ラベル」という用語を、正解データ或いは正解情報といった意味合いで使用している。専門家が医用画像を観察し、その医用画像中のどこかに異常箇所が在ると判断した場合、或いは、異常箇所がどこにも無いと判断した場合、当該医用画像に対するラベルは、「異常有り」または「異常無し」ということになる。また、異常有りと判断した場合には、その異常に対応する推定「疾患名」がラベルとなり、その推定疾患の位置である「疾患部位」もラベルとなり得る。そして、このようなラベルを、当該医用画像に関連付ける作業や行為が「ラベル付け」である。

「ラベル付け」は、例えば、診断支援装置１００の入力デバイス４０を介して、専門家が、異常の有無や、疾患名を医用画像に関連付けて入力する行為である。また、「疾患部位」をラベル付けする場合には、推定される疾患部位の場所を示す四角枠や矢印等を医用画像に設定する等の行為となる。

図４の上段右側には、ラベル付けされた仮想投影画像が例示されている。このラベル付けでは、仮想投影画像で観察される心臓の大きさが正常な大きさに対して大きくなっていることから、推定疾患名として「心肥大」というラベルが付されている。また、肥大した心臓の位置を示すラベル（白い破線）が、仮想投影画像の中に付されている。ステップＳＴ１０２、ＳＴ１０３の処理は、疾患情報ラベル付け機能２１３が行う処理である。

このようにして作成された仮想投影画像と、この仮想投影画像に関連付けられたラベルとによって、１サンプルの学習用データが生成される。この学習用データを多数用意し、機械学習モデルに入力することで、学習済みモデルを生成することができる。

ステップＳＴ１０２からステップＳＴ１０３の処理は、単純Ｘ線画像を用いた、従来の学習済みモデルの生成法に類似するものである。しかしながら、単純Ｘ線画像、或いは、上記の仮想投影画像は、撮影対象の全範囲を１枚の２次元画像で表現しているため、撮影全範囲における異常の検出には好適であるものの、Ｘ線ＣＴ画像に比べると情報量が不足している。このため、ステップＳＴ１０３で生成される学習用データのみを用いて学習済みモデルを生成する方法では、必ずしも十分な疾患の推定精度が得られないと考えられる。

そこで、本実施形態の診断支援装置１００では、３次元ボリューム画像から補助情報を抽出し、この補助情報と、ステップＳＴ１０３で生成した学習用データの双方を用いて学習済みモデルを生成するものとしている。

次に、ステップＳＴ１０４では、学習用の３次元ボリューム画像から学習用の補助情報を抽出する。３次元ボリューム画像から抽出する補助情報としては、種々の形態の補助情報が考えられる。

図４に示した例では、３次元ボリューム画像から、解剖学的特徴点（解剖学的ランドマークと呼ばれることもある）を補助情報として抽出している。３次元ボリューム画像から解剖学的特徴点を抽出する技術は、パターンマッチング技術等を含む種々の公知技術を用いることができる。図４の下段中央には、抽出した解剖学的特徴点を黒い四角で配置した３次元ボリューム画像を例示している。黒い四角は、解剖学的特徴点の識別情報（例えば、大動脈弁や心尖部といった識別情報）と解剖学的特徴点の位置に関する情報とを含んでいる。ステップＳＴ１０４の処理は、学習用補助情報抽出機能２１４が行う処理である。

次のステップＳＴ１０５では、解剖学的特徴点が組み込まれた３次元ボリューム画像を、仮想投影画像と同じ投影条件で投影して、２次元の学習用補助情報画像を生成する。図４の下段右側には、補助情報が解剖学的特徴点の場合の、２次元の学習用補助情報画像を例示している。テップＳＴ１０５の処理は、学習用補助情報画像生成機能２１５が行う処理である。

ステップＳＴ１０６では、ステップＳＴ１０３で生成された学習用データと、ステップＳＴ１０５生成した学習用補助情報画像とで、１組の学習用データセットを構成する。ステップＳＴ１０７では、学習用データセットの組数が十分であるか否か、即ち、学習用データセットの組数が所定の数に達しているか否かを判定する。学習用データセットの組数が不十分な場合には、ステップＳＴ１００に戻り、ステップＳＴ１００からステップＳＴ１０６までの処理を繰り返すことにより、学習用データセットの組数を増やしていく。

学習用データセットの組数が十分であると判定された場合には、ステップＳＴ１０８に進み、学習用モデルに、用意された複数の学習用データセットを入力することにより、学習用モデルに学習させ、学習済みモデルを生成する。さらにステップＳＴ１０９で、生成した学習済みモデルを、例えば、記憶回路３０に保存する。ステップＳＴ１０６からステップＳＴ１０９までの処理は、モデル生成機能２１６が行う処理である。

以上が、学習フェーズにおける処理である。次に、図５及び図６を用いて、推論フェーズの処理について説明する。

図５のステップＳＴ２００では、例えば、記憶回路３０に保存している学習済みモデル２２６を読み出す。

次のステップＳＴ２０１では、診断対象である第１の医用画像、即ち、新規の３次元ボリューム画像を取得する。取得元は、学習フェーズと同様に、例えば、ネットワーク５００に接続されているＸ線ＣＴ装置５１１等のモダリティ装置５１０や、ネットワーク５００に接続されている画像サーバ５２０等である。ステップＳＴ２０１で読み出した新規の３次元ボリューム画像は、図６の上段左側に例示するように、学習フェーズと同様、例えば、多数枚の断層画像によって構成されている。ステップＳＴ２０１の処理は、診断支援装置１００の新規画像取得機能２２１が行う。

ステップＳＴ２０２では、取得した新規３次元ボリューム画像を投影して、第２の医用画像、即ち、新規仮想投影画像を生成する。ステップＳＴ２０２の処理は、学習フェーズにおけるステップＳＴ１０１に対応する処理であり、処理の内容や投影方向等も学習フェーズにおけるステップＳＴ１０１と同じである。ステップＳＴ２０２で生成される新規仮想投影画像は、図６の上段左側に例示するように、一般胸部Ｘ線画像に類似した２次元の仮想投影画像である。ステップＳＴ２０２の処理は、新規仮想投影画像生成機能２２２が行う。

ステップＳＴ２０３では、新規３次元ボリューム画像から新規補助情報を抽出する。ステップＳＴ２０３の処理は、学習フェーズにおけるステップＳＴ１０４に対応する処理である。ステップＳＴ１０４と同様に、図６に示す例では、補助情報として、新規３次元ボリューム画像から解剖学的特徴点を抽出している。ステップＳＴ２０３の処理は新規補助情報抽出機能２２４が行う。

ステップＳＴ２０４では、抽出した３次元の補助情報を投影して、２次元の補助情報画像を生成する。ステップＳＴ２０４の処理は、学習フェーズにおけるステップＳＴ１０５に対応する処理である。ステップＳＴ１０５と同様に、解剖学的特徴点が組み込まれた３次元ボリューム画像を、仮想投影画像と同じ投影条件で投影して、２次元の新規補助情報画像を生成する。図４の下段右側には、補助情報が解剖学的特徴点の場合の、２次元の新規補助情報画像を例示している。ステップＳＴ２０４の処理は、新規補助情報画像生成機能２２５が行う。

ステップＳＴ２０５では、ステップＳＴ２０２で生成した新規仮想投影画像と、ステップＳＴ２０４で生成した新規補助情報画像とを、学習済みモデルに入力する。さらにステップＳＴ２０６では、学習済みモデルから出力される疾患情報、即ち、学習済みモデルによって推定される疾患情報を取得する。

さらに、ステップＳＴ２０７において、取得した疾患情報を、例えば、ステップＳＴ２０２で生成した２次元の新規仮想投影画像に重畳して、ディスプレイ５０に表示してもよい。例えば、学習済みモデルによって推定された疾患情報が、疾患名「心肥大」であり、疾患部位が肥大した心臓全体である場合には、２次元仮想投影画像に疾患名「心肥大」を併記し、２次元仮想投影画像に疾患部位を示す四角枠を重畳表示してもよい。

従来から、単純Ｘ線画像のような２次元画像を用いて機械学習する技術は知られている。しかしながら、２次元画像を用いた機械学習の結果からは粗い診断結果しか期待できないため、単純Ｘ線画像で疾患の疑いが発見された場合には、Ｘ線ＣＴ画像等の３次元ボリューム画像を用いた更なる検査に進む場合が多い。

そこで、Ｘ線ＣＴ画像等の３次元ボリューム画像を用いて機械学習すれば、精度の高い疾患推定が可能となることが期待される。しかしながら、教師あり学習を行う場合、人手で教師ラベル付ける必要があるが、Ｘ線ＣＴ画像は３次元であるために単純Ｘ線画像に比べてラベル付けに多くの時間を要し、学習に十分な数の教師データを集めることが困難となる。そもそも、事前情報が全くない状況下で、膨大の数の断層画像から異常部位を発見するのは容易ではない。また、異常部位が発見されたとしても、３次元の異常部位を特定し、３次元の異常部位を囲むような領域を設定する作業も困難を伴う。

また、２次元画像に比べて３次元ボリューム画像はデータ量が多いため、機械学習を行う計算機の処理負荷も多くなる。

これに対して、上述した第１の実施形態の診断支援装置１００では、Ｘ線ＣＴ画像等の３次元ボリューム画像を投影して２次元仮想画像を生成する一方、３次元ボリューム画像から補助情報を抽出している。そして、学習フェーズでは、２次元仮想画像と補助情報画像とを用いて学習用モデルを生成し、推論フェーズでは、２次元仮想画像と補助情報画像とを学習済みモデルに入力して疾患情報を推定するという構成にしている。

このような構成により、学習フェーズでは、３次元ボリューム画像から情報量が削減された２次元仮想画像に対してラベル付けを行うことになるため、ラベル付け作業が容易となり、結果的に多数の学習モデルを生成することが可能となる。その一方で、学習用モデルの生成や、学習済みモデルの運用に際しては、２次元仮想画像だけではなく、３次元ボリューム画像から補助情報も使用している。このため、生成された学習済みモデルには、３次元ボリューム画像が有している奥行き情報や、３次元形状情報等が反映されることになり、疾患情報の推定精度を高めることが可能となる。

例えば、上述した例では、肥大した心臓の３次元形状情報が、心臓の内部又は心臓外周の解剖学的特徴点の分布として得られる。このため、心臓の３次元形状情報が反映された学習済みモデルが生成され、また、心臓の３次元形状情報が反映された疾患（例えば、心肥大）の推定を高精度で行うことができる。

（第１の実施形態の変形例）
上述した第１の実施形態では、第１の医用画像である３次元ボリューム画像に対して解剖学的特徴点の検出処理を行い、解剖学的特徴点に関する情報を３次元ボリューム画像から補助情報として抽出している。しかしながら、３次元ボリューム画像から抽出する補助情報は、解剖学的特徴点に限定されず、第１の実施形態に対して種々の変形例が考えられる。

例えば、第１の変形例では、図７及び図８に示したように、第１の医用画像である３次元ボリューム画像に対して公知の骨除去処理を行い、骨が除去された画像を、３次元ボリューム画像から補助情報として抽出することができる。

図７は、第１の変形例の診断支援装置１００の学習フェーズにおける動作概念を示す図である。学習用の３次元ボリューム画像から２次元の学習用仮想投影画像を生成し、この学習用仮想投影画像に対してラベル付けを行って学習用データを生成する過程は、上述した第１の実施形態と同じである。

ただし、図７に示した例では、推定疾患として、肺野部の３カ所の肺結節を挙げている。また、図７に示した例では、３カ所の肺結節のうち、左肺上部の肺結節は、学習用仮想投影画像では骨に隠れて見えにくくなっており、この結果、３つのうち１つの肺結節については、肺結節の位置に関するラベル付けが行われていない。このような学習用データがモデル作成の一方の入力となる。

これに対して、モデル作成の他方の入力である学習用補助情報画像は、骨除去処理が行われた画像であるため、骨に隠れていた左肺上部の肺結節も明瞭に描出されている。

この結果、学習フェーズで生成されるモデルには、骨に隠れた疾患の情報も反映されることになり、精度の高い学習モデルを生成することができる。

図８は、第１の変形例の診断支援装置１００の推論フェーズにおける動作概念を示す図である。推論フェーズでは、新規の３次元ボリューム画像から２次元の仮想投影画像を生成して、これを学習済みモデルの一方の入力とする。

また、新規の３次元ボリューム画像に対して骨除去処理を行って、骨が除去された３次元ボリューム画像を生成する。さらにこの骨が除去された３次元ボリューム画像を投影して、骨除去された２次元の補助情報画像を生成し、この補助情報画像を学習済みモデルの他方の入力とする。

このように、第１の実施形態の第１の変形例では、骨が描出されている仮想投影画像と、骨除去された補助情報画像とが学習済みモデルに入力されることになる。この結果、例えば、仮想投影画像において骨に隠れた肺結節がある場合でも、この肺結節を見落とすことなく、精度の高い疾患推定が可能となる。

上述した解剖学的特徴点が描出された画像、或いは、骨が除去された画像の他、他の変形例として、３次元ボリューム画像に対して肺、心臓、肝臓等の臓器を抽出する処理を行って臓器抽出画像を生成し、この臓器抽出画像を補助情報画像とすることも考えらえる。

また、補助情報として、画像ではなく補助情報そのものを示すデータを用いることもできる。この場合、学習フェーズにおいては、仮想投影画像と補助情報を示すデータとを用いてモデルを作成することになり、推論フェーズにおいては、仮想投影画像と補助情報を示すデータとを学習済みモデルに入力することになる。

また、ここまでは、第１の医用画像である３次元ボリューム画像から生成される、情報量が削減された第２の医用画像として、３次元ボリューム画像を投影処理して生成される２次元の仮想投影画像の例を挙げた。３次元ボリューム画像ではなく、２次元の仮想投影画像に対してラベル付けの作業を行うことになるため、ラベル付け作業が容易となり、学習用データの数の増加が可能となるという効果が得られる。

一方、情報量が削減された第２の医用画像としては、２次元投影画像以外の画像も考えられる。例えば、３次元ボリューム画像に対して間引き処理などの低解像度処理を行い、元の３次元ボリューム画像（第１の医用画像）よりも低解像化された３次元画像を第２の医用画像としてもよい。例えば、３次元ボリューム画像に対して、Ｘ軸、Ｙ軸、Ｚ軸の少なくともいずれかの１軸に関して低解像度処理を行って第２の医用画像を生成してもよい。この場合も、ラベル付けの対象となる第２の医用画像は、元の３次元ボリューム画像よりも情報量が削減されているため、ラベル付け作業が容易となる。

（第２の実施形態）
第２の実施形態は、上述した第１の実施形態における学習を、所謂、転移学習として構成する実施形態である。

図９は、第２の実施形態に係る診断支援装置１００の構成例を示すブロック図である。また、図１０は、第２の実施形態に係る診断支援装置１００の動作例を示すフローチャートであり、図１１は、第２の実施形態に係る診断支援装置１００の動作概念を説明する図である。以下、第１の実施形態との相違点に焦点を絞って、第２の実施形態について説明する。

図９に示すように、第２の実施形態では、第１の実施形態に対して、初期学習フェーズ機能２３０を有している。初期学習フェーズ機能２３０は、その内部構成として、学習用画像取得機能２３１、疾患情報ラベル付け機能２３２、及び、モデル作成機能２３３を有している。

また、第２の実施形態の動作では、図１０に示すように、第１の動作フローに対してステップＳＴ２５０が付加されている点が異なっている。ステップＳＴ２５０では、図１１の上段に示したように、２次元学習用データから学習済み仮モデルを生成する。

２次元学習用データは、例えば、一般Ｘ線画像である。一般Ｘ線画像であれば、種々の症例に対応する多数の画像が、既存のデータベース等から比較的容易に入手可能である。そこで、ステップＳＴ２５０では、一般Ｘ線画像等の２次元学習用データを取得し、取得した多数の２次元学習用データに対してラベル付けを行ったデータによって学習済み仮モデルを生成する。

学習済み仮モデルは、作成に用いたサンプル数の観点からは優れたモデルであるものの、元々の一般Ｘ線画像が２次元であるため、３次元情報が反映されていないモデルである。そこで、第２の実施形態では、図１０のステップＳＴ１００〜ステップＳＴ１０７の処理によって、３次元情報が反映された学習用データセットを生成する。なお、ＳＴ１００〜ステップＳＴ１０７の処理は、第１の実施形態と同じ処理である。

そして、３次元情報が反映された学習用データセットを用いて、２次元情報だけから生成された学習済み仮モデルを更新することにより、最終的な学習済みモデルを生成する。なお、推論フェーズの動作は第１の実施形態と同じであるため、説明を省略する。

上述した第２の実施形態によれば、Ｘ線ＣＴ画像等の３次元ボリューム画像に基づく学習では、必ずしも十分な学習サンプルを確保できないというデメリットを、豊富な学習サンプルが確保可能な一般Ｘ線画像を用いた学習によって補完することができる。その一方で、３次元形状や奥行き情報等の３次元情報が反映された、精度の高い学習済みモデルを作成することができる。

（第３の実施形態）
図１２は、第３の実施形態に係るＸ線ＣＴ装置７００の構成例を示すブロック図である。Ｘ線ＣＴ装置７００は、ＣＴスキャナ７７０とコンソール７６０を備えて構成される。ＣＴスキャナ７７０は、Ｘ線管とＸ線検出器を被検体周りに高速回転させ、多数のスライスに対応する投影データを取得し、コンソール７６０に送出する。

コンソール７６０は、処理回路７４０、記憶回路７４２、入力デバイス７４３、ディスプレイ７４４、及び、入力インターフェース回路７５０を備えて構成される。これらのハードウェア的な構成や機能は、診断支援装置１００で説明した、処理回路２０、記憶回路３０、入力デバイス４０、ディスプレイ５０、及び、入力インターフェース回路１０と同様であり、説明を省略する。

処理回路７４０は、スキャノ撮影に基づく学習フェーズ機能７１０、スキャノ撮影に基づく推論フェーズ機能７２０、及び、検査機能７３０を少なくとも実現する。

スキャノ撮影に基づく学習フェーズ機能７１０は、その内部機能として、スキャノ画像用データ取得機能７１１、スキャノ画像用３次元画像再構成機能７１２、２次元スキャノ画像生成機能７１３、学習用補助情報抽出機能７１４、及び、モデル生成機能７１５を有している。

また、スキャノ撮影に基づく推論フェーズ機能７２０は、その内部構成として、スキャノ画像用３次元画像再構成機能７１２、２次元スキャノ画像生成機能７１３、学習用補助情報抽出機能７１４を有している。

スキャノ撮影は、元々は位置決め画像であるスキャノ画像を生成するための撮影であり、通常撮影或いは精密検査用の撮影にくらべて、低線量、低解像度の撮影条件で撮影されることが多い。

第３の実施形態のＸ線ＣＴ装置７００は、スキャノ撮影で取得されたデータを用いて機械学習用のモデルを学習済みモデルとして生成する。その一方、スキャノ撮影で取得されたデータをこの学習済みモデルに入力して、疾患情報をＣＡＤ（Computer-Aided Diagnosis）として出力する。

第３の実施形態のＸ線ＣＴ装置７００では、学習フェーズにおいては、スキャノ撮影で取得されたデータから３次元ボリューム画像を再構成したのち、この３次元ボリューム画像から２次元スキャノ画像を生成する。この２次スキャノ画像は、第１の実施形態における２次元の仮想投影画像に相当する。そして、このスキャノ画像に対してラベル付けを行うことにより、学習用データを生成する。

また、第３の実施形態のＸ線ＣＴ装置７００では、スキャノ撮影で取得されたデータから再構成された３次元ボリューム画像に対して、解剖学的特徴点の抽出処理や、骨除去処理等の補助情報抽出処理を行って、学習用補助情報画像を生成する。そして、スキャノ撮影データから生成された、学習用データをと学習用補助情報画像とを用いて学習を行い、学習済みモデルを生成する。

上述した学習済みモデルの生成は、被検体の検査の前に行なわれるものであり、生成された学習済みモデルは、記憶回路７４２に保存されている。

一方、被検体の検査時には、図１２に示した構成のうち、スキャノ撮影に基づく推論フェーズ機能７２０、及び、検査機能７３０が動作することになる。

図１３は、典型的な従来の検査の流れと、第３の実施形態のＸ線ＣＴ装置７００による検査の流れを示すフローチャートである。

従来の検査では、初回検査或いはスクリーニング検査を行い、その結果精密検査が必要と判断された場合、通常は、後日再来院して、精密検査をすることになる。例えば、初回検査或いはスクリーニング検査では、スキャノ撮影し（ステップＳＴ３００）、初回検査或いはスクリーニング検査の撮影条件を設定し（ステップＳＴ３０１）、撮影を実施する（ステップＳＴ３０２）。初回検査或いはスクリーニング検査では、精密検査に比べて、一般に、低解像度、低線量で撮影される。次に、収集したデータを再構成して画像を生成する（ステップＳＴ３０３）。医師等はこの画像を読影し精密検査が必要か否かを判断する。

精密検査では、再度スキャノ撮影して（ステップＳＴ４００）、位置決めのためのスキャノ画像を生成する。その後、精密検査用の撮影条件を設定し（ステップＳＴ４０１）、高解像度、高線量の精密検査用の撮影を実施する（ステップＳＴ４０２）。そして、精密検査用の再構成処理による画像を生成し（ステップＳＴ４０３）、その画像を解析する（ステップＳＴ４０４）。その後、医師により、そのまま帰宅するか、入院するか等の最終的な判断がなされる。このように、従来の検査では、最終的な判断までに相当の時間を要するものとなっている。

これに対して、第３の実施形態のＸ線ＣＴ装置７００では、図１３の右に示すフローチャートのように、検査過程が単純化される。具体的には、ステップＳＴ５００で、スキャノ撮影を行ったのち、このスキャノ撮影で収集されたデータを用いて、単にスキャノ画像を生成するだけでなく、機械学習によるＣＡＤを実施するものとしている（ステップＳＴ５０１）。

前述したように、スキャノ撮影データに基づく学習済みモデルは、この検査の前に既に生成されている。そこで、ステップＳＴ５０１では、Ｘ線ＣＴ装置７００のスキャノ撮影に基づく推論フェーズ機能７２０によって、ステップＳＴ５００で収集されたスキャノ撮影データに基づいて、スキャノ画像を作成する一方、スキャノ撮影データから再構成された３次元ボリューム画像に対して解剖学的特徴点抽出処理や骨除去処理等の補助情報抽出処理を行う。そして、スキャノ画像と補助情報画像とを学習済みモデルに入力することにより、推定疾患情報を取得する（ステップＳＴ５０２）。

その後、Ｘ線ＣＴ装置７００の検査機能７３０は、精密検査の撮影範囲、線量等の撮影条件、精密検査用の再構成方法等を設定する（ステップＳＴ５０３）。

例えば、推定疾患が肺結節や心肥大の場合、図１４に例示したように、その疾患の診断をするために重要な肺野の領域と心臓の領域に対しては、精査用の撮像条件を設定し、それ以外の領域に対しては、通常撮影の撮影条件を設定する。

このような設定をした後、１回の検査の中で各領域に設定された１つ以上の条件での撮影を時系列に実施する（ステップＳＴ５０４）。この撮影では、領域別に設定された撮影条件を反映させて行なう。その後、肺や心臓の精密検査に適した再構成方法によって再構成画像を生成する（ステップＳＴ５０５）。さらに、必要に応じて、肺結節等の疾患毎に用意されている解析用アプリケーションソフトウェアによる詳細な解析を行ってもよい（ステップＳＴ５０６）。その後、最終的には医師により、そのまま帰宅するか、入院するか、等の判断がなされる（ステップＳＴ５０７）。

上述したように、第３の実施形態によるＸ線ＣＴ装置７００によれば、初回検査から最終的な医師による判断までの期間を短縮することができ、異常があった場合には、その異常を早期に発見することができる。

以上説明した少なくとも１つの実施形態によれば、機械学習等の技術を用いて、Ｘ線ＣＴ画像等の高解像度３次元画像から、効率的に異常を検出できる。また、Ｘ線ＣＴ装置を用いた検査の効率を向上させ、早期に異常を発見できる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２０ 処理回路
１００ 診断支援装置
２１０ 学習フェーズ機能、転移学習フェーズ機能
２１１ 学習用画像取得機能
２１２ 学習用仮想投影画像生成機能
２１３ 疾患情報ラベル付け機能
２１４ 学習用補助情報抽出機能
２１５ 学習用補助情報画像生成機能
２１６ モデル生成機能
２２１ 新規画像取得機能
２２２ 新規仮想投影画像生成機能
２２４ 新規補助情報抽出機能
２２５ 新規補助情報画像生成機能
２２６ 学習済みモデル
７００ Ｘ線ＣＴ装置

Claims (12)

1. 第１の医用画像を取得する取得部と、
   処理部と、を備え、
   前記処理部は、
   前記第１の医用画像から、情報量を削減した第２の医用画像を生成する一方、
   前記第１の医用画像から、補助情報を抽出し、
   前記第２の医用画像と前記補助情報を入力として、疾患の推論を行う、
   診断支援装置。
2. 前記第１の医用画像は３次元のボリューム画像であり、前記第２の医用画像は、前記３次元のボリューム画像から生成した２次元の仮想投影画像である、
   請求項１に記載の診断支援装置。
3. 前記第１の医用画像は３次元のボリューム画像であり、前記第２の医用画像は、前記３次元のボリューム画像の解像度よりも低い解像度の画像である、
   請求項１に記載の診断支援装置。
4. 前記処理部は、前記第１の医用画像に対して解剖学的特徴点の検出処理を行い、前記解剖学的特徴点に関する情報を、前記第１の医用画像から前記補助情報として抽出する、
   請求項１乃至３のいずれか１項に記載の診断支援装置。
5. 前記処理部は、前記第１の医用画像に対して骨除去処理を行い、骨が除去された画像を、前記第１の医用画像から前記補助情報として抽出する、
   請求項１乃至３のいずれか１項に記載の診断支援装置。
6. ディスプレイ、をさらに備え、
   前記第１の医用画像は３次元のボリューム画像であり、
   前記処理部は、２次元画像を出力すると共に、前記疾患の推論結果に関する情報を、前記２次元画像に重畳して、前記ディスプレイに表示する、
   請求項１に記載の診断支援装置。
7. 第１の医用画像を取得する取得部と、
   処理部と、を備え、
   前記処理部は、
   前記第１の医用画像から、情報量を削減した第２の医用画像を生成する一方、
   前記第１の医用画像から、補助情報を抽出し、
   前記第２の医用画像と前記補助情報を入力として、疾患の推論を行うためのモデルを学習する、
   診断支援装置。
8. 前記取得部は、
   前記第１の医用画像よりも情報量の少ない第３の医用画像を、前記第１の医用画像とは別に取得し、
   前記処理部は、
   疾患の推論を行うための前記モデルを、前記第３の医用画像を用いて予め学習し、
   前記第２の医用画像を、前記第３の医用画像に類似するように生成し、
   前記第２の医用画像と前記補助情報を入力として、予め学習された前記モデルを更新する、
   請求項７に記載の診断支援装置。
9. 前記第３の医用画像は２次元画像であり、
   前記第１の医用画像は３次元のボリューム画像であり、
   前記処理部は、
   前記２次元画像を用いて前記モデルを予め学習し、
   前記３次元のボリューム画像に基づいて、予め学習された前記モデルを更新する、
   請求項８に記載の診断支援装置。
10. 精査の目的で行われる第１の撮影と、前記第１の撮影よりも先に行なわれ、前記第１の撮影よりも低線量で行われる第２の撮影とを行うスキャナと、
    処理部と、を備え、
    前記処理部は、
    前記第２の撮影で収集されたデータから３次元のボリューム画像を生成し、
    前記３次元のボリューム画像から２次元の仮想投影画像を生成し、
    前記３次元のボリューム画像から、補助情報を抽出し、
    前記２次元の仮想投影画像と前記補助情報を入力として、疾患の推論を行い、
    推論した前記疾患の情報に基づいて、前記第１の撮影の撮影条件を決定し、
    決定した前記撮影条件に基づいて前記第１の撮影を実行するように前記スキャナを制御する、
    Ｘ線ＣＴ装置。
11. 前記処理部は、さらに、推論した前記疾患の情報に基づいて当該疾患に適した再構成方法を決定し、前記第１の撮影の実行によって収集されたデータを、決定した前記再構成方法を用いて再構成して精査用の医用画像を生成する、
    請求項１０に記載のＸ線ＣＴ装置。
12. 前記処理部は、さらに、推論した前記疾患の情報に基づいて当該疾患に適した解析方法を決定し、生成した前記精査用の医用画像に対して、決定した前記解析方法を適用して、前記疾患の解析を行う、
    請求項１１に記載のＸ線ＣＴ装置。