JP7140630B2 - 画像処理装置、データ生成装置及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、データ生成装置及びプログラムに関する。

コンピュータを用いて診断支援を行う、いわゆるＣｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｄｅｔｅｃｔｉｏｎ／Ｄｉａｇｎｏｓｉｓなどの分野では、例えば、予めわかっている病変の特徴量を教師データとして、学習を行って、学習済モデルを生成する。また、近年では、深層学習（ディープラーニング）や強化学習によって、特徴量を人間が事前知識として与えなくとも、プログラムが自ら特徴量そのものを自己学習し、その特徴量に人間がラベル（記号）を与えることによって学習済モデルを生成する場合がある。

病変の特徴量を基に判定を行う学習済モデルを生成する過程の学習には、一般に訓練データが多数必要となる。例えば、深層学習（ディープラーニング）を用いて学習を行う場合、学習済モデルを生成するための医用データが訓練データとして、例えば数万個程度必要となる場合もある。しかし、これら訓練用の医用データを十分な数、入手するのが、難しい場合もある。この結果、学習された学習済モデルの判定精度が低下する場合があった。

特開２０１６－７２７０号公報

本発明が解決しようとする課題は、学習された学習済モデルの判定精度を高めることである。

実施形態に係る画像処理装置は、抽出部と、学習部とを備える。抽出部は、訓練用の医用データから、病変内部の領域である第１の領域の画像に係る第１のデータと、病変周囲の領域である第２の領域の画像に係る第２のデータと、病変外部の領域である第３の領域の画像に係る第３のデータとを抽出する。学習部は、入力医用データについての判定を行う学習済モデルを、抽出部が抽出した第１のデータと、第２のデータと、第３のデータとを訓練データとして用いて生成する。

図１は、実施形態に係る画像処理装置を示す図である。 図２は、実施形態に係る画像処理装置が行う処理について説明した図である。 図３は、実施形態に係る画像処理装置が行う画像抽出の処理の流れについて説明したフローチャートである。 図４は、実施形態に係る画像処理装置が行う処理について説明した図である。 図５は、実施形態に係る画像処理装置が行う学習の処理の流れについて説明したフローチャートである。 図６は、実施形態に係る画像処理装置が行う処理について説明した図である。 図７は、実施形態に係る画像処理装置が行う学習済モデルの実行の処理の流れについて説明したフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。ここで、互いに同じ構成には共通の符号を付して、重複する説明は省略する。

（実施形態）
図１の実施形態に係る画像処理装置１００を示すブロック図である。

医用画像診断装置１０は、被検体の撮影又は撮像を行い、医用データを生成する装置である。また、医用画像診断装置１０は、被検体の撮像を行い生成した医用データを、画像処理装置１００に送信する。ここで、医用画像診断装置１０は、例えば、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置である。かかる場合、医用画像診断装置１０は、被検体に対してＸ線ＣＴ撮影を行い、Ｘ線ＣＴデータまたはＸ線ＣＴ画像を生成する。医用画像診断装置１０は、生成したＸ線ＣＴデータまたはＸ線ＣＴ画像を、学習済モデルが判定を行う対象となる入力医用データとして、または、学習済モデルを生成するための訓練用の医用データとして、画像処理装置１００に送信する。画像処理装置１００は、後述する、第１の処理回路１２０が有するインタフェース機能１２０ａ又は第２の処理回路１３０が有するインタフェース機能１３０ａにより、医用画像診断装置１０から、Ｘ線ＣＴデータまたはＸ線ＣＴ画像を取得する。

なお、医用画像診断装置１０が、被検体に対してＸ線ＣＴ撮影を行うことにより得られたＸ線ＣＴデータに基づいてＸ線ＣＴ画像を生成してもよいし、画像処理装置１００が、医用画像診断装置１０から取得したＸ線ＣＴデータに基づいてＸ線ＣＴ画像を生成してもよい。

画像処理装置１００は、医用画像診断装置１０に接続され、学習済モデルの生成、学習済モデルの実行、及び様々な画像処理を実行する。画像処理装置１００は、医用画像診断装置１０が生成する医用データを、学習済モデルが判定を行う対象となる入力医用データとして、または、学習済モデルを生成するための訓練用の医用データとして、利用する。画像処理装置１００は、これらの入力医用データ及び訓練用の医用データを、例えばそれぞれ入力医用画像及び訓練用の医用画像の形で、利用する。

画像処理装置１００は、メモリ１３２、入力装置１３４、ディスプレイ１３５、第１の処理回路１２０、第２の処理回路１３０を備える。第１の処理回路１２０は、インタフェース機能１２０ａ、制御機能１２０ｂ、生成機能１２０ｃ、訓練用データ作成機能１、学習機能２を備える。訓練用データ作成機能１の中には、抽出機能４が含まれ、より詳細には、抽出機能４は、異常領域抽出機能４ａ、境界領域抽出機能４ｂ、正常領域抽出機能４ｃが含を含む。また、学習機能２は、異常領域学習機能２ａ、境界領域学習機能２ｂ、正常領域学習機能２ｃを含む。また、第２の処理回路１３０は、インタフェース機能１３０ａ、制御機能１３０ｂ、生成機能１３０ｃ、判定機能３を備える。

実施形態では、インタフェース機能１２０ａ、制御機能１２０ｂ、生成機能１２０ｃ、訓練用データ作成機能１（抽出機能４を含み、より詳細には、異常領域抽出機能４ａ、境界領域抽出機能４ｂ、正常領域抽出機能４ｃを含む）、学習機能２（異常領域学習機能２ａ、境界領域学習機能２ｂ、正常領域学習機能２ｃを含む）、インタフェース機能１３０ａ、制御機能１３０ｂ、生成機能１３０ｃ、判定機能３にて行われる各処理機能、及び学習済モデルは、コンピュータによって実行可能なプログラムの形態でメモリ１３２へ記憶されている。第１の処理回路１２０及び第２の処理回路１３０はプログラムをメモリ１３２から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の第１の処理回路１２０は、図１の第１の処理回路１２０内に示された各機能を有することになる。また、各プログラムを読み出した状態の第２の処理回路１３０は、図１の第２の処理回路１３０内に示された各機能を有することになる。また、学習済モデルに対応するプログラムを読み出した状態の第２の処理回路１３０が実行されると、当該学習済モデルに従った処理が行われる。なお、図１においては第１の処理回路１２０及び第２の処理回路１３３０にて、それぞれ単一の処理回路により、これらの処理機能が実現されるものとして説明するが、複数の独立したプロセッサを組み合わせてそれぞれ第１の処理回路１２０及び第２の処理回路１３０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、１つの処理回路が各プログラムを実行する場合であってもよい。また、単一の処理回路により、第１の処理回路１２０及び第２の処理回路１３０の両方が実現されてもよい。別の例として、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。なお、図１において、抽出機能４、学習機能２、判定機能３、インタフェース機能１２０ａ及び１３０ａ、制御機能１２０ｂ及び１３０ｂ、生成機能１２０ｃ及び１３０ｃは、それぞれ抽出部、学習部、判定部、受付部、制御部、画像生成部の一例である。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等の回路を意味する。プロセッサはメモリ１３２に保存されたプログラムを読み出し実行することで機能を実現する。

また、メモリ１３２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。従って、例えばメモリ１３２に学習済モデルが保存される代わりに、プロセッサの回路内に学習済モデルに係るプログラムが直接組み込まれていてもよい。

なお、第１の処理回路１２０は、主に訓練用データの作成および、訓練用データを用いた学習による学習済モデルの生成を主に担う処理回路であり、第２の処理回路１３０は、生成された学習済モデルを鑑別対象のデータに適用して鑑別を行う機能を主に担う処理回路である。

第１の処理回路１２０は、訓練用データ作成機能１により、医用画像診断装置１０から取得したデータに基づいて、後述の学習機能２により学習を行うための訓練データを生成する。第１の処理回路１２０は、訓練用データ作成機能１により生成された訓練用データに対して、学習機能２を用いて学習を行い、学習済モデルを生成する。また、第２の処理仮１３０は、生成された学習済モデルに対して鑑別を行い、判定を行う。これら、訓練用データ作成機能１、学習機能２及び判定機能３については、後述する。

また、第１の処理回路１２０は、インタフェース機能１２０ａにより、訓練用データの取得に係る医用画像診断装置１０の撮影の制御に係る情報を医用画像診断装置１０へ送信し、また、医用画像診断装置１０から、撮影により得られた訓練用データを取得する。また、インタフェース機能１２０ａを有する第１の処理回路１２０は、受信した訓練用データをメモリ１３２に格納する。

同様に、第２の処理回路１３０は、インタフェース機能１３０ａにより、鑑別対象のデータの取得に係る医用画像診断装置１０の撮影の制御に係る情報を医用画像診断装置１０へ送信し、また、医用画像診断装置１０から、撮影により得られた鑑別対象のデータを取得する。また、第１の処理回路１２０は、インタフェース機能１２０ａを有する第１の処理回路１２０は、受信した鑑別対象のデータをメモリ１３２に格納する。

第１の処理回路１２０は、制御機能１２０ｂにより、また第２の処理回路１３０は、制御機能１３０ｂにより、医用画像診断装置１０及び画像処理装置１００の全般的な制御を行い、撮像や画像の生成、画像の表示等を制御する。

また、第１の処理回路１２０は、生成機能１２０ｃにより、訓練用データに基づいて、訓練用の医用画像を生成し、または生成された訓練用の医用画像に対して、種々の画像処理を行う。同様に、第２の処理回路１３０は、生成機能１２０ｃにより、鑑別対象のデータに基づいて、鑑別対象の医用画像を生成し、または生成された鑑別対象の医用画像に対して、種々の画像処理を行う。

メモリ１３２は、上述の訓練用データ及び鑑別対象のデータ等、様々なデータを記憶する。メモリ１３２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。

入力装置１３４は、操作者からの各種指示や情報入力を受け付ける。入力装置１３４は、例えば、マウスやトラックボール等のポインティングデバイス、モード切替スイッチ等の選択デバイス、あるいはキーボード等の入力デバイスである。ディスプレイ１３５は、制御機能１３３による制御の下、撮像条件の入力を受け付けるためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）や、生成機能１２０ｃや１３０ｃによって生成された画像等を表示する。ディスプレイ１３５は、例えば、液晶表示器等の表示デバイスである。ディスプレイ１３５は、表示部の一例である。

続いて、実施形態に係る背景について簡単に説明する。

コンピュータを用いて診断支援を行う、いわゆるＣｏｍｐｕｔｅｒ Ａｓｓｉｓｔｅｄ Ｄｅｔｅｃｔｉｏｎ／Ｄｉａｇｎｏｓｉｓなどの分野では、例えば、予めわかっている病変の特徴量を教師データとして、学習を行って、学習済モデルを生成する。また、近年では、深層学習（ディープラーニング）や強化学習によって、特徴量を人間が事前知識として与えなくとも、プログラムが自ら特徴量そのものを自己学習を行って、その特徴量にラベル（記号）を人間が与えて学習済モデルを生成する場合がある。

病変の特徴量を基に判定を行う学習済モデルを生成する過程で行われる学習には、一般に訓練データが多数必要となる。例えば、深層学習（ディープラーニング）を用いて学習を行う場合、学習済モデルを生成するための医用データが訓練データとして、例えば数万個程度必要となる場合もある。しかし、これら訓練用の医用データを十分な数入手するのが、難しい場合もある。例えば、肺がんなどでは、商業的に利用可能な臨床データが数千個程度に留まっており、これは、深層学習を用いた学習を行う場合には、必ずしも十分な数とは言い切れない。この結果、生成された学習済モデルが、十分な判別精度を持たない場合もある。

かかる背景に鑑みて、実施形態に係る画像処理装置１００は、第１の処理回路１２０と、第２の処理回路１３０とを有する。第１の処理回路１２０は、抽出機能４により、訓練用の医用データから、病変内部の領域である第１の領域（異常領域）の画像に係る第１のデータと、病変周囲の領域である第２の領域（境界領域）の画像に係る第２のデータと、病変外部の領域である第３の領域（正常領域）の画像に係る第３のデータとを抽出する。また、第１の処理回路１２０は、学習機能２により、入力医用データについての判定を行う学習済モデルを、抽出機能４により抽出された第１のデータと、第２のデータと、第３のデータとを訓練データとして用いて生成する。

すなわち、実施形態においては、第１の処理回路１２０は、抽出機能４により、病変内部の領域である第１の領域（異常領域）に関するデータである第１のデータと、病変周囲の領域である第２の領域（境界領域）に関するデータである第２のデータと、病変外部の領域の領域である第３の領域（正常領域）に関するデータである第３のデータとを抽出する。かかる状況の一例が、図２に示されている。図２は、実施形態に係る画像処理装置が行う処理について説明した図である。

図２において、異常領域１１は、ある臓器内における病変部である第１の領域を表す。また、境界領域１２は、病変部である異常領域１１の周囲に広がる領域である第２の領域を表す。また、正常領域１３ａ、１３ｂ、１３ｃ、１３ｄ、１３ｅ、１３ｆは、異常領域１１から十分離れているために、病変外部の正常な領域であると考えられる第３の領域を表す。なお、病変を抱えている人の病変外部の正常領域と、病変が全く無い人の正常領域との差異は、いわゆる全身性疾患ではない固形がんなどの局在性の高い病変を対象にする場合、微小であることから、少なくともかかるケースにおいては、異常領域１１から十分離れている領域である第３の領域を、正常な領域として取り扱うことができる。

図２の例では、第１の処理回路１２０は、抽出機能４により、異常領域１１、境界領域１２、及び正常領域１３ａ～１３ｆを抽出する。その後、第２の処理回路１３０が、抽出した異常領域１１、境界領域１２及び正常領域１３ａ～１３ｆを訓練データとして学習を行って、学習済みモデルを生成する。

図２の例では、第１に、第１の処理回路１２０は、一つの臨床データから、正常領域１３ａ～１３ｆを複数個抽出し、これら複数個のデータを用いて学習を行う。これにより、第１の処理回路１２０は、少ない臨床例で、多数の有効な訓練データを生成することができ、学習の効率を向上させることができる。

また、第２に、第１の処理回路１２０は、異常領域１１だけではなく、異常領域１１の周囲の広がる領域である境界領域１２をも抽出し、抽出された境界領域１２に係るデータを用いて学習を行う。さらに、第２の処理回路１３０は、異常領域１１の情報のみならず、境界領域１２に係る情報をも用いて病変の鑑別を行う。これにより、異常領域１１のみならず境界領域１２に係る特徴量が病変の鑑別に利用されることで、第２の処理回路１３０が行う判定の精度を向上させることができる。

以上のことを、図３～図７を用いてより詳細に説明する。

はじめに、図３及び図４を用いて、第１の処理回路１２０が訓練用データ作成機能１、特に抽出機能４を用いて行う、訓練用データの作成手順について説明する。

はじめに、第１の処理回路１２０は、抽出機能４により、医用画像診断装置１０から取得した訓練用の医用データから、病変内部の領域である第１の領域（異常領域）を抽出する（ステップＳ１００）。具体的には、第１の処理回路１２０は、異常領域抽出機能４ａにより、医用画像診断装置１０から取得した訓練用の医用データに基づいて生成機能１２０ｃにより生成された医用画像に対して、例えばＬｅｖｅｌ ｓｅｔ法等の輪郭抽出技術を用いて、病変部位の輪郭を抽出し、異常領域１１を、病変内部の領域である第１の領域として抽出する。この処理に基づき、第１の処理回路１２０は、異常領域抽出機能４ａにより、訓練用の医用画像から、病変内部の領域である第１の領域の画像に係る第１のデータを抽出する。

続いて、第１の処理回路１２０は、抽出機能４により、医用画像診断装置１０から取得した訓練用の医用データから、病変周囲の領域である第２の領域を抽出する（ステップＳ１１０）。具体的には、第１の処理回路１２０は、境界領域抽出機能４ｂにより、医用画像診断装置１０から取得した訓練用の医用データに基づいて生成機能１２０ｃにより生成された医用画像に対して、例えば morphological filteringのdilation処理を行うことにより、境界領域１２を、病変周囲の領域である第２の領域として抽出する。

図４に、morphological filteringのdilation処理の一例が示されている。図４は、実施形態に係る画像処理装置が行う処理について説明した図である。

図４において、第１の領域２０は、病変の内部の領域をあらわす領域である。第１の領域２０は、図２の異常領域１１に対応する領域である。第１の処理回路１２０は、異常領域抽出機能４ａにより、第１の領域２０から定められた距離の範囲にある領域、すなわち第１の領域２０とdilation envelop２２とで囲まれた領域を、第２の領域として抽出する。ここで、dilation envelop ２２は、当該定められた距離を半径とする円２１が第１の領域２０と外接するように、円２１を第１の領域２０の周囲で動かした場合における円２１の中心の描く軌跡である。ここで、当該定められた距離の範囲（dilationの拡張幅）は、病変の種類に応じた値として設定された値となる。一例として、第１の処理回路１２０は、病変の種類が「肝臓がん」の場合、当該定められた距離を「Ｘ mm」とし、病変の種類が「肺がん」の場合、当該定められた距離を「Ｙ mm」と設定する。なお、第１の処理回路１２０は、例えば２つのがんが隣接している場合、まとめて１つの病変周辺領域として取り扱っても良い。

これらの処理に基づき、第１の処理回路１２０は、境界領域抽出機能４ｂにより、訓練用の医用画像から、病変周囲の領域である第２の領域の画像に係る第２のデータを抽出する。

図３に戻り、続いて、第１の処理回路１２０は、正常領域抽出機能４ｃにより、医用画像診断装置１０から取得した訓練用の医用データから、病変外部の領域である第３の領域を抽出する（ステップＳ１２０）。

具体的には、第１の処理回路１２０は、正常領域抽出機能４ｃにより、判定の対象となる臓器自身の輪郭を、Ｌｅｖｅｌ ｓｅｔ法等の輪郭抽出技術を用いて抽出する。続いて、第１の処理回路１２０は、正常領域抽出機能４ｃにより、ステップＳ１００で抽出した第１の領域及びステップＳ１１０で抽出した第２の領域の外側の領域を、病変外部の領域である第３の領域として抽出する。この際、第１の処理回路１２０は、正常領域抽出機能４ｃにより、第３の領域（第３の領域の画像に係る第３のデータ）の抽出の際、訓練を行う対象の組織とは異なる組織を除外して、例えば一定の大きさのＶＯＩ（Ｖｏｌｕｍｅ Ｏｆ Ｉｎｔｅｒｅｓｔ）となるように抽出を行う。ここで、訓練を行う対象の組織とは異なる組織の例としては、例えば主要血管や、気管支等の主要管状組織が挙げられる。このように、第１の処理回路１２０は、正常領域抽出機能４ｃにより、がんの影響を受ける可能性のある主要血管や気管支領域そのもの、及びその周辺を取り除くことで、訓練データの質を向上させることができる。第１の処理回路１２０は、正常領域抽出機能４ｃにより、このような条件を満たす領域であって、例えば５ｍｍの球が内接できる領域で、重なりの無い複数の球状領域を、正常領域である第３の領域として、複数個抽出する。

これらの処理に基づき、第１の処理回路１２０は、正常領域抽出機能４ｃにより、訓練用の医用画像から、病変外部の領域である第３の領域の画像に係る第３のデータを抽出する。

なお、上述の例では、抽出を行う画像が、病変を有している患者に係る画像の場合について説明した。第１の処理回路１２０は、抽出機能４により、病変を有していない正常人の画像を用いても良い。かかる場合、第１の処理回路１２０は、異常領域抽出機能４ａ及び境界領域抽出機能４ｂを用いず、正常領域抽出機能４ｃのみを用い、第３の領域の画像に係る第３のデータのみを抽出する。

以上のステップＳ１００～ステップＳ１２０により、第１の処理回路１２０は、抽出機能４により、病変内部の領域である第１の領域の画像に係る第１のデータと、病変周囲の領域である第２の領域の画像に係る第２のデータと、病変外部の領域である第３の領域の画像に係る第３のデータとを抽出した。第１の処理回路１２０は、続いて、これら抽出したデータに対して、学習機能２により、学習を行い、学習済モデルを生成する。

続いて、図５及び図６を用いて、第１の処理回路１２０が、抽出機能４により抽出されたデータに基づいて行う学習の手順について説明する。図５は、実施形態に係る画像処理装置１００が行う学習の処理の流れについて説明したフローチャートである。

ここで、学習を行う一つの例として、例えば、重み付けが未調整の学習対象のモデルの重み付けを訓練データを用いて調整し、重み付けが調整された学習済モデルを生成することが挙げられる。このような学習対象のモデルの例としては、一定の入力に対して重み付けに応じた一定の出力を返すノードが２以上集まることにより構成されるニューラルネットワークが挙げられる。このようなニューラルネットワークの例として、例えば、２層のニューラルネットワークや、３層以上の多層ニューラルネットワークがあり、また画像処理において使われる多層ニューラルネットワークの例として、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が挙げられる。また、ニューラルネットワークの学習は、例えば教師有りデータに対して逆誤差伝搬法等を用いて行われる。

また、学習を行う別の例として、特徴量の抽出が可能であるが、取りだした特徴量に対してラベル付けまでは行わない識別手法、例えばＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）またはその他の分類器を用いた機械学習の手法も挙げられる。

以下、実施形態では、学習の例として、深層学習を用いる場合で説明するが、実施形態はこれに限られず、実施形態はＳＶＭを使う手法等についても同様に適用できる。

図５において、はじめに、第１の処理回路１２０は、正常領域学習機能２ｃにより、病変外部の領域である第３の領域の画像に係る第３のデータを訓練データとして用いて学習を行って、病変外部の領域である第３の領域についての学習済モデルを生成する（ステップＳ２００）。具体的には、例えば、第１の処理回路１２０は、訓練用データ作成機能１により、図３のステップＳ１２０において正常領域抽出機能４ｃを用いて抽出した第３のデータに基づいてラベル付けを行い教師有りデータを生成する。第１の処理回路１２０は、正常領域学習機能２ｃにより、第３のデータに基づいて生成された教師有りデータを訓練データとして用いて学習を行い、例えば逆誤差伝搬法により、病変外部の領域である第３の領域についての学習済モデルを生成する。

同様に、第１の処理回路１２０は、境界領域学習機能２ｂにより、病変周囲の領域である第２の領域の画像に係る第２のデータを訓練データとして用いて学習を行って、病変周囲の領域である第２の領域についての学習済モデルを生成する（ステップＳ２１０）。具体的には、例えば、第１の処理回路１２０は、訓練用データ作成機能１により、図３のステップＳ１１０において境界領域抽出機能４ｂを用いて抽出した第２のデータに基づいてラベル付けを行い教師有りデータを生成する。第１の処理回路１２０は、境界領域学習機能２ｂにより、第２のデータに基づいて生成された教師有りデータを訓練データとして用いて学習を行い、例えば逆誤差伝搬法により、病変周囲の領域である第２の領域についての学習済モデルを生成する。なお、深層学習を行う場合、第１の処理回路１２０は、境界領域学習機能２ｂにより、これに加えて、第２のデータに基づいて、例えばオートエンコーダーを用いて学習を行ってもよい。

また、第１の処理回路１２０は、異常領域学習機能２ａにより、病変内部の領域である第１の領域の画像に係る第１のデータを訓練データとして用いて学習を行って、病変内部の領域である第１の領域についての学習済モデルを生成する（ステップＳ２２０）。具体的には、例えば、第１の処理回路１２０は、訓練用データ作成機能１により、図３のステップＳ１００において異常領域抽出機能４aを用いて抽出した第１のデータに基づいてラベル付けを行い教師有りデータを生成する。第１の処理回路１２０は、異常領域学習機能２ａにより、第１のデータに基づいて生成された教師有りデータを訓練データとして用いて学習を行い、例えば逆誤差伝搬法により、病変内部の領域である第１の領域についての学習済モデルを生成する。なお、深層学習を行う場合、第１の処理回路１２０は、異常領域学習機能２ａにより、これに加えて、第１のデータに基づいて、例えばオートエンコーダーを用いて学習を行ってもよい。

なお、第１の処理回路１２０は、ステップＳ２２０における学習済モデルの生成にあたって、第２のデータ及び第３のデータに基づいて生成されたデータを訓練データとして追加的に用いて学習を行っても良い。

続いて、第１の処理回路１２０は、学習機能２により、ステップＳ２００で生成された学習済モデル、ステップＳ２１０で生成された学習済モデル及びステップＳ２２０で生成された学習済モデルを統合・集約して、一つの学習済モデルを生成する（ステップＳ２３０）。例えば、第１の処理回路１２０は、学習機能２により、ステップＳ２００で生成された学習済モデル、ステップＳ２１０で生成された学習済モデル及びステップＳ２２０で生成された学習済モデルを線形結合して、一つの学習済モデルを生成する。

このように、第１の処理回路１２０は、抽出機能４により図３のステップＳ１００～Ｓ１２０において抽出された、第１のデータと、第２のデータと、第３のデータとを、訓練データとして用いて、学習機能２により学習を行い、鑑別の対象となる医用画像である入力医用画像についての判定を行う学習済モデルを生成する。

図６に、このような処理の一例が示されている。図６は、実施形態に係る画像処理装置１００が行う処理について説明した図である。

図６において、データセット３０は、同一症例内で抽出されるデータセットを表している。第１の処理回路１２０は、病変を有している患者からは、抽出機能４により、一つの臨床データから、正常領域（病変外部の領域）に係るデータである第３のデータ３１ａ、３１ｂ、３１ｃ、３１ｄ、３１ｅ、境界領域（病変周囲の領域）に係るデータである第２のデータ３３、及び異常領域（病変内部の領域）に係るデータである第１のデータ３２を抽出する。一方で、第１の処理回路１２０は、病変を有していない患者の臨床データからは、正常領域抽出機能４ｃにより、正常領域（病変外部の領域）に係るデータである第３のデータ３４ａ、３４ｂ、３４ｃ、３４ｄ、３４ｅのみを抽出する。

ステップＳ２００において、第１の処理回路１２０は、正常領域学習機能２ｃにより、第３のデータ３１ａ、３１ｂ、３１ｃ、３１ｄ、３１ｅ、３４ａ、３４ｂ、３４ｃ、３４ｄ、３４ｅに基づいて学習を行い、学習済モデル５ｃを生成する。また、ステップＳ２１０において、第１の処理回路１２０は、境界機能学習機能２ｂにより、第２のデータ３３に基づいて学習を行い、学習済モデル５ｂを生成する。また、ステップＳ２２０において、第１の処理回路１２０は、異常機能学習機能２ａにより、第１のデータ３２に基づいて学習を行い、学習済モデル５ｂ及び５ｃの結果と統合して、学習済モデル５ａを生成する。

続いて、第１の処理回路１２０が学習機能２に基づいて生成した学習済モデルの実行について説明する。図７は、実施形態に係る画像処理装置が行う学習済モデルの実行の流れについて説明したフローチャートである。

第２の処理回路１３０は、判定機能３により、図５のステップＳ２３０で生成した学習済モデルに基づいて、入力医用データについての判定（病変の鑑別）を行う（ステップＳ３００）。例えば、第２の処理回路１３０は、判定機能３により、図５のステップＳ２３０で生成した学習済モデルに基づいて、画像に対する病変の有無を判定する。すなわち、第２の処理回路１３０は、判定機能３により、入力医用データに係る画像が、病変の画像であるか否かを判定する。

また、第２の処理回路１３０は、判定機能３により、入力医用データに係る画像について、その他の判定を追加的に行ってもよい。例えば、ステップＳ３００において、入力医用データに係る画像が、病変の画像であると判定された場合、第２の処理回路１３０は、判定機能３により、当該病変が、良性の病変であるか、あるいは悪性の病変であるかも追加的に判定する。また、第２の処理回路１３０は、判定機能３により、さらに病変領域の特定を行い、または病変の尤度などを算出してもよい。

また、第２の処理回路１３０は、判定機能３により、病変鑑別に使用した画像領域の特徴量を更に算出する。例えば、学習済モデルがニューラルネットワークの場合、第２の処理回路１３０は、判定機能３により、当該ニューラルネットワークのうちの所定のニューロンモデルを用いて、病変鑑別に使用した画像領域の特徴量を算出する。また、ＳＶＭを用いて機械学習を行う場合、第２の処理回路１３０は、ＳＶＭを用いて得られた所定の固有ベクトルに基づいて、病変鑑別に使用した画像領域の特徴量を算出する。

なお、算出したこれらの特徴量に関して、第２の処理回路１３０は、判定機能３により、算出した特徴量を、例えば病変の病理学的な性質に応じて、入力医用データについての判定を行う際の補助判定情報として用いてもよい。補助判定情報を利用することで、第２の処理回路１３０は、入力医用データに係る画像が、病変の画像であるか否かにかかる判定の精度を、更に向上させることができる。

補助判定情報を利用する一例として、第２の処理回路１３０は、判定機能３により、図５のステップＳ２３０で生成した学習済モデル及び、第１の領域と第２の領域との位置関係に基づいて、入力医用データについての判定を行ってもよい。例えば、第２の処理回路１３０は、判定機能３により、図５のステップＳ２３０で生成した学習済モデル及び、第１の領域が第２の領域に囲まれるように位置しているかに基づいて、入力医用データについての判定を行ってもよい。例えば、第２の処理回路１３０は、判定機能３により、第１の領域が第２の領域に囲まれる度合いが大きいほど、病変が存在する可能性が高いと判定する。

また、第２の処理回路１３０は、病変周囲の領域の情報を加味して、入力医用データに係る画像が病変の画像であるか否かに係る判定を行ってもよい。例えば、第２の処理回路１３０は、判定機能３により、病変周囲の領域である第２の領域における特徴量及び学習済モデルに基づいて、入力医用データについての判定を行っても良い。また、例えば、第２の処理回路１３０は、病変周囲の領域に対してテキスチャ解析を行い、行ったテキスチャ解析の結果に基づいて、入力医用データについての判定を行っても良い。

続いて、第２の処理回路１３０は、制御機能１３０ｂにより、ステップＳ３００において判定機能３により行われた判定結果をディスプレイ１３５に表示させる（ステップＳ３１０）。

続いて、第２の処理回路１３０は、制御機能１３０ｂにより、ステップＳ３００において判定機能３により算出された特徴量を、ディスプレイ１３５に表示させる（ステップＳ３２０）。

実施形態は、上述の例に限られない。

実施形態では、医用画像診断装置１０が、Ｘ線ＣＴ装置である場合について説明したが、実施形態はこれに限られない。

一例として、医用画像診断装置１０は、例えば、磁気共鳴イメージング装置である。かかる場合、医用画像診断装置１０は、被検体に対して磁気共鳴イメージング撮像を行い、磁気共鳴イメージングデータまたは磁気共鳴イメージング画像を生成する。医用画像診断装置１０は、生成した磁気共鳴イメージングデータまたは磁気共鳴イメージング画像を、学習済モデルが判定を行う対象となる入力医用画像として、または、学習済モデルを生成するための訓練用の医用画像として、画像処理装置１００に送信する。画像処理装置１００は、インタフェース機能１２０ａ又はインタフェース機能１３０ａにより、医用画像診断装置１０から、磁気共鳴イメージングデータまたは磁気共鳴イメージング画像を取得する。

なお、医用画像診断装置１０が、磁気共鳴イメージング撮像を行うことにより得られた磁気共鳴イメージングデータに基づいて磁気共鳴イメージング画像を生成してもよいし、画像処理装置１００が、医用画像診断装置１０から取得した磁気共鳴イメージングデータに基づいて、生成機能１２０ｃ又は生成機能１３０ｃにより、磁気共鳴イメージング画像を生成してもよい。

また、医用画像診断装置１０は、超音波診断装置、陽電子放射断層撮影装置等の核医学診断装置、デジタルＸ線診断装置等の、その他の種類の医用機器であってもよい。かかる場合、医用画像診断装置１０は、被検体の撮影又は撮像を行って生成したデータを、学習済モデルが判定を行う対象となる入力医用データとして、または、学習済モデルを生成するための訓練用の医用データとして、画像処理装置１００に送信する。

また、入力医用データや、訓練用の医用データ等に代表される医用データの形式は、ボリュームデータを基に再構成された画像データ、生データを基に再構成された画像データ、画像データに対してさらに加工が行われた画像データ、例えば画像データのエッジを強調したデータ等の加工済み画像データなど、様々な形式の画像データを含む。

また、画像処理装置１００が、医用画像診断装置１０から、訓練用の医用データまたは入力医用データを取得する場合について説明したが、実施形態は、画像処理装置１００が、医用画像診断装置１０から、直接、訓練用の医用データまたは入力医用データを取得する場合に限られない。例えば、医用画像診断装置１０が、別途存在する画像保存サーバなどの記憶装置に医用データを訓練用の医用データまたは入力医用データとして送信し、当該記憶装置に保存された医用データを、画像処理装置１００が取得してもよい。この場合、当該記憶装置に保存された医用データは、単一の医用画像診断装置１０により生成されたものに限られず、複数の医用画像診断装置１０により生成されてもよい。

また、鑑別対象となる入力医用データは、医用画像診断装置１０により撮影された画像に限られず、例えば被検体細胞を採取して顕微鏡で撮影した病理画像などのデータであってもよい。

また、図３のステップＳ１２０で、第１の処理回路１２０が、第３の領域又は第３の領域の画像に係る第３のデータの抽出の際、血管や気管支など、訓練を行う対象の組織とは異なる組織を除外して抽出を行う場合について説明したが、実施形態はこれに限られない。例えば、第１の処理回路１２０は、抽出機能４により、第１のデータ（第１の領域）や第２のデータ（第２の領域）の抽出の際においても、血管や気管支など、訓練を行う対象の組織とは異なる組織を除外して抽出を行ってもよい。

また、病変周辺領域は、病変領域に隣接する領域に限られない。第１の処理回路１２０は、境界領域抽出機能４ｂにより、病変周囲の領域である第２の領域として、病変内部の領域である第１の領域に接続する血管や気管支に対して周辺に位置する細胞の領域を含めても良い。

また、第２の処理回路１３０が判定機能３により行った判定に対して、ユーザがフィードバックを与え、第１の処理回路１２０が、学習機能２により、ユーザから与えられたフィードバックを基に、学習済モデルの内部アルゴリズムを更新してもよい。すなわち、第１の処理回路１２０は、学習機能２により、ユーザからのフィードバックを基に学習済モデルを更新し続けることにより、自己学習を行っても良い。

また、実施形態の画像処理装置１００のうち、学習機能２を除いた部分が、独立したデータ生成装置として構成されていてもよい。かかるデータ生成装置は、学習機能２を除き、実施形態の画像処理装置１００と同様な機能を有する。例えば、当該データ生成装置は、抽出部と、出力部とを備える。抽出部は、訓練用の医用データから、病変内部の領域である第１の領域の画像に係る第１のデータと、病変周囲の領域である第２の領域の画像に係る第２のデータと、病変外部の領域である第３の領域の画像に係る第３のデータとを抽出する。出力部は、抽出部が抽出した第１のデータと、第２のデータと、第３のデータとを、入力医用データについての判定を行う学習済モデルの訓練データとして使用するために出力する。ここで、抽出部、出力部は、それぞれ、例えば図１における抽出機能４及び制御機能１２０ｂと同様の構成を有する。

また、かかるデータ生成装置に組み込まれるプログラムは、訓練用の医用データから、病変内部の領域である第１の領域の画像に係る第１のデータと、病変周囲の領域である第２の領域の画像に係る第２のデータと、病変外部の領域である第３の領域の画像に係る第３のデータとを抽出し、抽出した第１のデータと、第２のデータと、第３のデータとを、入力医用データについての判定を行う学習済モデルの訓練データとして使用するために出力する各処理をコンピュータに実行させる。

以上述べた少なくとも一つの実施形態の画像処理装置によれば、学習に用いる訓練データを多くの数生成することができ、これにより学習の判定精度を高めることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 訓練用データ作成機能
２ 学習機能
２ａ 異常領域学習機能
２ｂ 境界領域学習機能
２ｃ 正常領域学習機能
３ 判定機能
４ 抽出機能
４ａ 異常領域抽出機能
４ｂ 境界領域抽出機能
４ｃ 正常領域抽出機能
１００ 画像処理装置
１２０ 第１の処理回路
１３０ 第２の処理回路

Claims (11)

1. 訓練用の医用データから、病変内部の領域である第１の領域の画像に係る第１のデータと、病変周囲の領域である第２の領域の画像に係る第２のデータと、病変外部の領域である第３の領域の画像に係る第３のデータとを抽出する抽出部と、
   入力医用データについての判定を行う学習済モデルを、前記抽出部が抽出した前記第１のデータと、前記第２のデータと、前記第３のデータとを訓練データとして用いて生成する学習部と、
   を備える、
   画像処理装置。
2. 前記学習済モデルに基づいて、前記入力医用データについての前記判定を行う判定部を更に備える、請求項１に記載の画像処理装置。
3. 前記判定部は、前記第２の領域における特徴量に基づいて、前記判定を行う、請求項２に記載の画像処理装置。
4. 前記判定部は、前記第１の領域と前記第２の領域との位置関係に基づいて、前記判定を行う、請求項２に記載の画像処理装置。
5. 前記判定部は、前記第１の領域が前記第２の領域に囲まれるように位置しているかに基づいて、前記判定を行う、請求項４に記載の画像処理装置。
6. 前記抽出部は、前記第３のデータの抽出の際、訓練を行う対象の組織とは異なる組織を除外して抽出を行う、請求項２に記載の画像処理装置。
7. 前記異なる組織は、血管又は気管支である、請求項６に記載の画像処理装置。
8. 前記抽出部は、前記第１の領域から定められた距離の範囲にある領域を、前記第２の領域として抽出する、請求項１に記載の画像処理装置。
9. 前記距離の範囲は、病変の種類に応じた値として設定された値である、請求項８に記載の画像処理装置。
10. 訓練用の医用データから、病変内部の領域である第１の領域の画像に係る第１のデータと、病変周囲の領域である第２の領域の画像に係る第２のデータと、病変外部の領域である第３の領域の画像に係る第３のデータとを抽出する抽出部と、
    前記抽出部が抽出した前記第１のデータと、前記第２のデータと、前記第３のデータとを、入力医用データについての判定を行う学習済モデルの訓練データとして使用するために出力する出力部とを備える、
    データ生成装置。
11. 訓練用の医用データから、病変内部の領域である第１の領域の画像に係る第１のデータと、病変周囲の領域である第２の領域の画像に係る第２のデータと、病変外部の領域である第３の領域の画像に係る第３のデータとを抽出し、
    抽出した前記第１のデータと、前記第２のデータと、前記第３のデータとを、入力医用データについての判定を行う学習済モデルの訓練データとして使用するために出力する
    各処理をコンピュータに実行させる、プログラム。

Images