JP6837376B2 - 画像処理装置および方法並びにプログラム - Google Patents

Description

本発明は、断面画像に含まれる組織または病変の種類を分類する画像処理装置および方法並びにプログラムに関するものである。

近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。

ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者の断面画像を解析することにより、断面画像に含まれる蜂窩肺、網状影および嚢胞等の特定の症状を呈する病変を分類して定量化する手法が提案されている。このように断面画像を解析して病変を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類して定量化した領域にそれぞれ異なる色を割り当てることにより、特定の症状の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。

特開２０１５−８０７２０号公報

しかしながら、従来の手法では、２次元の断面画像に対して分類を行っているため、２次元の断面画像の奥行方向に関して不連続な領域として分類される場合があり、解剖学上適切な分類ではない。

特許文献１においては、病変が良性か悪性かを判断するために、３次元画像から複数の２次元画像を作成し、それぞれにおいて病変を評価して決定する方法が提案されている。しかしながら、特許文献１では、２次元画像に含まれる病変が良性か悪性かを分類しているだけであり、病変の領域を適切に分類する方法については何も提案されていない。

本発明は、上記事情に鑑み、断面画像を用いて断面画像に含まれる組織または病変を分類する場合において、組織または病変の領域を高精度に分類することができる画像処理装置および方法並びにプログラムを提供することを目的とするものである。

本発明の画像処理装置は、被検体の複数の異なる断面方向の断面画像を取得する断面画像取得部と、複数の断面画像のそれぞれについて、各断面画像の各画素が属する組織または病変の種類を特定する一次分類処理を行う一次分類部と、複数の断面画像に共通する画素について各断面画像の一次分類処理の結果を評価することによって、複数の断面画像に共通する画素が属する組織または病変の種類を再度特定する二次分類処理を行う二次分類部と、組織または病変の解剖学上の特徴または画像特徴量に基づいて、二次分類処理の結果を補正する補正部とを備える。

また、上記本発明の画像処理装置において、補正部は、特定の断面方向の断面画像を用いて、各画素の二次分類処理の結果を補正することができる。

また、上記本発明の画像処理装置において、上記特定の断面方向は、被検体の撮影におけるスライス方向とすることが好ましい。

また、上記本発明の画像処理装置において、上記特定の断面方向の断面画像は、複数の断面方向の断面画像のうち最も解像度が高い断面画像とすることが好ましい。

また、上記本発明の画像処理装置において、補正部は、特定の断面方向の断面画像の各画素の信号値に基づいて、二次分類処理の結果を補正することができる。

また、上記本発明の画像処理装置において、補正部は、組織または病変の形状または位置の解剖学上の特徴に基づいて、二次分類処理の結果を補正することができる。

また、上記本発明の画像処理装置において、補正部は、二次分類処理によって分類された各画素によって特定される組織または病変の辺縁または重心位置の３次元空間上の連続性に異常がある場合に、各画素の二次分類処理の結果を補正することができる。

また、上記本発明の画像処理装置において、二次分類部は、二次分類処理を行う際、各断面画像のそれぞれの解像度に応じた重み付けを各断面画像の一次分類処理の結果に付加して評価することができる。

また、上記本発明の画像処理装置において、一次分類部は、機械学習によって生成された判別器を用いて一次分類処理を行うことができる。

本発明の画像処理方法は、被検体の複数の異なる断面方向の断面画像を取得し、複数の断面画像のそれぞれについて、各断面画像の各画素が属する組織または病変の種類を特定する一次分類処理を行い、複数の断面画像に共通する画素について各断面画像の一次分類処理の結果を評価することによって、複数の断面画像に共通する画素が属する組織または病変の種類を再度特定する二次分類処理を行い、組織または病変の解剖学上の特徴または画像特徴量に基づいて、二次分類処理の結果を補正する。

本発明の画像処理プログラムは、コンピュータを、被検体の複数の異なる断面方向の断面画像を取得する断面画像取得部と、複数の断面画像のそれぞれについて、各断面画像の各画素が属する組織または病変の種類を特定する一次分類処理を行う一次分類部と、複数の断面画像に共通する画素について各断面画像の一次分類処理の結果を評価することによって、複数の断面画像に共通する画素が属する組織または病変の種類を再度特定する二次分類処理を行う二次分類部と、組織または病変の解剖学上の特徴または画像特徴量に基づいて、二次分類処理の結果を補正する補正部として機能させる。

本発明の他の画像処理装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサであって、被検体の複数の異なる断面方向の断面画像を取得する処理と、複数の断面画像のそれぞれについて、各断面画像の各画素が属する組織または病変の種類を特定する一次分類処理と、複数の断面画像に共通する画素について各断面画像の一次分類処理の結果を評価することによって、複数の断面画像に共通する画素が属する組織または病変の種類を再度特定する二次分類処理、組織または病変の解剖学上の特徴または画像特徴量に基づいて、二次分類処理の結果を補正する処理とを実行するプロセッサを備える。

本発明の画像処理装置および方法並びにプログラムによれば、被検体の複数の異なる断面方向の断面画像を取得し、その複数の断面画像のそれぞれについて、各断面画像の各画素が属する組織または病変の種類を特定する一次分類処理を行う。次いで、複数の断面画像に共通する画素について各断面画像の一次分類処理の結果を評価することによって、複数の断面画像に共通する画素が属する組織または病変の種類を再度特定する二次分類処理を行う。このように二次分類処理を行うことによって、断面画像の奥行方向も考慮した分類結果を得ることができる。

そして、本発明の画像処理装置および方法並びにプログラムでは、さらに組織または病変の解剖学上の特徴または画像特徴量に基づいて、二次分類処理の結果を補正するようにしたので、より解剖学上の構造に沿った分類結果とすることができ、組織または病変の領域を高精度に分類することができる。

本発明の画像処理装置の一実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図 複数の異なる断面方向の断面画像の一例を示す図 多層ニューラルネットワークの一例を示す図 二次分類処理を説明するための図 嚢胞が誤分類された例を示す図 嚢胞が誤分類されたその他の例を示す図 嚢胞と分類された各領域の重心位置の連続性を説明するための図 マッピング画像の一例を示す図 本発明の画像処理装置の一実施形態を用いた医用画像診断支援システムの作用を説明するためのフローチャート

以下、本発明の画像処理装置および方法並びにプログラムの一実施形態を用いた医用画像診断支援システムについて、図面を参照しながら詳細に説明する。図１は、本実施形態の医用画像診断支援システムの概略構成を示すブロック図である。

本実施形態の医用画像診断支援システムは、図１に示すように、画像処理装置１０と、表示装置２０と、入力装置３０と、３次元画像保管サーバ４０とを備えている。

画像処理装置１０は、コンピュータに本実施形態の画像処理プログラムをインストールすることによって構成されたものである。画像処理プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

画像処理装置１０は、ＣＰＵ（Central Processing Unit）および半導体メモリ、並びにハードディスクおよびＳＳＤ(Solid State Drive)等のストレージデバイスなどを備えており、これらのハードウェアによって、図１に示すような断面画像取得部１１、一次分類部１２、二次分類部１３、補正部１４および表示制御部１５が構成されている。そして、ストレージデバイスにインストールされた画像処理プログラムがＣＰＵによって実行されることによって上記各部がそれぞれ動作する。なお、画像処理装置１０は、汎用ＣＰＵに限らず、特定用途のＡＳＩＣ（application specific integrated circuit）またはＦＰＧＡ（field-programmable gate array）などを用いて構成するようにしてもよい。

断面画像取得部１１は、手術前または検査前などに予め撮影された被検体の断面画像を取得するものである。断面画像としては、たとえばＣＴ装置およびＭＲＩ（Magnetic Resonance Imaging）装置などから出力されたスライスデータ、並びにＭＳ（Multi Slice）ＣＴ装置およびコーンビームＣＴ装置から出力されたスライスデータなどがある。断面画像は、３次元画像保管サーバ４０に被検体の識別情報とともに予め保管されており、断面画像取得部１１は、入力装置３０において入力された被検体の識別情報に対応する断面画像を３次元画像保管サーバ４０から読み出して取得するものである。

また、断面画像取得部１１は、被検体の複数の異なる断面方向の断面画像を取得するものである。断面方向としては、アキシャル、サジタル、コロナルなどがある。断面画像取得部１１は、少なくとも３以上の断面画像を取得することが好ましい。断面画像取得部１１は、たとえば図２Ａ〜図２Ｃに示すように互いに異なる３つの断面方向の各断面方向について、それぞれ複数の断面画像を取得するものである。

なお、断面画像取得部１１は、被検体の複数の異なる断面方向の断面画像が３次元画像保管サーバ４０に予め保存されている場合には、その複数の断面画像を取得するが、被検体のボリュームデータが３次元画像保管サーバ４０に保存されている場合には、そのボリュームデータを読み出し、ボリュームデータから複数の異なる断面方向の断面画像を生成して取得するようにしてもよい。

一次分類部１２は、断面画像取得部１１によって取得された複数の断面画像のそれぞれについて、各断面画像の各画素が属する組織または病変の種類を特定する一次分類処理を行うものである。本実施形態においては、断面画像取得部１１によって肺領域を含む複数の断面画像を取得し、その各断面画像の各画素が属する組織または病変の種類を特定する。なお、以下、複数の断面画像のうち、アキシャル方向の１の断面画像に対する一次分類処理についてのみ説明するが、他の断面方向の断面画像についても同様にして一次分類処理が施されるものとする。

本実施形態の一次分類部１２は、機械学習であるディープラーニング（深層学習）によって生成された多層ニューラルネットワークからなる判別器を有し、この判別器を用いて、各断面画像の各画素が属する組織または病変の種類を特定する。

多層ニューラルネットワークでは、各層において、前段の階層により得られる異なる複数の特徴量のデータに対して各種カーネルを用いて演算処理を行う。そして、この演算処理によって得られる特徴量のデータに対して次段以降の層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させ、入力されたデータを複数のクラスに分類することができる。

図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク５０は、入力層５１および出力層５２を含む複数の階層からなる。本実施形態においては、断面画像に含まれる肺領域を、すりガラス影、正常影、気管支、蜂窩肺、網状影、コンソリデーション、低吸収域および嚢胞に分類するように学習がなされている。

本実施形態においては、これら８種類について、数百万という多数の教師データを用いて、多層ニューラルネットワーク５０に学習させる。学習の際には、組織または病変の種類が既知の断面画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）の関心領域を切り出し、その関心領域を教師データとして用いる。そして、多層ニューラルネットワーク５０に教師データを入力して、組織または病変の種類の分類結果を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク５０の各層に含まれるユニット（図３に丸印で示す）の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率が１００％になるまで繰り返し行い、学習を終了する。

そして、一次分類部１２は、上述した多層ニューラルネットワーク５０からなる判別器を用いて一次分類処理を行う際には、分類対象の断面画像から教師データと同じ大きさの関心領域を順次切り出し、その関心領域を多層ニューラルネットワーク５０からなる判別器に入力する。これにより、切り出した関心領域の中心画素について、８種類の各分類に対応する評価値が出力される。なお、この各分類に対応する評価値は、中心画素が、各分類に属する可能性を示す評価値であり、この評価値が大きいほど、その分類に属する可能性が高いことを意味する。そして、判別器は、関心領域の中心画素を、８種類の組織または病変のうち、最も評価値が大きい組織または病変に分類する。これにより、断面画像に含まれる肺領域の全画素が８種類の組織または病変のいずれに分類される。

一次分類部１２は、上述したようにアキシャル方向の断面画像以外のその他の断面方向の断面画像についても、上記と同様の一次分類処理を行い、各断面画像の各画素が８種類の組織または病変のいずれかに分類される。

次に、二次分類部１３について説明する。二次分類部１３は、一次分類部１２で用いられた複数の断面画像に共通する画素について各断面画像の一次分類処理の結果を評価することによって、複数の断面画像に共通する画素が属する組織または病変の種類を再度特定するものである。

具体的には、図４に示すように、３の断面画像Ｓ１，Ｓ２，Ｓ３に共通する画素Ｐについて、断面画像Ｓ１，Ｓ２，Ｓ３の一次分類処理結果がそれぞれ取得され、その３つの一次分類処理結果が評価されて、画素Ｐが属する組織または病変の種類が特定される。

３つの一次分類処理結果の評価方法としては、たとえば３つの一次分類処理の結果のうち、同じ結果が２以上含まれる場合には、その結果を画素Ｐの最終的な分類として特定するようにすればよい。すなわち、最も数が多い一次分類処理の結果を、画素Ｐの最終的な分類として特定するようすればよい。

また、たとえば一次分類処理結果として、８種類の各分類に対応する評価値を取得するようにしてもよい。この場合、二次分類処理においては、各断面画像Ｓ１，Ｓ２，Ｓ３のそれぞれについて、画素Ｐの８種類の各分類に対応する評価値を取得し、その２４（断面画像の数（３）×分類の数（８））の評価値のうち、最も大きい評価値に対応する分類を画素Ｐの最終的な分類として特定するようにしてもよい。また、上述した２４の評価値について、分類毎に平均値を算出し、最も大きい平均値に対応する分類を画素Ｐの最終的な分類として特定するようにしてもよい。

また、上述したように各分類に対応する評価値を用いて二次分類処理を行う場合、各評価値に対して、各断面画像のそれぞれの解像度に応じた重み付けを付加して評価するようにしてもよい。具体的には、たとえば図５に示す断面画像Ｓ１の解像度Ｒ１と断面画像Ｓ２の解像度Ｒ２と断面画像Ｓ３の解像度Ｒ３との関係が、Ｒ１＞Ｒ２＞Ｒ３であるとする。この場合、断面画像Ｓ１の画素Ｐの各分類に対応する評価値に付加する重み付け係数Ｃ１、断面画像Ｓ２の画素Ｐの各分類に対応する評価値に付加する重み付け係数Ｃ２、および断面画像Ｓ３の画素Ｐの各分類に対応する評価値に付加する重み付け係数Ｃ３は、Ｃ１＞Ｃ２＞Ｃ３とすることが望ましい。このようにして重み付けを付加することによって、分類精度を向上させることができる。

また、上述したように画素Ｐの各分類に対応する評価値を用いて二次分類処理を行う場合、画素Ｐの断面画像内における位置に応じて各分類に対応する評価値に対して重み付けを付加するようにしてもよい。具体的には、たとえば嚢胞と胸水は、断面画像上において同じような輪郭形状で現れる場合があり、胸水に属する画素を嚢胞に属する画素と誤分類する可能性がある。そこで、画素Ｐが肺領域内に位置する場合には、その画素Ｐの嚢胞の評価値が大きくなるような重み付けを付加し、一方、画素Ｐが、肺領域以外の周辺領域である場合には、その画素Ｐの嚢胞の評価値が小さくなるような重み付けを付加するようにしてもよい。なお、断面画像内の肺領域については、しきい値処理によって抽出するようにしてもよいし、領域拡張法を用いて抽出するようにしてもよく、任意の手法を用いて抽出することができる。

また、蜂窩肺に属する画素は、一般的に高い信号値を有するが、気管支周辺の画素についても気管支壁が厚い場合に高い信号値となり、気管支周辺の画素が蜂窩肺に属する画素として誤分類される場合がある。そこで、画素Ｐが気管支周辺に位置する場合には、その画素Ｐの蜂窩肺の評価値が小さくなり、かつ気管支の評価値が大きくなるような重み付けを付加し、一方、画素Ｐが、気管支周辺でない場合には、その画素Ｐの蜂窩肺の評価値が大きくなり、かつ気管支の評価値が小さくなるような重み付けを付加するようにしてもよい。なお、気管支の領域については、別途公知な手法を用いて抽出することができ、たとえば気管支の内部の画素は空気領域に相当するため低い画素値となるが、気管支壁は比較的高い画素値となるので、画素値の分布に基づく形状の構造解析を行なって気管支を抽出するようにすればよい。たとえばヘッセ行列を用いた手法を用いることができる。

また、上記説明では、１つの画素Ｐの二次分類処理について説明したが、３次元空間上における全ての画素について、上記と同様にして一次分類処理の結果に基づいて２次分類処理が行われ、各画素の属する組織または病変の種類が特定される。

次に、補正部１４について説明する。補正部１４は、組織または病変の解剖学上の特徴または画像特徴量に基づいて、二次分類処理の結果を補正するものである。

ここで、上述した二次分類部１３によって各画素が属する組織または病変を特定したとしても、その分類結果が、解剖学上の構造に沿った結果とは異なる場合がある。

具体的には、たとえば嚢胞の輪郭は連続した滑らかな曲線となるが、二次分類処理の結果、嚢胞と分類された画素からなる領域の輪郭が、連続した滑らかな曲線とならない場合がある。たとえば図５に示すように、嚢胞と分類された画素からなる領域が、分断された２つの領域ｒ１，ｒ２となる場合がある。また、図６に示すように、嚢胞と分類された画素からなる領域ｒ３の輪郭に突起ができたり、逆に凹みができたりして、嚢胞の領域の辺縁に異常がある場合がある。

そこで、本実施形態の補正部１４は、解剖学上の構造に沿った結果となるように、二次分類処理の結果を補正するものである。具体的には、補正部１４は、特定の断面方向の断面画像を用いて、各画素の二次分類処理の結果を補正する。特定の断面方向の断面画像としては、より高精度に組織または病変を抽出可能な断面画像を用いることが好ましく、たとえば一次分類処理を行う際に用いた複数の断面画像のうち、最も解像度が高い断面方向の断面画像を用いることが好ましい。

具体的には、たとえば最も解像度が高い断面方向の断面画像の画素値を用いて、閾値処理またはフィルタ処理などを行うことによって嚢胞領域を抽出し、その輪郭を画像特徴量として取得する。そして、二次分類処理によって嚢胞と分類された画素からなる領域を上記輪郭にマッチングさせることによって補正を行う。これにより、図５に示す領域ｒ２を嚢胞の領域から除外することができ、図６に示す領域ｒ３の突起を無くすことができる。また、嚢胞に限らず、断面画像の画素値を用いて、閾値処理またはフィルタ処理などを行うことによって気管支領域を抽出し、その輪郭を画像特徴量として取得する。そして、二次分類処理によって気管支と分類された画素からなる領域を上記輪郭にマッチングさせることによって補正を行うようにしてもよい。

なお、上記説明では、嚢胞領域または気管支領域を抽出するようにしたが、このように必ずしも、病変または組織を特定しなくてもよい。たとえば断面画像に含まれるエッジまたは形状を解析して断面画像をセグメンテーションし、二次分類処理によって特定の病変または組織と分類された画素からなる領域をセグメンテーションされた領域まで広げたり、または狭めたりしてもよい。

また、補正をする際、２次分類処理によって分類された領域に含まれる信号値を画像特徴量として用いるようにしてよい。具体的には、２次分類処理によって分類された領域に含まれる信号値の分布を解析し、高信号値の領域と低信号値の領域が存在した場合、判別分析法を用いてこれらの領域を分離することによって、上述した嚢胞または気管支などの組織を表す信号値の領域を決定して補正するようにしてもよい。たとえば断面画像がＣＴ画像である場合、空気領域の信号値は−１０２４に近づくが、気管支壁および血管などの組織は０以上の値を示すので、２次分類処理によって分類された嚢胞領域の中に空気領域に近い信号値の領域と、血管などに近い高信号値が含まれていた場合には、分離された信号値群のうち低信号値群の領域を補正された嚢胞領域として決定する。

また、２次分類処理によって分類された嚢胞領域の信号値に対して、低吸収域の信号値である−９５０などの特定の閾値を用いて閾値処理を施すことによって補正するようにしてもよい。

また、２次分類処理によって分類された領域または上述した補正方法によって補正された領域を、その領域の外側に向けて１単位(１ボクセルまたは１ピクセル)ずつ膨らませていき、信号値の分布が近しい領域部分は拡張することによって補正するようにしてもよい。

たとえば嚢胞領域の場合、中央は空気領域で信号値が低いが辺縁は肺組織の区切りまたは線維化組織であるので、信号値が高くなる。したがって、１単位ずつ高信号値の領域に行き着くまで膨らませることによって補正するようにしてもよい。また、２次分類処理によって分類された嚢胞領域内で、エッジ（高信号値）の領域が検出されて領域が分断された場合には、それぞれの分断された領域の信号値の分布（分散および標準偏差など）を算出して比較することによって、肺野に近い領域を除外して補正するようにしてもよい。

また、上記説明では、画像特徴量を用いて補正を行うようにしたが、これに限らず、組織または病変の解剖学上の特徴を用いて補正を行うようにしてもよい。具体的には、上述したように嚢胞と胸水は、断面画像上において同じような輪郭形状で現れる場合があり、胸水の領域が嚢胞の領域と誤分類される可能性がある。そこで、嚢胞と分類された領域が、肺領域以外の周辺領域である場合には、その領域は胸水の領域であるとして削除するようにしてもよい。すなわち、嚢胞の解剖学上の位置の特徴に基づいて、補正を行うようにしてもよい。また、嚢胞と分類された領域が、図５に示すように分断された領域ｒ１，ｒ２である場合には、嚢胞の輪郭は連続した滑らかな曲線であるという解剖学上の形状の特徴に基づいて、領域ｒ２を削除するようにしてもよい。また、嚢胞と分類された領域が、図６に示すように突起を有する領域である場合には、嚢胞の輪郭は連続した滑らかな曲線であるという解剖学上の形状の特徴に基づいて、突起の部分を削除するようにしてもよい。

また、上記説明では、補正をする際、一次分類処理を行う際に用いた複数の断面画像のうち、最も解像度が高い断面方向の断面画像を用いるようにしたが、これに限らず、たとえば被検体の撮影におけるスライス方向の断面画像を用いるようにしてもよい。撮影の際のスライス方向の断面画像とは、いわゆる原画像であって、たとえば撮影の際のスライス方向が、体軸に直交する方向である場合には、アキシャル方向の断面画像が、スライス方向の断面画像となる。スライス方向の断面画像は、最も解像度が高い画像であるので、分類精度をより向上させることができる。

また、補正部１４は、図６に示すような嚢胞と分類された領域の突起もしくは凹みなどの辺縁の異常の検出処理を行い、辺縁の異常が検出された場合のみ上述した補正を行うようにしてもよい。また、二次分類処理が行われた断面画像Ｓ４，Ｓ５，Ｓ６を、図７に示すように３次元空間上に平行に配列した場合に、たとえば各断面画像Ｓ４，Ｓ５，Ｓ６内における嚢胞と分類された各領域ｒ４，ｒ５，ｒ６の重心位置の連続性の異常を検出した場合に、各断面画像Ｓ４，Ｓ５，Ｓ６の嚢胞と分類された領域に対して上述した補正を行うようにしてもよい。重心位置の連続性の異常については、たとえば重心位置を結んだ線Ｌの直線性を評価し、直線性が予め設定された閾値以下である場合に、重心位置の連続性に異常があると認識するようにすればよい。

図１に戻り、表示制御部１５は、補正部１４によって補正された二次分類処理の結果に基づいて、各分類の領域に色を割り当てることによってマッピング画像を生成し、そのマッピング画像を表示装置２０に表示させるものである。

具体的には、表示制御部１５は、上述した８種類の組織または病変のうちのいずれかに分類された３次元空間上の全ての画素について、同一の分類とされた画素に対して同じ色を割り当てることによって３次元のマッピング画像を生成する。図８は、８種類の各分類に対して、その分類に応じた色が割り当てられたマッピング画像の一例を示す図である。なお、図８においては、３次元のマッピング画像における任意の断面の断面画像を示しているが、これに限らず、３次元のマッピング画像を表示装置２０に表示させるようにしてもよい。

また、表示制御部１５は、断面画像取得部１１によって取得された複数の断面方向の断面画像、一次分類部１２によって一次分類処理された断面画像、並びに二次分類部１３によって二次分類処理された断面画像または３次元画像などを表示装置２０に表示可能なものである。

表示装置２０は、たとえば液晶ディスプレイなどを備えたものである。また、表示装置２０をタッチパネルによって構成し、入力装置３０と兼用するようにしてもよい。

入力装置３０は、マウスやキーボードなどを備えたものであり、ユーザによる種々の設定入力を受け付けるものである。具体的には、たとえば患者の識別情報の設定入力などを受け付けるものである。

次に、本実施形態の医用画像診断支援システムの作用について、図９に示すフローチャートを参照しながら説明する。

まず、ユーザによる患者の識別情報などの設定入力に応じて、患者の複数の断面方向の断面画像が取得される（Ｓ１０）。

複数の断面画像は一次分類部１２に出力され、一次分類部１２は、入力された各断面画像に対して一次分類処理を施すことによって、各断面画像の各画素が属する組織または病変の種類を特定する（Ｓ１２）。

そして、一次分類部１２による一次分類処理結果が二次分類部１３に出力され、二次分類部１３は、入力された一次分類処理結果に基づいて、二次分類処理を行う（Ｓ１４）。具体的には、複数の断面方向の断面画像に共通する画素について各断面画像の一次分類処理の結果を評価することによって、その画素が属する組織または病変の種類を再度特定する。

そして、二次分類部１３による二次分類処理結果が補正部１４に出力され、補正部１４は、入力された一次分類処理結果に対して補正を施す（Ｓ１６）。

そして、補正部１４によって補正された二次分類処理結果は表示制御部１５に出力され、表示制御部１５は、各分類の領域に色を割り当てることによってマッピング画像を生成し、そのマッピング画像を表示装置２０に表示させる（Ｓ１８）。

上記実施形態の医用画像診断支援システムによれば、被検体の複数の異なる断面方向の断面画像を取得し、その複数の断面画像のそれぞれについて、各断面画像の各画素が属する組織または病変の種類を特定する一次分類処理を行う。次いで、複数の断面画像に共通する画素について各断面画像の一次分類処理の結果を評価することによって、複数の断面画像に共通する画素が属する組織または病変の種類を再度特定する二次分類処理を行う。このように二次分類処理を行うことによって、断面画像の奥行方向も考慮した分類結果を得ることができる。

そして、さらに組織または病変の解剖学上の特徴または画像特徴量に基づいて、二次分類処理の結果を補正するようにしたので、より解剖学上の構造に沿った分類結果とすることができ、組織または病変の領域を高精度に分類することができる。

１０ 画像処理装置
１１ 断面画像取得部
１２ 一次分類部
１３ 二次分類部
１４ 補正部
１５ 表示制御部
２０ 表示装置
３０ 入力装置
４０ ３次元画像保管サーバ
５０ 多層ニューラルネットワーク
５１ 入力層
５２ 出力層
Ｌ 重心位置を結ぶ線
Ｐ 画素
ｒ１，ｒ２，ｒ３，ｒ４，ｒ５，ｒ６ 嚢胞と分類された領域
Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６ 断面画像

Claims (11)

1. 複数の異なる断面方向のそれぞれの方向に対して、被検体の複数の断面画像を取得する断面画像取得部と、
   前記複数の異なる断面方向に対して取得した前記複数の断面画像のそれぞれについて、前記各断面画像の各画素が属する組織または病変の種類を特定する一次分類処理を行う一次分類部と、
   前記各画素を通る前記複数の異なる断面方向の断面画像の各々に対して行われた前記一次分類処理の複数の結果を前記各画素ごとに評価することによって、前記複数の断面画像が通る各画素が属する組織または病変の種類を再度特定する二次分類処理を行う二次分類部と、
   前記組織または病変の解剖学上の特徴または画像特徴量に基づいて、前記二次分類処理が行われた各画素について前記二次分類処理の結果を補正する補正部とを備えた画像処理装置。
2. 前記補正部が、前記各画素を通る前記複数の異なる断面方向の断面画像のうち特定の断面方向の断面画像を用いて、前記各画素の前記二次分類処理の結果を補正する請求項１に記載の画像処理装置。
3. 前記特定の断面方向が、前記被検体の撮影におけるスライス方向である請求項２に記載の画像処理装置。
4. 前記特定の断面方向の断面画像が、前記複数の断面方向の断面画像のうち最も解像度が高い断面画像である請求項２または３に記載の画像処理装置。
5. 前記補正部が、前記特定の断面方向の断面画像の各画素の信号値に基づいて、前記二次分類処理の結果を補正する請求項２から４いずれか１項に記載の画像処理装置。
6. 前記補正部が、前記組織または病変の形状または位置の解剖学上の特徴に基づいて、前記二次分類処理の結果を補正する請求項１に記載の画像処理装置。
7. 前記補正部が、前記二次分類処理によって分類された各画素によって特定される組織または病変の辺縁または重心位置の３次元空間上の連続性に異常がある場合に、前記各画素の前記二次分類処理の結果を補正する請求項１から６いずれか１項に記載の画像処理装置。
8. 前記二次分類部が、前記二次分類処理を行う際、前記各画素を通る前記複数の異なる断面方向の断面画像の各断面画像の解像度に応じた重み付けを前記各断面画像の一次分類処理の結果に付加して評価する請求項１から７いずれか１項に記載の画像処理装置。
9. 前記一次分類部が、機械学習によって各画素が属する前記組織または病変の種類を特定可能な判別器を用いて前記一次分類処理を行う請求項１から８いずれか１項に記載の画像処理装置。
10. 複数の異なる断面方向のそれぞれの方向に対して、被検体の複数の断面画像を取得し、
    前記複数の異なる断面方向に対して取得した前記複数の前記断面画像のそれぞれについて、前記各断面画像の各画素が属する組織または病変の種類を特定する一次分類処理を行い、
    前記各画素を通る前記複数の異なる断面方向の断面画像の各々に対して行われた前記一次分類処理の複数の結果を前記各画素ごとに評価することによって、前記複数の断面画像が通る各画素が属する組織または病変の種類を再度特定する二次分類処理を行い、
    前記組織または病変の解剖学上の特徴または画像特徴量に基づいて、前記二次分類処理が行われた各画素について前記二次分類処理の結果を補正する画像処理方法。
11. コンピュータを、
    複数の異なる断面方向のそれぞれの方向に対して、被検体の複数の断面画像を取得する断面画像取得部と、
    前記複数の異なる断面方向に対して取得した前記複数の前記断面画像のそれぞれについて、前記各断面画像の各画素が属する組織または病変の種類を特定する一次分類処理を行う一次分類部と、
    前記各画素を通る前記複数の異なる断面方向の断面画像の各々に対して行われた前記一次分類処理の複数の結果を前記各画素ごとに評価することによって、前記複数の断面画像が通る各画素が属する組織または病変の種類を再度特定する二次分類処理を行う二次分類部と、
    前記組織または病変の解剖学上の特徴または画像特徴量に基づいて、前記二次分類処理が行われた各画素について前記二次分類処理の結果を補正する補正部として機能させる画像処理プログラム。