JP6987721B2 - 画像処理装置、方法およびプログラム - Google Patents

Description

本開示は、断面画像に含まれる各画素を複数種類の所見に分類する画像処理装置、方法およびプログラムに関するものである。

近年、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の３次元画像が画像診断に用いられるようになってきている。

ところで、肺の疾患として間質性肺炎が知られている。間質性肺炎の患者の断面画像を解析することにより、断面画像に含まれる蜂窩肺、網状影および嚢胞等の特定の症状を呈する病変または組織（以下病変または組織を所見と総称するものとする）を分類して定量化する手法が提案されている。このように断面画像を解析して所見を分類して定量化することにより、肺の疾患の程度を容易に判定することができる。また、このように分類された所見の領域に所見毎にそれぞれ異なる色を割り当てることにより、特定の所見の領域がどの程度画像内に含まれているかを、容易に診断できることとなる。

特開２０１５−８０７２０号公報

しかしながら、従来の手法では、２次元の断面画像に対して分類を行っているため、２次元の断面画像の奥行方向に関して不連続な領域として分類される場合がある。このような分類は、解剖学上適切な分類ではない。

特許文献１においては、所見に含まれる病変が良性か悪性かを判断するために、３次元画像から複数の２次元画像を作成し、複数の２次元画像のそれぞれにおいて病変を評価して決定する方法が提案されている。しかしながら、特許文献１では、２次元画像に含まれる病変が良性か悪性かを分類しているだけであり、病変の領域を適切に分類する方法については何も提案されていない。

本開示は、上記事情に鑑み、断面画像の各画素を複数種類の所見に高精度に分類することができる画像処理装置および方法並びにプログラムを提供することを目的とするものである。

本開示による画像処理装置は、被検体の複数の異なる断面方向の断面画像を取得する断面画像取得部と、
複数の断面画像のそれぞれについて、各断面画像の各画素が分類される所見の種類を特定するための一次分類処理を行う一次分類部と、
複数の断面画像に共通する部分について、所見の種類に応じた異なる評価方式により、各断面画像の一次分類処理の結果を評価することによって、複数の断面画像に共通する部分が分類される所見の種類を特定する二次分類処理を行う二次分類部とを備える。

「複数の断面画像に共通する部分」とは、複数の断面画像に共通していれば、共通する１つの画素であってもよく、共通する画素の周辺にある予め定められた範囲内の複数の画素であってもよい。

なお、本開示による画像処理装置においては、一次分類処理の結果は、複数種類の所見のそれぞれであることを表す評価値を含むものであってもよい。

また、本開示による画像処理装置においては、二次分類部は、すべての断面画像における評価値が高い程、高い評価値となった所見を共通する部分の所見に優先的に分類する特定の平均化方式を評価方式の１つとして採用するものであってもよい。

また、本開示による画像処理装置においては、特定の平均化方式は調和平均であってもよい。

また、本開示による画像処理装置においては、二次分類部は、病変の所見についての評価値に対して、特定の平均化方式により二次分類処理を行うものであってもよい。

また、本開示による画像処理装置においては、二次分類部は、病変以外の所見についての評価値に対して、特定の平均化方式とは異なる他の評価方式により二次分類処理を行うものであってもよい。

また、本開示による画像処理装置においては、二次分類部は、所見が病変間の境界および病変と病変以外の背景となる組織との境界を含む場合、境界の所見ついての評価値に対して、特定の平均化方式により二次分類処理を行うものであってもよい。

また、本開示による画像処理装置においては、二次分類部は、所見が対象臓器を含む場合、対象臓器の所見ついての評価値に対して、特定の平均化方式により二次分類処理を行うものであってもよい。

また、本開示による画像処理装置においては、二次分類部は、対象臓器以外の所見についての評価値に対して、特定の平均化方式とは異なる他の評価方式により二次分類処理を行うものであってもよい。

この場合、他の評価方式は、複数の断面画像に共通する部分における評価値の代表値を二次分類処理の結果とする評価方式であってもよい。

また、本開示による画像処理装置においては、二次分類部は、二次分類処理の結果、複数の断面画像に共通する部分について、最も評価が高い得られた所見を、当該画素についての所見として特定するものであってもよい。

また、本開示による画像処理装置においては、一次分類部は、機械学習によって生成された判別器を用いて一次分類処理を行うものであってもよい。

また、本開示による画像処理装置においては、二次分類処理の結果を表示部に表示する表示制御部をさらに備えるものであってもよい。

この場合、表示制御部は、さらに一次分類処理の結果を表示部に表示するものであってもよい。

また、本開示による画像処理装置においては、所見の解剖学上の特徴または画像特徴量に基づいて、二次分類処理の結果を補正する補正部をさらに備えるものであってもよい。

また、本開示による画像処理装置においては、補正部は、特定の断面方向の断面画像の各画素の信号値に基づいて、二次分類処理の結果を補正するものであってもよい。

また、本開示による画像処理装置においては、補正部は、組織または病変の形状または位置の解剖学上の特徴に基づいて、二次分類処理の結果を補正するものであってもよい。

また、本開示による画像処理装置においては、補正部は、二次分類処理によって分類された各画素によって特定される組織または病変の辺縁または重心位置の３次元空間上の連続性に異常がある場合に、各画素の二次分類処理の結果を補正するものであってもよい。

本開示による画像処理方法は、被検体の複数の異なる断面方向の断面画像を取得し、
複数の断面画像のそれぞれについて、各断面画像の各画素が分類される所見の種類を特定するための一次分類処理を行い、
複数の断面画像に共通する部分について、所見の種類に応じた異なる評価方式により、各断面画像の一次分類処理の結果を評価することによって、複数の断面画像に共通する部分が分類される所見の種類を特定する二次分類処理を行う。

なお、本開示による画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本開示による他の画像処理装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
被検体の複数の異なる断面方向の断面画像を取得し、
複数の断面画像のそれぞれについて、各断面画像の各画素が分類される所見の種類を特定するための一次分類処理を行い、
複数の断面画像に共通する部分について、所見の種類に応じた異なる評価方式により、各断面画像の一次分類処理の結果を評価することによって、複数の断面画像に共通する部分が分類される所見の種類を特定する二次分類処理を行う。

本開示によれば、断面画像の各画素を複数種類の所見に高精度に分類することができる。

本開示の画像処理装置の一実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図 複数の異なる断面方向の断面画像の一例を示す図 多層ニューラルネットワークの一例を示す図 ある関心領域の中心画素についての所見の種類に対応する評価値を示す図 二次分類処理を説明するための図 ある関心領域の中心画素についての所見の評価値の算術平均値を示す図 ある関心領域の中心画素についての所見の評価値の調和平均値を示す図 所見の種類に応じて、異なる評価方式を採用した場合の二次分類結果を示す図 マッピング画像の一例を示す図 本開示の画像処理装置の一実施形態を用いた医用画像診断支援システムの作用を説明するためのフローチャート 領域の境界付近を説明するための図 本開示の画像処理装置の他の実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図 嚢胞が誤分類された例を示す図 嚢胞が誤分類されたその他の例を示す図 嚢胞と分類された各領域の重心位置の連続性を説明するための図

以下、本開示の画像処理装置、方法およびプログラムの一実施形態を用いた医用画像診断支援システムについて、図面を参照して詳細に説明する。図１は、本開示の画像処理装置の一実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図である。

本実施形態の医用画像診断支援システムは、図１に示すように、画像処理装置１０、表示装置２０、入力装置３０、および３次元画像保管サーバ４０を備える。

画像処理装置１０は、コンピュータに本実施形態の画像処理プログラムをインストールすることによって構成されたものである。画像処理プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disk Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。

画像処理装置１０は、ＣＰＵ（Central Processing Unit）および半導体メモリ、並びにハードディスクおよびＳＳＤ(Solid State Drive)等のストレージデバイス等を備えている。そして、これらのハードウェアによって、図１に示すような断面画像取得部１１、一次分類部１２、二次分類部１３、および表示制御部１４が構成されている。そして、ストレージデバイスにインストールされた画像処理プログラムがＣＰＵによって実行されることによって上記各部がそれぞれ動作する。

断面画像取得部１１は、手術前または検査前等に予め撮影された被検体の断面画像を取得するものである。断面画像としては、例えばＣＴ装置およびＭＲＩ装置等から出力されたスライスデータ、並びにＭＳ（Multi Slice）ＣＴ装置およびコーンビームＣＴ装置から出力されたスライスデータ等により表されるものがある。断面画像は、３次元画像保管サーバ４０に被検体の識別情報と対応づけられて保存されている。断面画像取得部１１は、入力装置３０において入力された被検体の識別情報に対応する断面画像を３次元画像保管サーバ４０から読み出して取得する。

また、断面画像取得部１１は、被検体の複数の異なる断面方向の断面画像を取得する。断面方向としては、アキシャル、サジタル、コロナルおよびオブリーク等がある。断面画像取得部１１は、少なくとも３以上の断面画像を取得することが好ましい。断面画像取得部１１は、例えば図２のＡ，Ｂ，Ｃに示すように互いに異なる３つの断面方向の各断面方向について、それぞれ複数の断面画像を取得するものである。なお、３つの断面方向は、アキシャル方向、サジタル方向およびコロナル方向とする。

なお、断面画像取得部１１は、被検体の複数の異なる断面方向の断面画像が３次元画像保管サーバ４０に予め保存されている場合には、それら複数の断面画像を取得するが、被検体のボリュームデータが３次元画像保管サーバ４０に保存されている場合には、そのボリュームデータを読み出し、ボリュームデータから複数の異なる断面方向の断面画像を生成して取得するようにしてもよい。

一次分類部１２は、断面画像取得部１１によって取得された複数の断面画像のそれぞれについて、各断面画像の各画素が分類される組織または病変の種類、すなわち所見の種類を特定するための一次分類処理を行う。本実施形態においては、断面画像取得部１１によって肺領域を含む複数の断面画像を取得し、各断面画像の各画素について、複数種類の所見のそれぞれであることを表す評価値、すなわち複数種類の所見のそれぞれに対応する評価値を一次分類処理の結果として取得する。なお、以下、複数の断面画像のうち、アキシャル方向の１つの断面画像に対する一次分類処理についてのみ説明するが、他の断面方向の断面画像についても同様にして一次分類処理が行われるものとする。

本実施形態の一次分類部１２は、機械学習であるディープラーニング（深層学習）によって生成された多層ニューラルネットワークからなる判別器を有し、この判別器を用いて、各断面画像の各画素に関して、複数種類の所見のそれぞれに対応する評価値を取得する。

多層ニューラルネットワークでは、各層において、前段の階層により得られる異なる複数の特徴量のデータに対して各種カーネルを用いて演算処理を行う。そして、この演算処理によって得られる特徴量のデータに対して次段以降の層においてさらなる演算処理を行うことにより、特徴量の認識率を向上させ、入力されたデータを複数のクラスのそれぞれに対応する評価値を取得し、評価値に基づいて入力されたデータを複数のクラスのいずれかに分類することができる。

図３は多層ニューラルネットワークの一例を示す図である。図３に示すように多層ニューラルネットワーク５０は、入力層５１および出力層５２を含む複数の階層からなる。本実施形態においては、断面画像に含まれる肺領域を、例えば、浸潤影、腫瘤影、すりガラス影、小葉中心性結節影、非小葉中心性結節影、網状影、線状影、小葉間隔壁肥厚、蜂窩肺、嚢胞、低吸収域（気腫）、空洞、胸膜肥厚、胸水、空洞、気管支拡張、牽引性気管支拡張、動脈、正常肺、胸壁および縦隔等の所見に分類するように学習がなされている。なお、所見の種類はこれらに限定されるものではなく、これらより多くの所見であってもよく、これらより少ない所見であってもよい。

本実施形態においては、これらの所見について、数百万という多数の教師データを用いて、多層ニューラルネットワーク５０に学習させる。学習の際には、所見の種類が既知の断面画像から、予め定められたサイズ（例えば１．５ｃｍ×１．５ｃｍ）の関心領域を切り出し、その関心領域を教師データとして用いる。そして、多層ニューラルネットワーク５０に教師データを入力して、所見の種類の分類処理の結果（以下、分類結果とする）を出力させる。次いで、出力された結果を教師データと比較し、正解か不正解かに応じて、出力側から入力側に向かって、多層ニューラルネットワーク５０の各層に含まれるユニット（図３に 丸印で示す）の各階層間における結合の重みを修正する。結合の重みの修正を、多数の教師データを用いて、予め定められた回数、または出力される分類結果の正解率が１００％になるまで繰り返し行い、学習を終了する。

一次分類部１２は一次分類処理を行う際に、分類対象の断面画像から教師データと同じ大きさの関心領域を順次切り出し、その関心領域を多層ニューラルネットワーク５０からなる判別器に入力する。これにより、切り出した関心領域の中心画素について、複数の所見のそれぞれに対応する評価値が出力される。なお、複数の所見のそれぞれに対応する評価値は、中心画素が、各所見に属する可能性を示す評価値であり、この評価値が大きいほど、その所見に分類される可能性が高いことを意味する。一次分類部１２は、断面画像に含まれる各画素において、複数種類の所見のそれぞれに対応する評価値を取得するものとする。

図４は、ある関心領域の中心画素についての所見の種類に対応する評価値を示す図である。なお、図４においては、説明を簡単なものとするために複数の所見のうちの一部の所見についての評価値を示す。本実施形態において、判別器は、関心領域の中心画素について、複数の所見のそれぞれに対応する評価値を出力する。このため、図４に示すように、各所見に対応する評価値が取得される。図４に示すような評価値が取得された場合、その関心領域の中心画素は、網状影である可能性が最も高く、次にすりガラス影の可能性が高い。逆に正常肺または低吸収域の可能性はほとんど無い。このため、仮に一次分類結果のみを用いるとするならば、図４に示すような評価値が取得された関心領域の中心画素は、評価値が最大の網状影に分類される。

一次分類部１２は、上述したようにアキシャル方向の断面画像以外のその他の断面方向の断面画像についても、上記と同様の一次分類処理を行い、各断面画像の各画素において、複数種類の所見のそれぞれに対応する評価値を取得する。

次に、二次分類部１３について説明する。二次分類部１３は、一次分類部１２で用いられた複数の断面画像に共通する部分について、所見の種類に応じた異なる評価方式により各断面画像の一次分類結果を評価する。とくに、複数の断面画像に共通する部分について、所見の種類に応じた異なる評価方式により各断面画像の一次分類結果を評価する。そしてこれにより、二次分類部１３は、複数の断面画像に共通する画素が分類される所見の種類を特定する。具体的には、図５に示すように、３方向の断面画像Ｓ１，Ｓ２，Ｓ３に共通する画素Ｐについて、断面画像Ｓ１，Ｓ２，Ｓ３の一次分類結果がそれぞれ取得され、その３つの一次分類結果が評価されて、画素Ｐが分類される所見の種類が特定される。

本実施形態においては、一次分類結果として、断面画像の各画素において、複数種類の所見のそれぞれに対応する評価値が取得されている。このため、一次分類結果の評価方式として、各所見についての評価値の算術平均値を算出する評価方式を用いることが考えられる。この場合、最も大きい算術平均値が算出された所見が、画素Ｐの最終的な所見に特定される。

図６はある関心領域の中心画素についての所見の評価値の算術平均値を示す図である。図６に示すように、この画素についての所見の評価値の算術平均値は、浸潤影が６．３と最も大きくなる。したがって、評価方式として算術平均を用いた場合、この画素は二次分類処理により浸潤影に分類される。しかしながら、浸潤影について、コロナル、サジタルおよびアキシャルの３方向の断面のそれぞれの評価値を比較すると、アキシャル方向の評価値が０．５であり、コロナル方向の評価値である１０．８およびサジタル方向の評価値である７．５と比較すると低いものとなっている。評価値が０．５と言うことは、アキシャル方向の断面画像においては、その画素は浸潤影の可能性が極めて低いことを示している。このため、このような状況でその画素を最終的に浸潤影に分類した場合、分類の精度は必ずしも高いものではなくなる。

一般に、病変は凸構造が多いため、多層ニューラルネットワーク５０を学習するための学習データに含まれる病変においては、病変の周囲が正常肺等の背景となる組織であることが多い。このような学習データを用いて、確実に病変を検出できるように多層ニューラルネットワーク５０を学習しようとすると、正常肺等の背景よりも病変の方が強めに学習されることになる。その結果、そのように学習された多層ニューラルネットワーク５０を判別器として使用した場合、病変の境界のように病変か背景かの分類が微妙な領域は、広めに病変として分類されやすくなる。逆に背景となる正常肺等の広範囲に存在する領域は、病変に対して分類されにくくなる。

また、病変の領域以外の領域であっても、図６に示す浸潤影のアキシャル方向の断面画像の評価値のように、ある断面画像で病変が全く存在しない状態は少なく、実際には多層ニューラルネットワーク５０が出力する評価値は、所見の種類に応じて微妙な差となることが多い。

このため、分類結果に対してより差を大きくするためには、病変の所見とそれ以外の背景等の他の所見とで、異なる評価方式を採用することが好ましい。

このため、本実施形態においては、二次分類部１３は、一次分類結果に基づいて、病変の所見についての評価値に対して、すべての断面画像における評価値が高い程、高い評価値となった所見を、共通する画素の所見に優先的に分類する特定の平均化方式を採用する。具体的には、特定の平均化方式として調和平均を評価方式として採用する。この場合、病変以外の所見についての評価値に対しては、上述した算術平均を評価方式として採用する。ここで、調和平均は下記の式（１）により表される。式（１）において、Ｅ１はコロナル方向の断面画像における評価値、Ｅ２はサジタル方向の断面画像における評価値、Ｅ３はアキシャル方向の断面画像における評価値である。また、二次分類部１３は、評価値が０を超える所見についてのみ調和平均を算出し、評価値が０以下となる所見については調和平均は算出しないものとする。

調和平均＝３／（１／Ｅ１＋１／Ｅ２＋１／Ｅ３） （１）

図７は図６と同様のある画素についての所見毎の評価値の調和平均値を示す図である。図７に示すように、評価方式として調和平均を採用すると、浸潤影のように低い評価値を含む場合、調和平均値は低い値となる。逆に、正常肺のように３方向のすべてにおいて評価値が大きい所見については、調和平均は大きい値となる。図７に示すように調和平均を評価方式として用いた場合、この画素の二次分類処理の結果である二次分類結果は、調和平均値が最も大きい正常肺となる。

上述したように、病変の所見についての評価値に対しては調和平均を用いることが好ましい。しかしながら、例えば点状影等のように比較的小さい領域は、３方向の断面画像において点状影に分類された画素の位置が一致しにくい。このため、３方向の断面画像における点状影となるべき画素の位置がわずかに外れるのみで、ある断層面において点状影となるべき画素が、他の断層面において全く認識されなくなる可能性がある。このような場合、評価方式として調和平均を採用すると、その画素は点状影に分類されなくなってしまう。このため、点状影となる所見についての評価値に対しては、評価方式として調和平均ではなく算術平均を採用することが好ましい。

また、動脈すなわち血管等の線状構造は、ある方向の断面画像においては線状に含まれるが、この方向に直交する方向の断面画像においては点として含まれる。このため、３方向の断面画像における線状構造となるべき画素の位置がわずかに外れるのみで、ある断層面において線状構造となるべき画素が、他の断層面において全く認識されなくなる可能性がある。このような場合、評価方式として調和平均を採用すると、その画素は血管等の線状構造に分類されなくなってしまう。このため、線状構造となる所見についての評価値に対しては、評価方式として調和平均ではなく算術平均を採用することが好ましい。

また、蜂窩肺等の病変は、アキシャル方向の断面画像においては、蜂の巣を上から見たような構造に見えるが、コロナル方向またはサジタル方向の断面画像においては、縦長の構造を伴うことが多い。一方、ＣＴ画像またはＭＲＩ画像を用いた画像診断においては、アキシャル方向の断面画像を用いることが多い。このため、多層ニューラルネットワーク５０の学習に使用する学習データも、アキシャル方向の断面画像が多くなる。このように学習された多層ニューラルネットワーク５０を判別器として使用すると、アキシャル方向の断面画像については蜂窩肺についての分類の精度は高いが、コロナル方向の断面画像およびサジタル方向の断面画像については、蜂窩肺の分類精度がアキシャル方向の断面画像よりも低くなる。このような場合、アキシャル方向の断面画像についての評価値の重みを、コロナル方向の断面画像およびサジタル方向の断面画像についての評価値の重みよりも大きくした重み付け算術平均を評価方式として採用することにより、蜂窩肺の分類精度を向上させることができる。また、このような場合の評価方式としては、重み付け算術平均に限定されるものではない。病変の種類に応じて、３方向の断面画像の評価値についての中間値および最大値等、重み付け算術平均以外の他の代表値を用いるようにしてもよい。

以上のように、本実施形態においては、所見の種類に応じた異なる評価方式を採用する。

図８は所見の種類に応じて、異なる評価方式を採用した場合の二次分類結果を示す図である。図８において、蜂窩肺の評価方式の「アキシャル２倍の重み」は、アキシャル方向の断面画像についての評価値の重みを、コロナル方向の断面画像についての評価値およびサジタル方向の断面画像についての評価値の２倍とした重み付け算術平均を意味する。また、図８においては、正常肺の評価方式の最大値とは、３方向の評価値のうちの最大値を採用する評価方式を意味する。図８に示すように所見の種類に応じて異なる評価方式を採用した場合、この画素の二次分類処理の結果である二次分類結果は、評価値が３．９と最も大きい蜂窩肺となる。このように所見の種類に応じて異なる評価方式を採用することにより、より精度よく分類を行うことができる。

なお、上記説明では、１つの画素Ｐの二次分類処理について説明したが、３次元空間上における全ての画素について、上記と同様にして二次分類処理が行われ、各画素が分類される所見の種類が特定される。

図１に戻り、表示制御部１４は、二次分類結果に基づいて、各分類の領域に色を割り当てることによってマッピング画像を生成し、そのマッピング画像を表示装置２０に表示させる。

具体的には、表示制御部１４は、上述した複数種類の所見のうちのいずれかに分類された３次元空間上の全ての画素について、同一の所見に分類された画素に対して同じ色を割り当てることによって３次元のマッピング画像を生成する。図９は、マッピング画像の一例を示す図である。なお、図９においては、説明を簡単なものとするために、すりガラス影、正常肺、気管支拡張、蜂窩肺、網状影、浸潤影および嚢胞の８種類の所見に分類した場合のマッピング画像を示す。また、図９においては、３次元のマッピング画像における任意の断面の断面画像を示しているが、これに限らず、３次元のマッピング画像を表示装置２０に表示させるようにしてもよい。

また、表示制御部１４は、断面画像取得部１１によって取得された複数の断面方向の断面画像、および二次分類部１３によって二次分類処理された断面画像または３次元画像等を表示装置２０に表示可能なものである。なお、表示制御部１４は、一次分類部１２による一次分類結果に基づいて、評価値が最大となる所見に断面画像の各画素を分類して、一次分類結果に基づくマッピング画像を生成するものであってもよい。この場合、図９に示すマッピング画像（すなわち、二次分類結果に基づくマッピング画像）と一次分類結果に基づくマッピング画像とを切り替え可能に、あるいはこれらを並べて表示可能なものとしてもよい。これにより、一次分類結果と二次分類結果との比較を容易に行うことができる。

表示装置２０は、例えば液晶ディスプレイ等を備えたものである。また、表示装置２０をタッチパネルによって構成し、入力装置３０と兼用するようにしてもよい。

入力装置３０は、マウスおよびキーボード等を備えたものであり、ユーザによる種々の設定入力を受け付けるものである。具体的には、例えば患者の識別情報の設定入力等を受け付けるものである。

次に、本実施形態の画像処理装置の動作について説明する。図１０は本実施形態の画像処理装置の動作を示すフローチャートである。まず、ユーザによる患者の識別情報等の設定入力に応じて、患者の複数の断面方向の断面画像が取得される（ステップＳＴ１）。複数の断面画像は一次分類部１２に出力され、一次分類部１２は、入力された各断面画像に対して一次分類処理を施すことによって、一次分類結果を取得する（ステップＳＴ２）。

そして、一次分類部１２による一次分類結果が二次分類部１３に出力され、二次分類部１３は、入力された一次分類結果に基づいて、所見の種類に応じた異なる評価方式により二次分類処理を行う（ステップＳＴ３）。

そして、二次分類部１３による二次分類結果が表示制御部１４に出力され、表示制御部１４は、各分類の領域に色を割り当てることによってマッピング画像を生成し、そのマッピング画像を表示装置２０に表示させ（ステップＳＴ４）、処理を終了する。

このように、本実施形態によれば、被検体の複数の異なる断面方向の断面画像を取得し、その複数の断面画像のそれぞれについて、各断面画像の各画素が分類される所見の種類を特定するための一次分類処理を行う。次いで、複数の断面画像に共通する部分について、所見の種類に応じた異なる評価方式により、各断面画像の一次分類結果を評価することによって、複数の断面画像に共通する部分が分類される所見の種類を特定する二次分類処理を行う。このように二次分類処理を行うことによって、断面画像の各画素を複数種類の所見に高精度に分類することができる。

なお、上記実施形態においては、複数種類の所見に病変間の境界を含めるようにしてもよい。ここで、病変間の境界とは、病変間の境界を含む予め定められた範囲（例えば境界の周囲の数画素）を意味する。具体的には、図１１に示すように、それぞれが病変の領域Ａ１，Ａ２が隣接しているとする。領域Ａ１の境界付近とは、領域Ａ１と領域Ａ２との境界Ｂ０から予め定められた範囲の領域Ａ１１となる。一方、領域Ａ２の境界付近とは、領域Ａ１と領域Ａ２との境界Ｂ０から予め定められた範囲の領域Ａ１２となる。なお、複数種類の所見に、病変と病変以外の組織との境界を含めてもよい。

このように複数種類の所見に病変間等の境界を含めた場合、一次分類結果により取得される境界の評価値に対しては、調和平均のように、すべての断面画像における評価値が高い程、高い評価値となった所見を共通する部分の所見に優先的に分類する評価方式を採用することが好ましい。この場合、境界以外の評価値に対しては、上述した算術平均を評価方式として採用すればよい。

また、上記実施形態においては、所見として診断対象となる肺および肝臓等の対象臓器を含めるようにしてもよい。このように、所見に対象臓器を含めた場合、一次分類結果により取得される対象臓器の評価値に対しては、調和平均のように、すべての断面画像における評価値が高い程、高い評価値となった所見を共通する部分の所見に優先的に分類する評価方式を採用することが好ましい。この場合、対象臓器以外の評価値に対しては、上述した算術平均を評価方式として採用すればよい。

また、上記実施形態においては、二次分類部１３が出力した二次分類結果を、所見の解剖学上の特徴または画像特徴量に基づいて補正するようにしてもよい。以下、これを他の実施形態として説明する。図１２は、本開示の画像処理装置および方法並びにプログラムの他の実施形態を用いた医用画像診断支援システムの概略構成を示すブロック図である。なお、図１２において図１と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。図１２に示す他の実施形態による医用画像診断支援システムは、図１に示す医用画像診断支援システムに対して補正部１５を備えたものである。

補正部１５は、所見の解剖学上の特徴または画像特徴量に基づいて、二次分類結果を補正するものである。

ここで、上述した二次分類部１３によって各画素が分類される所見を特定したとしても、その分類結果が、解剖学上の構造に沿った結果とは異なる場合がある。

具体的には、例えば嚢胞の輪郭は連続した滑らかな曲線となるが、二次分類結果、嚢胞と分類された画素からなる領域の輪郭が、連続した滑らかな曲線とならない場合がある。例えば図１３に示すように、嚢胞と分類された画素からなる領域が、分断された２つの領域ｒ１，ｒ２となる場合がある。また、図１４に示すように、嚢胞と分類された画素からなる領域ｒ３の輪郭に突起ができたり、逆に凹みができたりして、嚢胞の領域の辺縁に異常がある場合がある。

そこで、本開示の他の実施形態の補正部１５は、解剖学上の構造に沿った結果となるように、二次分類結果を補正するものである。具体的には、補正部１５は、特定の断面方向の断面画像を用いて、各画素の二次分類結果を補正する。特定の断面方向の断面画像としては、より高精度に各画素を所見に分類可能な断面画像を用いることが好ましく、例えば一次分類処理を行う際に用いた複数の断面画像のうち、最も解像度が高い断面方向の断面画像を用いることが好ましい。

具体的には、例えば最も解像度が高い断面方向の断面画像の画素値を用いて、閾値処理またはフィルタ処理等を行うことによって嚢胞領域を抽出し、その輪郭を画像特徴量として取得する。そして、二次分類処理によって嚢胞と分類された画素からなる領域を上記輪郭にマッチングさせることによって補正を行う。これにより、図１３に示す領域ｒ２を嚢胞の領域から除外することができ、図１４に示す領域ｒ３の突起を無くすことができる。また、嚢胞に限らず、断面画像の画素値を用いて、閾値処理またはフィルタ処理等を行うことによって気管支領域を抽出し、その輪郭を画像特徴量として取得する。そして、二次分類処理によって気管支と分類された画素からなる領域を上記輪郭にマッチングさせることによって補正を行うようにしてもよい。

なお、上記説明では、嚢胞領域または気管支領域を抽出するようにしたが、このように必ずしも、所見を特定しなくてもよい。例えば断面画像に含まれるエッジまたは形状を解析して断面画像をセグメンテーションし、二次分類処理によって特定の所見に分類された画素からなる領域をセグメンテーションされた領域まで広げたり、または狭めたりしてもよい。

また、補正をする際、二次分類処理によって分類された領域に含まれる信号値を画像特徴量として用いるようにしてもよい。具体的には、二次分類処理によって分類された領域に含まれる信号値の分布を解析し、高信号値の領域と低信号値の領域が存在した場合、判別分析法を用いてこれらの領域を分離することによって、上述した嚢胞または気管支等の組織を表す信号値の領域を決定して補正するようにしてもよい。例えば断面画像がＣＴ画像である場合、空気領域の信号値は−１０２４に近づくが、気管支壁および血管等の組織は０以上の値を示すので、二次分類処理によって分類された嚢胞領域の中に空気領域に近い低信号値の領域と、血管等に近い高信号値が含まれていた場合には、分離された信号値群のうち低信号値群の領域を補正された嚢胞領域として決定する。

また、二次分類処理によって分類された嚢胞領域の信号値に対して、低吸収域の信号値である−９５０等の特定の閾値を用いて閾値処理を施すことによって補正するようにしてもよい。

また、二次分類処理によって分類された領域または上述した補正方法によって補正された領域を、その領域の外側に向けて１単位(１ボクセルまたは１ピクセル)ずつ膨らませていき、信号値の分布が近しい領域部分は拡張することによって補正するようにしてもよい。

例えば嚢胞領域の場合、中央は空気領域で信号値が低いが辺縁は肺組織の区切りまたは線維化組織であるので、信号値が高くなる。したがって、１単位ずつ高信号値の領域に行き着くまで膨らませることによって補正するようにしてもよい。また、二次分類処理によって分類された嚢胞領域内で、エッジ（高信号値）の領域が検出されて領域が分断された場合には、それぞれの分断された領域の信号値の分布（分散および標準偏差等）を算出して比較することによって、肺野に近い領域を除外して補正するようにしてもよい。

また、上記説明では、画像特徴量を用いて補正を行うようにしたが、これに限らず、所見の解剖学上の特徴を用いて補正を行うようにしてもよい。具体的には、上述したように嚢胞と胸水とは、断面画像上において同じような輪郭形状で現れる場合があり、胸水の領域が嚢胞の領域と誤分類される可能性がある。そこで、嚢胞に分類された領域が、肺領域以外の周辺領域である場合には、その領域は胸水の領域であるとして削除するようにしてもよい。すなわち、嚢胞の解剖学上の位置の特徴に基づいて、補正を行うようにしてもよい。また、嚢胞と分類された領域が、図１３に示すように分断された領域ｒ１，ｒ２である場合には、嚢胞の輪郭は連続した滑らかな曲線であるという解剖学上の形状の特徴に基づいて、領域ｒ２を削除するようにしてもよい。また、嚢胞と分類された領域が、図１４に示すように突起を有する領域である場合には、嚢胞の輪郭は連続した滑らかな曲線であるという解剖学上の形状の特徴に基づいて、突起の部分を削除するようにしてもよい。

また、上記他の実施形態では、補正をする際、一次分類処理を行う際に用いた複数の断面画像のうち、最も解像度が高い断面方向の断面画像を用いるようにしたが、これに限らず、例えば被検体の撮影におけるスライス方向の断面画像を用いるようにしてもよい。撮影の際のスライス方向の断面画像とは、いわゆる原画像であって、例えば撮影の際のスライス方向が、体軸に直交する方向である場合には、アキシャル方向の断面画像が、スライス方向の断面画像となる。スライス方向の断面画像は、最も解像度が高い画像であるので、分類精度をより向上させることができる。

また、補正部１５は、図１４に示すような嚢胞と分類された領域の突起または凹み等の辺縁の異常の検出処理を行い、辺縁の異常が検出された場合のみ上述した補正を行うようにしてもよい。また、二次分類処理が行われた断面画像Ｓ４，Ｓ５，Ｓ６を、図１５に示すように３次元空間上に平行に配列した場合に、例えば各断面画像Ｓ４，Ｓ５，Ｓ６内における嚢胞と分類された各領域ｒ４，ｒ５，ｒ６の重心位置の連続性の異常を検出した場合に、各断面画像Ｓ４，Ｓ５，Ｓ６の嚢胞と分類された領域に対して上述した補正を行うようにしてもよい。重心位置の連続性の異常については、例えば重心位置を結んだ線Ｌの直線性を評価し、直線性が予め設定された閾値以下である場合に、重心位置の連続性に異常があると認識するようにすればよい。

このように、所見の解剖学上の特徴または画像特徴量に基づいて、二次分類結果を補正することにより、より解剖学上の構造に沿った分類結果とすることができ、断面画像の各画素を複数の所見に高精度に分類することができる。

なお、上記各実施形態においては、すべての断面画像における評価値が高い程、高い評価値となった所見を共通する部分の所見に優先的に分類する特定の平均化方式として調和平均を採用しているが、これに限定されるものではない。

また、上記各実施形態においては、複数の断面画像に共通する画素について、所見の種類に応じた異なる評価方式により各断面画像の一次分類結果を評価しているが、評価するのは画素に限定されるものではない。共通する画素を中心とする予め定められた範囲内の(例えば、３×３×３画素、５×５×５画素等）の複数の画素について、各断面画像の一次分類結果を評価してもよい。

また、上記各実施形態においては、評価方式として平均化方式を採用しているが、これに限定されるものではない。例えば、一次分類結果に含まれる所見毎の評価値に対して何らかのパラメータを変化させる評価方式等、任意の評価方式を採用することができる。

また、上記各実施形態において、例えば、断面画像取得部１１、一次分類部１２、二次分類部１３、表示制御部１４および補正部１５といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）を用いることができる。

１０ 画像処理装置
１１ 断面画像取得部
１２ 一次分類部
１３ 二次分類部
１４ 表示制御部
１５ 補正部
２０ 表示装置
３０ 入力装置
４０ ３次元画像保管サーバ
５０ 多層ニューラルネットワーク
５１ 入力層
５２ 出力層
Ａ１，Ａ２，Ａ１１，Ａ１２ 領域
Ｂ０ 境界
Ｌ 重心位置を結ぶ線
Ｐ 画素
ｒ１，ｒ２，ｒ３，ｒ４，ｒ５，ｒ６ 嚢胞と分類された領域
Ｓ１，Ｓ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６ 断面画像

Claims (15)

1. 被検体の複数の異なる断面方向の断面画像を取得する断面画像取得部と、
   複数の前記断面画像のそれぞれについて、前記各断面画像の各画素が分類される所見の種類を特定するための一次分類処理を行うことにより、複数種類の所見のそれぞれであることを表す評価値を含む一次分類の結果を取得する一次分類部と、
   前記複数の断面画像に共通する部分について、前記所見の種類に応じた異なる評価方式であって、すべての断面画像における評価値が高い程、該高い評価値となった所見を前記共通する部分の所見に優先的に分類する特定の平均化方式を評価方式の１つとして含む異なる評価方式により、前記各断面画像の前記一次分類処理の結果を評価することによって、前記複数の断面画像に共通する部分が分類される所見の種類を特定する二次分類処理を行う二次分類部とを備えた画像処理装置。
2. 前記特定の平均化方式は調和平均である請求項１に記載の画像処理装置。
3. 前記二次分類部は、病変の所見についての評価値に対して、前記特定の平均化方式により前記二次分類処理を行う請求項１または２に記載の画像処理装置。
4. 前記二次分類部は、前記病変以外の所見についての評価値に対して、前記特定の平均化方式とは異なる他の評価方式により前記二次分類処理を行う請求項３に記載の画像処理装置。
5. 前記二次分類部は、前記所見が病変間の境界および病変と該病変以外の組織との境界を含む場合、該境界の所見ついての評価値に対して、前記特定の平均化方式により前記二次分類処理を行う請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記二次分類部は、前記所見が対象臓器を含む場合、該対象臓器の所見ついての評価値に対して、前記特定の平均化方式により前記二次分類処理を行う請求項１または２に記載の画像処理装置。
7. 前記二次分類部は、前記対象臓器以外の所見についての評価値に対して、前記特定の平均化方式とは異なる他の評価方式により前記二次分類処理を行う請求項６に記載の画像処理装置。
8. 前記他の評価方式は、前記複数の断面画像に共通する部分における評価値の代表値を前記二次分類処理の結果とする評価方式である請求項４または７に記載の画像処理装置。
9. 前記二次分類部は、前記二次分類処理の結果、前記複数の断面画像に共通する部分について、最も評価が高い得られた所見を、当該共通する部分についての所見として特定する請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記一次分類部は、機械学習によって生成された判別器を用いて前記一次分類処理を行う請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記二次分類処理の結果を表示部に表示する表示制御部をさらに備えた請求項１から１０のいずれか１項に記載の画像処理装置。
12. 前記表示制御部は、さらに前記一次分類処理の結果を前記表示部に表示する請求項１１に記載の画像処理装置。
13. 前記所見の解剖学上の特徴または画像特徴量に基づいて、前記二次分類処理の結果を補正する補正部をさらに備えた請求項１から１２のいずれか１項に記載の画像処理装置。
14. 被検体の複数の異なる断面方向の断面画像を取得し、
    複数の前記断面画像のそれぞれについて、前記各断面画像の各画素が分類される所見の種類を特定するための一次分類処理を行うことにより、複数種類の所見のそれぞれであることを表す評価値を含む一次分類の結果を取得し、
    前記複数の断面画像に共通する部分について、前記所見の種類に応じた異なる評価方式であって、すべての断面画像における評価値が高い程、該高い評価値となった所見を前記共通する部分の所見に優先的に分類する特定の平均化方式を評価方式の１つとして含む異なる評価方式により、前記各断面画像の前記一次分類処理の結果を評価することによって、前記複数の断面画像に共通する部分が分類される所見の種類を特定する二次分類処理を行う画像処理方法。
15. 被検体の複数の異なる断面方向の断面画像を取得する手順と、
    複数の前記断面画像のそれぞれについて、前記各断面画像の各画素が分類される所見の種類を特定するための一次分類処理を行うことにより、複数種類の所見のそれぞれであることを表す評価値を含む一次分類の結果を取得する手順と、
    前記複数の断面画像に共通する部分について、前記所見の種類に応じた異なる評価方式であって、すべての断面画像における評価値が高い程、該高い評価値となった所見を前記共通する部分の所見に優先的に分類する特定の平均化方式を評価方式の１つとして含む異なる評価方式により、前記各断面画像の前記一次分類処理の結果を評価することによって、前記複数の断面画像に共通する部分が分類される所見の種類を特定する二次分類処理を行う手順とをコンピュータに実行させる画像処理プログラム。

Images