JP6734475B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、眼科医療用の画像を処理する画像処理装置及びプログラムに関する。

緑内障など、非可逆的な視機能の喪失を伴う疾病については、早期の発見が求められる。ところが緑内障では、その確定診断のための検査が一般に時間のかかるものであり、負担の大きいものであるため、予めスクリーニングによって緑内障の可能性の有無を簡便に検出する方法が求められている。

なお、眼底の三次元計測結果を利用して診断用の情報を提供する装置が、特許文献１に開示されている。

特開２０１７−７４３２５号公報

しかしながら上記従来例の装置等においては、眼底の情報に基づいて緑内障症状の有無を検出する場合の条件設定が難しい。これは、当該医師が診断に用いる情報が視神経乳頭部分の乳頭内・乳頭周囲の色調の相互関係、リム菲薄化，陥凹部の深化，ラミナドットサイン，乳頭血管の鼻側偏位，PPA（乳頭周囲網脈絡膜萎縮），乳頭縁出血，網膜神経線維層欠損等の情報の総合的な判断によるものであるためである（「緑内障性視神経乳頭・網膜神経線維層変化判定ガイドライン」，日眼会誌,vol. 110, No.10, p810-，（平成１８年））。また、近年では無散瞳で眼底写真を撮影する機器もあるが、このような機器では三次元的情報を得ることは困難であり、三次元的な情報が必ずしも得られるとは限らない。

また、眼底写真は撮影の条件や、対象の個体差によってその色味や血管形状などが大きく異なる。このため、例えば単に画素値等に基づくセグメンテーション処理等は、視神経乳頭陥凹縁のような、緑内障の診断に役立つ画像部分の検出には現実的ではない。

本発明は上記実情に鑑みて為されたもので、眼底画像に基づいて、比較的簡便に緑内障の可能性の有無を検出できる画像処理装置及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決する本発明は、画像処理装置であって、眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とを互いに関連付けた情報を含む学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を機械学習した状態にある機械学習結果を保持する保持手段と、処理の対象となる眼底写真の画像データを受け入れる受入手段と、前記受け入れた画像データに基づく入力データと、前記機械学習結果とを用いて、処理の対象となった眼底写真に係る目についての前記目の症状に関する情報を推定する推定手段と、当該推定の結果を出力する手段と、を含むこととしたものである。

本発明によると、眼底画像に基づいて、比較的簡便に緑内障の可能性の有無を検出できる。

本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。 本発明の実施の形態に係る画像処理装置が処理する眼底写真の画像データの例を表す説明図である。 本発明の実施の形態に係る画像処理装置の例を表す機能ブロック図である。 本発明の実施の形態に係る画像処理装置が出力する画像の例を表す説明図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１は、図１に例示するように、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、入出力部１５とを含んで構成される。

ここで制御部１１は、ＣＰＵ等のプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。本実施の形態の例では、この制御部１１は、眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とが互いに関連付けられた情報を含む学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を学習した状態にある機械学習結果とを用いた処理を行う。

なお、学習用データは、必ずしもすべての情報が、眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とを互いに関連付けた情報でなくてもよく、一部に対応する目の症状に関する情報が関連付けられていない、眼底写真の画像データが含まれてもよい。

また機械学習結果は、例えばニューラルネットワークやＳＶＭ（Support Vector Machine）、あるいはベイズ法、樹木構造を基本とする方法などを応用して機械学習した結果であってもよいし、また、半教師つき学習によって得られるモデル等であってもよい。

具体的に制御部１１は、処理の対象となる眼底写真の画像データを受け入れ、当該受け入れた画像データに基づく入力データを入力したときのニューラルネットワークの出力を取得するなど、入力データと機械学習結果とを用いて処理の対象となった眼底写真に係る目についての所定の症状に関する情報を推定する。そして制御部１１は、当該推定の結果を出力する。この制御部１１の詳しい動作の内容については後に説明する。

記憶部１２は、ディスクデバイスやメモリデバイス等であり、制御部１１によって実行されるプログラムを保持する。このプログラムは、コンピュータ可読かつ非一時的な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。また、本実施の形態では、この記憶部１２は、眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とが互いに関連付けられた学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を学習した状態にある機械学習結果を保持する保持手段としても機能する。この機械学習結果の詳細についても後に述べる。

操作部１３は、キーボードやマウス等であり、利用者の指示を受け入れて、制御部１１に出力する。表示部１４は、ディスプレイ等であり、制御部１１から入力される指示に従い、情報を表示出力する。

入出力部１５は、例えばＵＳＢ（Universal Serial Bus）等の入出力インタフェースであり、本実施の形態の一例では、処理の対象となる眼底写真の画像データを外部の装置（例えば撮影装置やカードリーダー等）から受け入れて制御部１１に出力する。

次に本実施の形態の制御部１１が利用する機械学習結果について説明する。本実施の形態の一例では、この制御部１１が利用する機械学習結果は、ニューラルネットワークである。この例の制御部１１が利用するニューラルネットワークは、眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とが互いに関連付けられた学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を機械学習した状態としたものである。

一例として、このニューラルネットワークは、残差（Residual）ネットワーク（ResNet：Kaiming He, et.al., Deep Residual Learning for Image Recognition, https://arxiv.org/pdf/1512.03385v1.pdf）を用いて形成される。このニューラルネットワークの学習処理は、一般的なコンピュータを用いて行うことができる。

具体的に学習処理は、この残差ネットワークに対し、学習データに含まれる、図２（ａ）に例示するような眼底写真の画像データ（眼底写真であることがわかっている画像データ、例えば人為的に事前に収集されたものでよい）を入力して行う。この眼底写真は、散瞳または無散瞳で撮像された二次元の眼底写真でよいが、少なくとも視神経乳頭の像Ｙが含まれるものとする。この視神経乳頭の像Ｙは、他の部分（視神経乳頭に相当する部分以外の部分）の像よりも比較的明度の高い領域として撮像されるのが一般的である。なお、眼底写真には多くの血管Ｂが撮像される。

また学習データに含める、目の症状に関する情報として、当該眼底写真を参照した眼科医による緑内障の疑いの有無を表す情報を用いる。この場合、例えば学習処理において入力する画像データである各眼底写真について、当該眼底写真を参照した複数人の眼科医のうち、緑内障の疑いがあると診断した眼科医の割合をもって、当該眼底写真の目の症状に関する情報として、当該眼底写真の画像データに関連付けて学習データとしてもよい。

本実施の形態のこの例では、例えば残差ネットワーク等のニューラルネットワークの出力ベクトルの次元Ｎを「１」とし、緑内障の疑いの程度を表すパラメータとする。そして、各学習データの眼底写真の画像データを入力したときのニューラルネットワークの出力と、当該入力した眼底写真の画像データに関連付けられている緑内障の疑いの有無を表す情報とを用いて学習処理する。この学習処理は、広く知られた、バックプロパゲーションの処理等を用いた処理により行うことができるので、ここでの詳しい説明を省略する。

また、本実施の形態の一例では、緑内障の疑いの有無を直接判断するのではなく、その支援のための情報を提示してもよい。例えば本実施の形態の一例では視神経乳頭陥凹縁の位置を描画して提示する。この場合は、各眼底写真内に、医師（眼科医）が人為的に描画した、視神経乳頭陥凹縁の位置を表す曲線（図２（ａ）のＸ；一般に視神経乳頭陥凹縁は視神経乳頭の像Ｙ内の閉曲線となる）を表す情報を、学習データに含める、目の症状に関する情報として用いる。この曲線を表す情報は、曲線自体が通過する眼底写真の画像データ内の画素の位置を表す座標情報の組であってもよい。

なお、緑内障の疑いの有無を判断する際の支援情報としては、視神経乳頭陥凹縁の位置を表す曲線のほか、網膜神経繊維層の楔状欠損部分等の位置等、緑内障の診断に用いられる画像上の他の特徴的部分を示すものであってもよい。

本実施の形態のこの例では、例えば残差ネットワークの出力ベクトルの次元Ｎを、画像データの画素数Ｎに一致させ、視神経乳頭陥凹縁を表す、人為的に描画された閉曲線が通過する画素について「１」、そうでない画素について「０」とするベクトルを正解として、残差ネットワークを学習処理する。この学習処理もまた、広く知られた、バックプロパゲーションの処理等を用いた処理により行うことができるので、ここでの詳しい説明を省略する。

また、本実施の形態の、眼底写真の画像データと、各眼底写真に対応する目の症状に関する情報とが互いに関連付けられた学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を学習した状態にあるニューラルネットワークは、残差ネットワークに限られない。

このニューラルネットワークは、一般的な畳み込みネットワーク（ＣＮＮ）であってもよい。また、一般的な畳み込みネットワークの最終層をＳＶＭ（Support Vector Machine）としてもよい。さらに一般的な畳み込みネットワークにおいて活性化関数をLeaky Relu（活性化関数φ（ｘ）＝max(0.01ｘ,ｘ)としたもの。ただし、max（ａ，ｂ）は、ａ，ｂのうち大きい方の値）としたものを用いてもよい。また、Dense Net（Gao Huang, et. al., Densely Connected Convolutional Network, arXiv:1608.06993）を用いてもよい。

さらに本実施の形態では、このようにして形成したニューラルネットワークを参照ネットワークとして用いて、比較的層の少ない、例えば２層の全結合層を有した別のニューラルネットワークを、同じ学習データを入力した場合の参照ネットワークの出力を正解として用いて学習した、いわゆる「蒸留」の処理により得られたネットワークであってもよい。

さらに本実施の形態では、一つの学習データＡについて、当該学習データＡである画像データＰａを反転、あるいは回転して得た画像データや、当該画像データＰａにノイズ（ランダムなドット等）を付加した画像データを、画像データＰａとは異なる画像データとして入力してもよい。

この場合、正解に相当する緑内障の疑いの有無を表す情報は、画像データＰａを反転、あるいは回転して得た画像データを学習データとしたときも、ノイズを付加したときにも、元の学習データに対応する情報をそのまま用いるものとする。

また、このように学習データＡである画像データＰａを反転、あるいは回転して得た画像データや、当該画像データＰａにノイズ（ランダムなドット等）を付加した画像データを、画像データＰａとは異なる画像データとして入力する場合において、目の症状に関する情報として、視神経乳頭陥凹縁を表す、人為的に描画された閉曲線を用いるときには、次のようにする。

すなわち正解に相当する視神経乳頭陥凹縁を表す、人為的に描画された閉曲線は、画像データＰａを反転、あるいは回転して得た画像データを学習データとしたときには、当該画像データＰａと同じ変形（反転あるいは回転等）を施したものを用いるものとし、ノイズを付加したときには、元の学習データに対応する情報をそのまま用いるものとする。

本実施の形態では、このような学習処理後の状態にあるニューラルネットワークの情報を、記憶部１２に格納しておく。このニューラルネットワークの情報は、例えばネットワークを介して、あるいはコンピュータ可読かつ非一時的な記録媒体に格納されて提供され、記憶部１２に格納される。

［機械学習結果の他の例］
また本実施の形態の機械学習結果の情報は、ニューラルネットワークの例に限られない。ここでの機械学習結果の情報は、例えばＳＶＭ（Support Vector Machine）やベイズの事後分布の情報や樹木構造を基本とする方法を応用して機械学習したものであってもよい。

これらＳＶＭやベイズの事後分布の情報や樹木構造を基本とする方法を応用して機械学習したものを機械学習結果とする場合、入力する情報としては眼底写真の画像データの画素値を配列したベクトル、または眼底写真の画像データから得られた所定の特徴量の情報（例えば視神経乳頭陥凹縁で囲まれた面積の大きさ等）を用い、また眼底写真に係る目についての所定の症状に関する情報として、緑内障の疑いの有無を表す情報を用いる。

これらの情報を学習データとして用いることで、例えばＳＶＭの機械学習により、緑内障の疑いの有無を識別する識別境界面を特定する情報を得る。また、ベイズ推定の事後分布を、緑内障の疑いの確率として得るためのパラメータや、樹木構造によって緑内障の疑いがあるか否かを判定するクラスタリングのモデルを機械学習する。

［半教師あり学習］
また、本実施の形態の一例では、学習データの一部には、眼底写真に係る目についての所定の症状に関する情報が関連付けられていない、眼底写真の画像データが含まれてもよい。

このような学習データを用いた機械学習方法は、半教師あり学習（semi-supervised Learning）として広く知られているので、ここでの詳しい説明を省略する。

［制御部の動作］
次に、本実施の形態の制御部１１の動作について説明する。本実施の形態に係る制御部１１は、図３に例示するように、受入部２１と、推定部２２と、出力部２３とを機能的に含む。

受入部２１は、処理の対象となる眼底写真の画像データを受け入れ、推定部２２に出力する。ここで受入部２１が受け入れる眼底写真の画像データもまた、散瞳または無散瞳で撮像された二次元の眼底写真でよいが、少なくとも視神経乳頭の像が含まれるものとする。なお、眼底写真は、少なくとも視神経乳頭の像が含まれるのであれば、医療用の専門のカメラではなく、一般的なカメラ（スマートフォン等のカメラを含む）にて撮像されたものであってもよい。

推定部２２は、受入部２１が受け入れた画像データに基づく入力データを入力したときの、記憶部１２に格納されている機械学習結果を利用した出力を取得する。推定部２２は、ここで取得した機械学習結果を利用した出力に基づいて、処理の対象となった眼底写真に係る目についての、所定の症状に関する情報を推定する。

一例として、既に述べた例のように機械学習結果がニューラルネットワークであり、所定の症状に関する情報が視神経乳頭陥凹縁の位置を表す曲線とする場合、推定部２２は、視神経乳頭陥凹縁の位置を表す曲線が通過する画素の群を推定することとなる。

出力部２３は、当該推定の結果を出力する。具体的にこの出力部２３は、推定部２２が視神経乳頭陥凹縁の位置を表す曲線が通過する画素の群を推定した場合、受入部２１が受け入れた眼底写真の画像データに、推定の結果となった画素の群に含まれる各画素を強調表示した像を重ね合わせて表示する（図４）。なお、図４では視神経乳頭部を拡大した例を示している。

また推定部２２が、機械学習結果を利用した出力に基づいて、処理の対象となった眼底写真に係る目についての、所定の症状に関する情報として、緑内障と診断される確率を表す情報を推定する場合、出力部２３は、当該推定の結果である数値を出力することとすればよい。

［動作］
本実施の形態の画像処理装置１は、基本的には以上の構成を備えており、次のように動作する。本実施の形態の画像処理装置１のある例では、残差ネットワークを用い、図２（ａ）に例示した眼底写真の画像データと、当該画像データに対して人為的に描画された視神経乳頭陥凹縁を表す閉曲線が通過する各画素の位置を表すデータとを学習データとし、眼底写真の画像データを入力したときの出力として、当該閉曲線の各画素の位置を表す情報がベクトルとして得られるよう学習処理したニューラルネットワークを記憶部１２に格納している。

利用者が推定の処理の対象（緑内障症状の有無を推定する処理の対象）となる眼底写真の画像データを画像処理装置１に入力すると、画像処理装置１は、当該画像データを受け入れ、当該受け入れた画像データに基づく入力データを入力したときの、記憶部１２に格納されているニューラルネットワークの出力を取得する。

画像処理装置１は、ここで取得したニューラルネットワークの出力として、処理の対象となった眼底写真に係る目についての、視神経乳頭陥凹縁の位置を表す曲線が通過する画素の群を推定した結果を得る。そして画像処理装置１は、受け入れた眼底写真の画像データに、推定の結果となった画素の群に含まれる各画素を強調表示した像を重ね合わせて表示出力する（図４）。

この表示された画像に表された視神経乳頭陥凹縁の形状により、利用者が緑内障の症状の有無を判断する。

本実施の形態のこの例によると、二次元的な眼底画像に基づいて、比較的簡便に緑内障の可能性の有無を検出できる。

［前処理］
また本実施の形態の画像処理装置１の記憶部１２が保持する機械学習結果は、次のように学習処理されたものであってもよい。すなわち学習データとして図２（ｂ）に例示するように、眼底写真の画像データのうち、視神経乳頭部に相当する画像の範囲を特定し、当該特定した画像範囲を含む部分画像データを抽出したものを用いてもよい。

具体的に、眼底写真において視神経乳頭部は、他の部分（視神経乳頭に相当する部分以外の部分）の像よりも比較的明度の高い領域として撮像されるため、学習処理を行うコンピュータは、互いに隣接する一対の画素の画素値同士を比較して、予め定めたしきい値より大きい差となる一対の画素を見いだす（いわゆる輪郭線検出処理）。そして学習処理を行うコンピュータは、当該見いだした画素のうち輝度が比較的低い側の画素を視神経乳頭部の輪郭線として検出することとしてもよい。

学習処理を行うコンピュータでは、検出した視神経乳頭部の輪郭線に外接する正方形の情報を生成し、この正方形内の画像部分が所定のサイズ（例えば３２×３２画素）となるよう画像データを縮小・拡大変換する。次に、生成した正方形の中心を中心とした、上記所定のサイズより大きいサイズの正方形の範囲（例えば６４×６４画素の範囲）を切り出す。このとき、切り出そうとする部分に、元の画像データに含まれない部分がある場合は、当該部分は黒色の画素でパディングして、入力データとする（図２（ｂ））。

この学習処理を行うコンピュータはさらに、コントラストを正規化するため、変換後の画像データ（パディング前の画像データとする）について平均画素値を演算して変換後の画像データの各画素の値から差し引く処理を行ってもよい。

また、学習処理を行うコンピュータは、上記処理を行った眼底写真の画像データに対する緑内障の疑いの有無を表す情報や、人為的に描画された視神経乳頭陥凹縁を表す閉曲線の情報など、眼底写真に係る目についての、所定の症状に関する情報を得る。

なお、眼底写真に係る目についての、所定の症状に関する情報として、人為的に描画された視神経乳頭陥凹縁を表す閉曲線のように、眼底写真の画像データ上に重ね合わせて描画できる情報を用いる場合、当該眼底写真に係る目についての、所定の症状に関する情報である画像データについても、眼底写真の画像データの拡大縮小変換及び切り出しと同じ変換を行う。例えば、人為的に描画された視神経乳頭陥凹縁を表す閉曲線が通過する各画素の位置を表すデータについても、画像データの拡大縮小変換及び切り出しと同じ変換を行って、変換後の画像データの対応する画素の位置のデータに変換する。この変換処理は、拡大縮小変換、及び切り出し処理という広く知られた方法により行うことができるものであるため、ここでの詳しい説明は省略する。

そして学習処理を行うコンピュータは、例えば６４×６４次元のデータを入力とし、３２×３２次元のベクトルを出力する残差ネットワークに対して、入力データとした、視神経乳頭部に相当する画像を含む部分画像データを入力し、その出力を、入力データに対応する視神経乳頭陥凹縁を表す閉曲線の情報で学習処理するなど、学習処理を実行する。このような学習処理も、機械学習の態様に応じて、バックプロパゲーション等の広く知られた処理などにより行うことができる。

この例により学習処理して得られた残差ネットワークは、視神経乳頭部に相当する画像を含む部分画像データを入力したときに、視神経乳頭部に相当する画像を含む部分画像データ内で、視神経乳頭陥凹縁が通過する画素を推定した結果を出力するものとなる。

この例では、制御部１１は、推定部２２の処理として次のような動作を行う。すなわち、本実施の形態のこの例の推定部２２では、受入部２１が受け入れた画像データから、視神経乳頭部に相当する画像の範囲を特定し、当該特定した画像範囲を含む、受け入れた画像データの一部である部分画像データを抽出し、当該抽出した部分画像データを入力データとして、記憶部１２に格納したニューラルネットワークに入力して、視神経乳頭陥凹縁を表す閉曲線の情報の推定結果を得る。

またこのとき、特定した画像範囲が、画像内の予め定めた位置となるよう、部分画像データを抽出する。

すなわち、推定部２２は、受入部２１が受け入れた眼底写真の画像データについて輪郭線検出処理を行い、互いに隣接する一対の画素であって、各画素値の差が予め定めたしきい値より大きい差となる一対の画素を見いだし、当該見いだした画素のうち輝度が比較的低い側の画素を視神経乳頭部の輪郭線として検出する。

そして推定部２２は、検出した視神経乳頭部の輪郭線に外接する正方形の情報を生成し、この正方形内の画像部分が所定のサイズ（例えば３２×３２画素）となるよう画像データを縮小・拡大変換する。次に、生成した正方形の中心を中心とした、上記所定のサイズより大きいサイズの正方形の範囲（例えば６４×６４画素の範囲）を切り出す。このとき、切り出そうとする部分に、元の画像データに含まれない部分がある場合は、当該部分は黒色の画素でパディングして、入力データとする（図２（ｂ）と同様）。これにより、視神経乳頭部に相当する画像の範囲を含み、当該範囲が画像内の予め定めた位置となる部分画像データが抽出される。

推定部２２は、ここで抽出した部分画像データを、記憶部１２に格納されているニューラルネットワークに入力して、その出力を取得する。推定部２２は、ここで取得したニューラルネットワークの出力に基づいて、処理の対象となった眼底写真に係る目についての、所定の症状に関する情報を推定する。ここでの例では、所定の症状に関する情報は、視神経乳頭陥凹縁の位置を表す曲線としているので、推定部２２は、視神経乳頭陥凹縁の位置を表す曲線が通過する画素の群を推定することとなる。出力部２３は、当該推定の結果を出力する。具体的にこの出力部２３は、受入部２１が受け入れた眼底写真の画像データに、推定の結果となった画素の群に含まれる各画素を強調表示した像を重ね合わせて表示する（図４）。

また、視神経乳頭陥凹縁を表す閉曲線の情報ではなく、緑内障と診断される確率を表す情報を用いて学習処理を行うコンピュータは、例えば６４×６４次元のデータを入力とし、１次元のスカラ量を出力するニューラルネットワークに対して、入力データとした、視神経乳頭部に相当する画像を含む部分画像データを入力し、その出力を、入力データに対応する緑内障と診断される確率を表す情報（例えば複数人の眼科医に対して、当該入力データである眼底写真を提示したときに、緑内障と診断した医師の割合）で学習処理するなどして、学習処理を実行する。この学習処理も、機械学習の態様に応じて、バックプロパゲーション等の広く知られた処理などにより行うことができる。

この例により学習処理して得られたニューラルネットワークは、視神経乳頭部に相当する画像を含む部分画像データを入力したときに、緑内障と診断される確率を推定した結果を出力するものとなる。

この例では、制御部１１は、推定部２２の処理として次のような動作を行う。すなわち、本実施の形態のこの例の推定部２２では、受入部２１が受け入れた画像データから、視神経乳頭部に相当する画像の範囲を特定し、当該特定した画像範囲を含む、受け入れた画像データの一部である部分画像データを抽出し、当該抽出した部分画像データを入力データとして、記憶部１２に格納したニューラルネットワークに入力して、緑内障と診断される確率の推定結果を得る。

またこのときも、特定した画像範囲が、画像内の予め定めた位置となるよう、部分画像データを抽出する。

すなわち、推定部２２は、受入部２１が受け入れた眼底写真の画像データについて輪郭線検出処理を行い、互いに隣接する一対の画素であって、各画素値の差が予め定めたしきい値より大きい差となる一対の画素を見いだし、当該見いだした画素のうち輝度が比較的低い側の画素を視神経乳頭部の輪郭線として検出する。

そして推定部２２は、検出した視神経乳頭部の輪郭線に外接する正方形の情報を生成し、この正方形内の画像部分が所定のサイズ（例えば３２×３２画素）となるよう画像データを縮小・拡大変換する。次に、生成した正方形の中心を中心とした、上記所定のサイズより大きいサイズの正方形の範囲（例えば６４×６４画素の範囲）を切り出す。このとき、切り出そうとする部分に、元の画像データに含まれない部分がある場合は、当該部分は黒色の画素でパディングして、入力データとする（図２（ｂ）と同様）。これにより、視神経乳頭部に相当する画像の範囲を含み、当該範囲が画像内の予め定めた位置となる部分画像データが抽出される。

推定部２２は、ここで抽出した部分画像データを、記憶部１２に格納されているニューラルネットワークに入力して、その出力を取得する。推定部２２は、ここで取得したニューラルネットワークの出力に基づいて、処理の対象となった眼底写真に係る目についての、所定の症状に関する情報を推定する。ここでの例では、所定の症状に関する情報は、緑内障と診断される確率としているので、推定部２２は、緑内障と診断される確率を推定することとなる。出力部２３は、当該推定の結果である数値を表示出力する。

［前処理の他の例］
また学習データとして視神経乳頭部に相当する画像の範囲を特定する例に代えて、視神経乳頭部だけでなく、視神経乳頭部と黄斑部とを含む範囲を特定して、当該特定した画像範囲を含む部分画像データを抽出したものを学習データと、処理対象の入力データとに用いてもよい。

一般に緑内障に対応する眼底の変化は視神経乳頭部から黄斑部へ向けて拡大するので、このように視神経乳頭部と黄斑部とを含む範囲を切り出して学習処理の対象とし、また、その学習結果であるニューラルネットワークなど、機械学習結果の入力データとして当該視神経乳頭部と黄斑部とを含む範囲を切り出した画像データを入力して推定処理を実行することで、より多くの情報に基づく推定が可能となる。

さらに、本実施の形態のある例では、学習データに含まれる画像データと、処理対象とする入力データの画像データとにおいて、血管部分を強調する処理を施してもよい。血管部分は、例えば連続した輪郭線から線分の抽出の処理を行って、強調処理を行う。このように血管部分が強調処理された画像データを学習データや入力データとして用いると、視神経乳頭陥凹部近傍での血管の二次元的形状（平面に投影した血管の像の形状）の情報が、緑内障と診断される確率や、視神経乳頭陥凹縁の推定に供されることとなり、学習効率、及び推定結果の正解率を向上できる。

［三次元眼底写真を用いる例］
また、ここまでの説明では、眼底写真の画像データとして二次元の画像データを用いることとしていたが、本実施の形態はこれに限られない。

すなわち本実施の形態のある例では、機械学習の学習用データとして、眼底写真の画像データとともに、眼底の三次元的な情報（膜厚などの情報）を含んでもよい。この例では、例えば眼底写真の画像データと眼底の三次元的な情報（膜厚などの情報）とをニューラルネットワークに入力し、当該眼底写真の画像データと眼底の三次元的な情報を参照した眼科医が当該情報に基づいて緑内障であると診断する確率（複数人の眼科医のうち、緑内障と診断した眼科医の人数の割合など）を正解として、ニューラルネットワークを学習処理する。

［受入部における前処理］
また本実施の形態の一例に係る画像処理装置１は、推定の処理の対象となる画像データについて、推定の処理に十分な画質を有していないものや、そもそも視神経乳頭等の眼底構造が撮影されていないものなど、推定ができないと判断される画像データであるか否かを判断し、推定ができないと判断した場合には推定の処理を行わずに、あるいは推定の処理を行ってその結果とともに、十分な推定ができない旨の情報を利用者に提示してもよい。

一例として本実施の形態の画像処理装置１は、上記の受入部２１の処理として、処理の対象となる画像データの入力を受けて、当該画像データが画質が十分であるかや視神経乳頭等の眼底構造が撮影されているかなどを、クラスタリング処理によって判断する。そして、画質が十分であり、眼底写真である、など、十分な推定ができると判断した場合に、当該入力された画像データを眼底写真の画像データとして受け入れて、推定部２２に出力することとする。

また、十分な推定ができないと判断すると、受入部２１は、推定ができない旨の情報を出力する。

ここで画質は、Ｓ／Ｎ比、二値化したときに白に近い領域が全体に占める割合等を計測することにより判断できる。具体的にＳ／Ｎ比は例えばＰＳＮＲ（Peak Signal-to-Noise Ratio）であり、受入部２１は、入力された画像データと、当該画像データに対して所定のノイズ除去処理を施した画像との間の平均二乗誤差を演算し、最大画素値（０から２５５の２５６段階で画像が表現されているのであれば、２５５）の二乗値をこの平均二乗誤差で除したものの常用対数値（またはその定数倍）として求める（具体的な演算方法は広く知られているので、ここでの詳しい説明は省略する）。そして受入部２１は、平均二乗誤差が「０」またはＰＳＮＲが所定のしきい値（例えば上記常用対数の値が０．８以上に相当する値）を超えるならば、Ｓ／Ｎ比に関わる画質が十分であると判断する。

また二値化したときに白に近い領域が全体に占める割合は、つまり、輝度が高くなりすぎている画素の、全体に占める割合を求めるもので、受入部２１は入力された画像データを、公知の方法でグレイスケールに変換し、さらに最大画素値のα倍（０＜α＜１）の点をしきい値として、当該しきい値よりも大きい（白に近い）画素値となっている画素の画素値を最大画素値（白色）に設定する。このときαの値として比較的１に近い値、例えば０．９５より大きい値とすることで、白に近い領域のみを白色に設定する。また、当該しきい値を下回る画素値となっている画素の画素値は最低画素値（黒色）とする。この受入部２１は、この二値化の結果に含まれる、白色に設定された画素の数を、画像データ全体の画素の数で除して、白に近い領域が全体に占める割合を求める。受入部２１はここで求めた割合の値が、予め定めたしきい値を下回る場合に、画質が十分であると判断する。

また受入部２１は、上記の処理を、入力された画像データの色調を正規化する補正を行ってから実行してもよい。ここで正規化は例えば、（公知の方法で）グレイスケールに変換したときの最大画素値（白色）に最も近い画素値を最大画素値に、最低画素値（黒色）に最も近い画素値を最低画素値にそれぞれ対応するように画素値を変換することで行う。この色補正の方法は広く知られているので、詳しい説明を省略する。

また視神経乳頭等の眼底構造が撮影されているか否かの判断は、例えば視神経乳頭部の像が画像データ中に含まれるか否かにより行うことができる。具体的には、受入部２１は、入力された画像データに対して輪郭線抽出の処理を施したうえで、抽出した輪郭線の画像からハフ変換等の方法を用いて円を検出する。ここで輪郭線抽出や円の検出処理は広く知られた方法を採用できる。

受入部２１は検出した円の数及び大きさが、予め定めた条件を満足するかを調べる。具体的には、受入部２１は、検出した円の数が「１」（視神経乳頭と考えられる円形のみ）であり、大きさ（例えば外接矩形の短辺、つまり円の短径）が所定の値の範囲にあるときに、視神経乳頭の像が含まれると判断する。または受入部２１は、検出した円の数が「２」（視神経乳頭と考えられる円形と、視野全体の境界線と考えられる円形）であり、検出した円のうち、比較的小さい円が、比較的大きい円の内部に内包されており、かつ、比較的小さい円の大きさ（例えば外接矩形の短辺、つまり円の短径）が比較的大きい円の大きさ（例えば外接矩形の短辺、つまり円の短径）に対して所定の比の値の範囲にあるときに、視神経乳頭の像が含まれる（視神経乳頭等の眼底構造が撮影されている）と判断する。

あるいは、受入部２１は、入力された画像データから血管の画像が検出できるか否かにより、視神経乳頭等の眼底構造が撮影されているか否かを判断してもよい。この血管の画像の検出は、例えば杉尾一晃ほか，「眼底写真における血管解析に関する研究 −血管とその交叉部の抽出−」医用画像情報学会雑誌，Vol.16，No.3 (1999)などの方法を採用できる。本実施の形態では受入部２１は、上記の方法等広く知られた方法によって入力された画像データから血管の画像の抽出を試みる。そして抽出を試みた結果、得られた画像に含まれる有意な画素の数（血管の像と判断される画素の数）が、全体の画素数に対して占める割合が予め定めた値の範囲にあるときに、血管が検出可能であると判断して、視神経乳頭等の眼底構造が撮影されていると推定する。

さらに受入部２１は、視神経乳頭等の眼底構造が撮影されているか否かを判別するよう機械学習したニューラルネット（以下、事前判定用ニューラルネットと呼ぶ）を用いてもよい。一例としてこのような事前判定用ニューラルネットはＣＮＮ（畳み込みネットワーク）や残差ネットワーク等を用いて実現され、視神経乳頭等の眼底構造が撮影されている眼底写真の画像データと。視神経乳頭等の眼底構造が撮影されていない画像データ（例えば眼底写真でない画像データ）とをそれぞれ複数入力し、視神経乳頭等の眼底構造が撮影されているときには視神経乳頭等の眼底構造が撮影されている旨の出力を行い、視神経乳頭等の眼底構造が撮影されていないときには視神経乳頭等の眼底構造が撮影されていない旨の出力を行うように教師つきの機械学習をしておく（このような機械学習処理は広く知られた方法を採用できるため、詳細な説明は省略する）。そして受入部２１は、入力された画像データを、この事前判定用ニューラルネットに入力可能なデータに変換し（サイズを変える等）、当該変換したデータをこの事前判定用ニューラルネットに入力して、その出力を参照し、当該出力が視神経乳頭等の眼底構造が撮影されている旨の出力であるときに、入力された画像データが眼底写真であると判断して受け入れることとしてもよい。

また、ここでは推定部２２が用いるニューラルネットワークのほかに、事前判定用ニューラルネットを別途用いる場合を例としたが、推定部２２が用いるニューラルネットワークが事前判定用ニューラルネットを兼ねてもよい。

この場合、推定部２２が用いるニューラルネットワークは、予め眼底写真と分かっている画像データを複数入力し、当該画像データのそれぞれが目について所定の症状にある旨の確率（例えば緑内障であると診断する医師の割合等）と、所定の症状にはない旨の確率（例えば緑内障でないと診断する医師の割合）とを教師データとして機械学習しておくものとする。このようにすると、当該ニューラルネットワークは、入力された画像データに対して当該画像データが目の眼底写真であった場合に、所定の症状にある旨の確率と、所定の症状にはない旨の確率とをともに推定することとなる。

この例では、受入部２１は、入力された画像データをそのまま推定部２２に出力し、推定部２２が出力する情報である、所定の症状にある旨の確率Ｐpと、所定の症状にはない旨の確率Ｐnとを参照し、これらの確率Ｐp，Ｐnがいずれも予め定めたしきい値を下回る場合（例えばいずれも４０％未満である場合）や、これらの確率の差の絶対値｜Ｐp−Ｐn｜が所定のしきい値を下回る（つまりこれらの確率Ｐp，Ｐnの差が所定のしきい値より小さい）場合など、予め定めた条件を満足することとなる場合に、推定ができないと判断して、その旨の情報を出力することとしてもよい。

またこの予め定めた条件が満足されない場合（推定ができたと判断できる場合）は、推定部２２の出力を、出力部２３に出力することとしてもよい。

さらに受入部２１は、これらの判断を組み合わせて用いてもよい。例えば、受入部２１は、入力された画像データのＳ／Ｎ比を調べ、Ｓ／Ｎ比が予め定めた値よりも大きい（ノイズが比較的少ない）と判断されるときに、さらに当該画像データのうちから視神経乳頭部が抽出できるかを試みる。そして受入部２１は、視神経乳頭部が抽出できたと判断できたときに、推定部２２に対して当該画像データを出力することとしてもよい。

このように、本実施の形態の一例では、推定部２２による推定を出力する前に、推定部２２が十分な推定ができる画像データを受け入れたかを判断し、十分な推定ができると判断できた場合に、推定部２２による推定結果を出力することとしているので、推定が十分にできない画像データに対しての推定結果を出力してしまうことがなくなる。

１ 画像処理装置、１１ 制御部、１２ 記憶部、１３ 操作部、１４ 表示部、１５ 入出力部、２１ 受入部、２２ 推定部、２３ 出力部。

Claims (8)

1. 眼底写真の画像データを入力データとし、当該入力データである各眼底写真と、当該眼底写真に係る目についての緑内障の疑いの有無を表す情報とを互いに関連付けた情報を含む学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を機械学習した状態にある機械学習結果を保持する保持手段と、
   画像データの入力を受け入れ、当該入力された画像データについて予め定めた条件を満足するか否かを判別し、前記条件を満足する画像データを、処理の対象となる眼底写真の画像データとして受け入れる受入手段と、
   前記受け入れた画像データを入力データとして、前記機械学習結果を用いて、処理の対象となった眼底写真に係る目についての前記目の症状に関する情報を推定する推定手段と、
   当該推定の結果を出力する手段と、
   を含み、
   前記目の症状に関する情報は、
   前記処理の対象となった眼底写真に係る目について緑内障と診断される確率を表す情報であり、
   前記入力された画像データについて予め定めた条件には、画質に関する条件を含む画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記条件には、眼底構造が撮影されているか否かに係る条件が含まれ、
   前記受入手段は、前記入力された画像データに視神経乳頭部の像が含まれるか否かにより、当該画像データに眼底構造が撮影されているか否かを判断する画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記受入手段は、前記入力された画像データから抽出した輪郭線のうち、円形状の輪郭線を検出し、当該検出した円形状の輪郭線の数が１であり、その大きさが所定の値の範囲にあるときに、前記入力された画像データに視神経乳頭部の像が含まれると判断する画像処理装置。
4. 請求項１から３のいずれか一項に記載の画像処理装置であって、
   前記入力データである眼底写真に係る目について緑内障の疑いの有無を表す情報は、当該眼底写真を参照した眼科医により判断された情報である画像処理装置。
5. 眼底写真の画像データを入力データとし、当該入力データである各眼底写真に対応する目の症状に関する情報とを互いに関連付けた情報を含む学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を機械学習した状態にある機械学習結果を保持する保持手段と、
   処理の対象となる眼底写真の画像データを入力データとして受け入れる受入手段と、
   前記受け入れた入力データとしての画像データと、前記機械学習結果とを用いて、処理の対象となった眼底写真に係る目についての前記目の症状に関する情報を推定する推定手段と、
   当該推定の結果を出力する手段と、
   を含み、
   前記目の症状に関する情報は、
   処理の対象となった眼底写真における視神経乳頭陥凹縁を表す曲線の情報である画像処理装置。
6. 請求項１から５のいずれか一項に記載の画像処理装置であって、
   前記推定手段は、前記受入手段が受け入れた画像データから、視神経乳頭部に相当する画像の範囲を特定し、当該特定した画像範囲を含む、前記受け入れた画像データの一部である部分画像データを抽出し、当該抽出した部分画像データと、前記機械学習結果とを用いて、処理の対象となった眼底写真に係る目についての前記目の症状に関する情報を推定する画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記推定手段は、前記特定した画像範囲が、画像内の予め定めた位置となるよう、前記部分画像データを抽出する画像処理装置。
8. コンピュータを、
   眼底写真の画像データを入力データとし、当該入力データである各眼底写真と、当該眼底写真に対応する、眼底写真に係る目についての緑内障の疑いの有無を表す情報とを互いに関連付けた情報を含む学習用データを用いて、眼底写真の画像データと、目の症状に関する情報との関係を機械学習した状態にある機械学習結果を保持する保持手段と、
   画像データの入力を受け入れ、当該入力された画像データについて予め定めた条件を満足するか否かを判別し、前記条件を満足する画像データを、処理の対象となる眼底写真の画像データとして受け入れる受入手段と、
   前記受け入れた画像データを入力データとして、前記機械学習結果を用いて、処理の対象となった眼底写真に係る目についての前記目の症状に関する情報を推定する推定手段と、
   当該推定の結果を出力する手段と、
   として機能させるプログラムであって、
   前記目の症状に関する情報は、
   前記処理の対象となった眼底写真に係る目について緑内障と診断される確率を表す情報であり、
   前記入力された画像データについて予め定めた条件には、画質に関する条件を含むプログラム。

Images