JP7778334B2 - 内視鏡用診断プログラム、内視鏡用診断装置、内視鏡用診断装置の制御方法および内視鏡診断用学習済みモデル生成プログラム - Google Patents

Description

本発明は、内視鏡装置で撮影された内視鏡画像により病変の有無を診断するための、内視鏡用診断プログラム、内視鏡用診断装置、内視鏡用診断装置の制御方法および内視鏡診断用学習済みモデル生成プログラムに関するものである。

潰瘍性大腸炎は、大腸の粘膜に慢性的な炎症が生じる病気であり、発症すると発熱、腹痛、下痢、血便（便に血液が混ざる）などの症状が現れる難病の１つである。重症化すると、発熱、体重減少、貧血など全身にさまざまな症状が引き起こされる。よって、早期に発見し適切な処置を行う必要がある。

潰瘍性大腸炎の診断には、一般的に内視鏡装置が用いられる。医師は、照明光を診断対象部位に照射し、内視鏡装置で撮影された内視鏡画像を見て炎症や潰瘍の有無を診断する。しかしながら、このような目視による診断は医師の技量や経験が大きく影響する。また、初期の潰瘍性大腸炎で正常な組織との見分けがつかなかったり、炎症にもキャンピロバクター腸炎など他の感染性腸炎などがあるため、専門医であっても正確な診断が困難である。

そこで、内視鏡画像による診断をより正確に行える装置の開発が進められている。例えば、特開２０２２－６０５４０号公報では、特定のスペクトル光（いわゆる狭帯域光）を診断対象部位に照射し、撮影した画像を用いて病変の有無や種類、進行度などを識別することのできる内視鏡装置が提案されている（特許文献１）。

特開２０２２－６０５４０号公報

しかしながら、特許文献１に記載された発明においては、特定のスペクトル光を用いるために高額な装置となっており一般には広く普及していない。

ところで、特定のスペクトルに限定しない、照明光（例えば白色光）により撮影することのできる内視鏡装置は、一般的に広く普及している。よって、これまでに特定のスペクトルに限定しない光、特に白色光により撮影された内視鏡画像は大量に蓄積されている。

また、近年では、ＡＩ技術の進歩により、画像を機械学習させて、画像内の異常などを検知することができるようになっている。このため、これまでに蓄積された内視鏡画像を機械学習させることで、病変の有無などを自動的に診断できる装置の開発が期待されている。

しかし、内視鏡画像は、撮影した機種によって色調や画質が異なる。そのため、内視鏡画像は大量に蓄積されているものの、異なる内視鏡装置で撮影された画像全てを用いて機械学習をさせても高い精度の診断はできていない。

機種毎に機械学習させることも可能であるが、機械学習させる画像の数は減ってしまう。また、内視鏡装置を入れ替える毎に機械学習させ直す必要があり、入れ替え直後には画像の枚数も少ないため高い精度が期待できない。さらに、ある程度の枚数が蓄積されて機械学習させた頃には、また新たな内視鏡装置へ入れ替える時期がきて、一からやり直さなければならないという悪循環に陥ってしまう。

本発明は、以上のような問題点を解決するためになされたものであって、これまでに蓄積された内視鏡画像を活用し、内視鏡装置の機種を限定することなく病変の有無を診断することのできる、内視鏡用診断プログラム、内視鏡用診断装置、内視鏡用診断装置の制御方法および内視鏡診断用学習済みモデル生成プログラムを提供することを目的としている。

本発明に係る内視鏡用診断プログラムは、異なる内視鏡装置で撮影された画像を用いて病変の有無を診断できるようにするという課題を解決するために、内視鏡装置で撮影された内視鏡画像に基づいて病変の有無を診断する内視鏡用診断プログラムであって、内視鏡装置で撮影された診断対象部位の診断用画像を取得する診断用画像取得部と、事前に内視鏡装置で撮影された診断対象部位の画像の色調である基準色調に合わせて前記診断用画像を色調補正する色調補正部と、前記基準色調によって色調補正した複数枚の学習用画像を機械学習させて生成した学習済みモデルに対して、補正後の前記診断用画像を入力し、その出力結果から病変の有無を診断処理する病変有無診断部としてコンピュータを機能させる。

また、本発明の一態様として、画像間の画質を一定の範囲にして診断精度をより高めるという課題を解決するために、前記色調補正部が、前記診断用画像を前記色調補正するとともに高画質化処理を行い、前記病変有無診断部が、前記色調補正部と同じ前記色調補正および前記高画質化処理を行った前記学習用画像を機械学習させて生成された前記学習済みモデルによって病変の有無を診断処理するようにしてもよい。

さらに、本発明の一態様として、大量に蓄積されている病変の映り込んでいない画像を用いて病変の有無を診断できるようにするという課題を解決するために、前記病変有無診断部が、画像の異常検知アルゴリズムに、前記基準色調で補正されかつ病変の映り込んでいない複数枚の前記学習用画像を機械学習させて生成された学習済みモデルに対して、補正後の前記診断用画像を入力し、その出力結果として前記診断用画像の異常が検出されたときに病変があると診断するようにしてもよい。

また、本発明の一態様として、病変の映り込みの有無にかかわらず蓄積されている画像を用いて病変の有無を診断できるようにするという課題を解決するために、前記病変有無診断部が、画像の特徴量を検知するアルゴリズムに、前記基準色調で補正されかつ病変の映り込んでいない複数枚の前記学習用画像と、前記基準色調で補正されかつ病変の映り込んでいる複数枚の前記学習用画像とを機械学習させて生成された学習済みモデルに対して、補正後の前記診断用画像を入力し、その出力結果として前記診断用画像の特徴量が所定の値以上と判別されたときに病変があると診断し、前記診断用画像の特徴量が前記所定の値未満と判別されたときに病変がないと診断するようにしてもよい。

本発明に係る内視鏡用診断装置は、異なる内視鏡装置で撮影された画像を用いて病変の有無を診断できるようにするという課題を解決するために、内視鏡装置で撮影された内視鏡画像に基づいて病変の有無を診断する内視鏡用診断装置であって、内視鏡装置で撮影された診断対象部位の診断用画像を取得する診断用画像取得部と、事前に内視鏡装置で撮影された診断対象部位の画像の色調である基準色調に合わせて前記診断用画像を色調補正する色調補正部と、前記基準色調によって色調補正した複数枚の学習用画像を機械学習させて生成した学習済みモデルに対して、補正後の前記診断用画像を入力し、その出力結果から病変の有無の診断処理する病変有無診断部とを有する。

本発明に係る内視鏡用診断装置の制御方法は、異なる内視鏡装置で撮影された画像を用いて病変の有無を診断できるようにするという課題を解決するために、内視鏡装置で撮影された内視鏡画像に基づいて病変の有無を診断する内視鏡用診断装置の制御方法であって、内視鏡装置で撮影された診断対象部位の診断用画像を取得する診断用画像取得ステップと、事前に内視鏡装置で撮影された診断対象部位の画像の色調である基準色調に合わせて前記診断用画像を色調補正する色調補正ステップと、前記基準色調によって色調補正した複数枚の学習用画像を機械学習させて生成した学習済みモデルに対して、補正後の前記診断用画像を入力し、その出力結果から病変の有無の診断処理する病変有無診断ステップとを有する。

本発明に係る内視鏡診断用学習済みモデル生成プログラムは、異なる内視鏡装置で撮影された画像を用いて病変の有無を診断可能な学習済みモデルを生成するという課題を解決するために、内視鏡装置で撮影された内視鏡画像に基づき病変の有無を診断する内視鏡用診断で用いられる学習済みモデルを生成する内視鏡診断用学習済みモデル生成プログラムであって、内視鏡装置で撮影された診断対象部位の複数枚の学習用画像を取得する学習用画像取得部と、事前に内視鏡装置で撮影された診断対象部位の画像の色調である基準色調に合わせて前記各学習用画像を色調補正する色調補正部と、機械学習アルゴリズムを用いて複数の学習済みモデルを生成する学習済みモデル生成部と、生成された前記各学習済みモデルに病変の有無が検証済みである検証用の画像を入力して正答率の最も高い前記学習済みモデルを内視鏡診断に用いる学習済みモデルに決定する学習済みモデル決定部としてコンピュータを機能させる。

また、本発明の一態様として、病変の映り込んでいる学習用画像を用いる場合の診断精度を向上させるという課題を解決するために、前記色調補正部は、前記学習用画像に病変の映り込んでいる場合には、前記病変の存在範囲以外の範囲に前記基準色調による色調補正を実行するようにしてもよい。

さらに、本発明の一態様として、擬似的に学習用画像を増やし、診断精度をより向上させるという課題を解決するために、前記色調補正部により補正された前記学習用画像を任意のアフィン変換させるアフィン変換部としてコンピュータを機能させるとともに、前記学習済みモデル生成部は、前記色調補正部により補正された前記学習用画像とともに前記アフィン変換部により変換された前記学習用画像を機械学習させて学習済みモデルを生成するようにしてもよい。

本発明によれば、これまでに蓄積された内視鏡画像を活用し、内視鏡装置の機種を限定することなく病変の有無を診断することができる。

本発明に係る内視鏡用診断装置の第一実施形態を示すブロック図である。 本第一実施形態の内視鏡診断用学習済みモデル生成プログラムの処理フローを示すフローチャート図である。 本第一実施形態の内視鏡用診断プログラムの処理フローを示すフローチャート図である。 実施例１における学習済みモデルの生成および診断精度の検証に用いた層化５分割交差検証の学習用画像（訓練データ）およびテストデータの組み合わせを示す模式図である。

以下、本発明に係る内視鏡用診断プログラム、内視鏡用診断装置、内視鏡用診断装置の制御方法および内視鏡診断用学習済みモデル生成プログラムの第一実施形態について図面を用いて説明する。

内視鏡用診断装置１は、内視鏡装置２０で撮影された内視鏡画像を入力することで、自動的に病変の有無を診断するものであり、本第一実施形態では、図１に示すように、主として、表示手段２と、入力手段３と、記憶手段５および演算処理手段６を備えたコンピュータ４とにより構成されている。内視鏡用診断装置１は、内視鏡装置２０と画像データを受信可能な状態で接続されている。

本第一実施形態の内視鏡用診断装置１は、内視鏡診断用学習済みモデル生成プログラム１０ａによって内視鏡診断用学習済みモデルを生成する機能を兼ね備えている。

また、内視鏡装置２０は、一般的な医療用の内視鏡カメラ２１を備えた装置であって、照明光（例えば白色光）で撮影された内視鏡画像を出力し、内視鏡用診断装置１に送信できるように接続されている。

なお、本第一実施形態では、内視鏡用診断装置１と内視鏡装置２０とを別装置として構成しているが、内視鏡用診断装置１および内視鏡装置２０を一体化した装置として構成してもよい。

以下、内視鏡用診断装置１の各構成について詳細に説明する。

表示手段２は、液晶ディスプレイ等で構成されており、ユーザに各種の情報を表示するものであり、例えば、演算条件などを入力するための入力画像や、演算処理により診断された診断結果等を表示する。

入力手段３は、マウスやキーボード等で構成されており、ユーザによる各種の選択や指示を入力するものであり、本実施形態では、演算条件などの入力に用いられる。

なお、本第一実施形態では、表示手段２および入力手段３をそれぞれ別個に有しているが、この構成に限定されるものではなく、タッチパネルのように表示機能および入力機能を兼ね備えた表示入力手段により構成してもよい。

コンピュータ４は、内視鏡用診断プログラム１ａおよび内視鏡診断用学習済みモデル生成プログラム１０ａを実行処理するための装置であり、本実施形態では、図１に示すように、記憶手段５および演算処理手段６を備えている。また、コンピュータ４は、図示しないが、演算処理手段６等への給電を行う電源装置やＬＡＮ（Local area network）、Ｗｉ－Ｆｉ（Wireless Fidelity）およびBluetoothなどの通信手段などを備えている。

記憶手段５は、各種のデータを記憶するとともに、演算処理手段６が演算処理を行う際のワーキングエリアとして機能するものである。本実施形態において、記憶手段５は、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等で構成されており、図１に示すように、プログラム記憶部５１と、機械学習に用いる学習用画像を記憶する学習用画像記憶部５２と、色調補正に用いられる基準色調を記憶する基準色調記憶部５３と、内視鏡診断用学習済みモデル生成プログラム１０ａによって生成された学習済みモデルを記憶する学習済みモデル記憶部５４と、診断に用いる診断用画像を記憶する診断用画像記憶部５５とを有する。

プログラム記憶部５１には、内視鏡装置２０で撮影された内視鏡画像を取得して病変の有無を診断するための内視鏡用診断プログラム１ａと、この内視鏡用診断プログラム１ａで用いられる学習済みモデルを生成する内視鏡診断用学習済みモデル生成プログラム１０ａとがインストールされている。そして、演算処理手段６が内視鏡用診断プログラム１ａおよび内視鏡診断用学習済みモデル生成プログラム１０ａを実行することにより、コンピュータ４を後述する各構成部として機能させるようになっている。

なお、内視鏡用診断プログラム１ａおよび内視鏡診断用学習済みモデル生成プログラム１０ａの利用形態は、上記構成に限られるものではない。例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等のように、コンピュータ４で読み取り可能な非一時的な記録媒体に内視鏡用診断プログラム１ａおよび内視鏡診断用学習済みモデル生成プログラム１０ａを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ等からクラウドコンピューティング方式やＡＳＰ（Application Service Provider）方式で内視鏡用診断プログラム１ａおよび内視鏡診断用学習済みモデル生成プログラム１０ａを利用してもよい。

学習用画像記憶部５２は、内視鏡診断用学習済みモデル生成プログラム１０ａによって内視鏡診断用の学習済みモデルを生成するための学習用画像を記憶する記憶エリアであり、本第一実施形態では、これまでに複数種の内視鏡装置により白色光を含む様々な照明光で撮影されて蓄積されてきた複数枚の学習用画像（生画像）、後述する色調補正部６２により補正された補正後の学習用画像（色調補正画像）及び補正後の学習用画像をアフィン変換した後の学習用画像（アフィン変換画像）を記憶するようになっている。

また、本第一実施形態における学習用画像は、複数種の内視鏡装置で撮影された診断対象部位の画像であり、予め病変の映り込んでいないことが確認されている画像を用いている。学習用画像を撮影する際に用いたれる照明光は、特に限定されるものでは無いが、本第一実施形態では、特定のスペクトル光に限定されていない、いわゆる白色光により撮影された画像である。

基準色調記憶部５３は、色調補正する際の基準となる基準色調を記憶する記憶エリアである。本第一実施形態における基準色調は、事前に任意の内視鏡装置で撮影された画像を解析して取得されたＲＧＢ値などに基づく色分布である。色分布の取得には、既存のプログラムコードやオリジナルのプログラムコードを用いることができる。既存のプログラムコードとしては、Hue analysisやK-means clustering、Color histograms、Convolutional neural networks、Principal component analysis、Self-organizing maps、Gaussian Mixture Models、Support Vector Machines、Decision Trees、OpenCV、matplotlibなどに基づく技術を用いることができる。また、画像処理ソフトウエアにおける色相分析ツールを利用することもできる。

なお、基準色調は、ＲＧＢ値などに基づく色分布のみに限定されるものではなく、色の濃淡や明暗（コントラスト）、強弱（明るさ）などに基づく数値を用いることもできる。

学習済みモデル記憶部５４は、内視鏡診断用学習済みモデル生成プログラム１０ａによって生成された学習済みモデルを記憶する記憶エリアである。本第一実施形態では、学習済みモデル生成部６４によって生成された複数の学習済みモデル（候補モデル）及び学習済みモデル決定部６５により決定された内視鏡診断に用いる学習済みモデル（診断モデル）を記憶するようになっている。

診断用画像記憶部５５は、病変の有無を診断したい診断用画像を記憶する記憶エリアであり、本第一実施形態では、内視鏡装置２０から取得された診断用画像（生画像）及び色調補正部６７により補正された補正後の診断用画像（色調補正画像）を記憶するようになっている。内視鏡装置２０から取得された診断用画像（生画像）は内視鏡カメラ２１によりリアルタイムに撮影された画像でもよく、内視鏡カメラ２１により予め撮影された画像でもよい。また、診断用画像を撮影する際に用いたれる照明光は、特に限定されるものでは無いが、本第一実施形態では、特定のスペクトル光に限定されていない、いわゆる白色光により撮影された画像を用いている。

演算処理手段６は、ＣＰＵ（Central Processing Unit）等で構成されており、プログラム記憶部５１にインストールされた内視鏡診断用学習済みモデル生成プログラム１０ａを実行することにより、学習用画像取得部６１、色調補正部６２、アフィン変換部６３、学習済みモデル生成部６４および学習済みモデル決定部６５として機能するとともに、内視鏡用診断プログラム１ａを実行することにより、診断用画像取得部６６、色調補正部６７および病変有無診断部６８として機能するようになっている。

学習用画像取得部６１は、内視鏡装置で撮影された診断対象部位の複数枚の学習用画像を取得するものであり、本第一実施形態では、学習用画像記憶部５２に記憶されている学習用画像（生画像）、補正後の学習用画像（色調補正画像）及びアフィン変換した後の学習用画像（アフィン変換画像）を適宜取得するようになっている

色調補正部６２は、学習用画像取得部６１が取得したこれまでに蓄積されてきた学習用画像（生画像）の色調補正を行い、補正後の学習用画像（色調補正画像）を学習用画像記憶部５２に記憶させるものである。

本第一実施形態における色調補正部６２は、基準色調記憶部５３から基準色調を取得して各学習用画像を前記基準色調に色調補正するとともに、前記各学習用画像の高画質化処理を実行する。

色調補正は、例えば、基準色調として記憶した色分布を学習用画像の近似する色に当てはめて行う。このような色調補正を行うことで、学習用画像同士の平滑化を行い、機種によって異なる色調や画質の画像を一緒に学習できるようにしている。これにより、これまでに蓄積された画像を有効に利用することができる。このような色調補正には、既存のプログラムコードやオリジナルのプログラムコードを用いることができる。既存のプログラムコードとしては、Histogram Equalization、Retinex Algorithm、Deep Learning Networks、Color Transfer、Automatic white balance、Gamma Correction、Gamma Correction、Color Space Conversion、Style Transferなどが利用できる。また、画像処理ソフトウエアにおける色相補正ツールを利用することもできる。

また、高画質化処理は、例えば、ノイズ除去、画像の平滑化、ぼかし除去、モスキートノイズ補正、シャープ化、類似色の改善、色収差補正および拡大などを実行する。このような高画質化処理により、学習済みモデルの生成を速める（収束化を促進させる）ことができるとともに、画像間の画質を統一化することで生成された学習済みモデルを用いた診断精度も高めることができる。これら高画質化処理については、既存のプログラムコードやオリジナルのプログラムコードを用いることができる。既存のプログラムコードとしてはESRGAN、CUGAN、Cycle GAN、TecoGAN、pix2pix、Super-Resolution Convolutional Neural Network、SRGAN、CodeFormerなどが利用できる。また、画像処理ソフトウエアにおけるノイズ処理ツールやシャープ化ツールなどを利用することもできる。

なお、色調補正部６２による色調補正と高画質化処理の実行順は限定されるものでは無く、いずれを先に実行してもよい。

アフィン変換部６３は、学習用画像記憶部５２から補正後の学習用画像を取得し、アフィン変換を実行し、そのアフィン変換した学習用画像をアフィン変換前の学習用画像とは別の学習用画像として学習用画像記憶部５２に記憶させるものである。

アフィン変換は、画像を回転、拡大・縮小、平行移動、スキューなどの変換するものである。これにより、実際に撮影することなく、撮影角度や内視鏡カメラ先端と診断対象部位との距離および位置の違う画像を擬似的に生成することができる。また、別の画像として記憶させることで、機械学習させる画像数を増やし学習済みモデルの診断精度を高めることができる。

本第一実施形態におけるアフィン変換部６３は、回転角度や拡大・縮小比率、平行移動量、せん断（スキュー）角度を任意に設定できるようになっている。

そして、アフィン変換された各学習用画像は、アフィン変換前の学習用画像とは異なる識別番号や名前を付けることにより、別の学習用画像として学習用画像記憶部５２に記憶される。

学習済みモデル生成部６４は、複数枚の学習用画像を機械学習させて学習済みモデルを生成するものである。本第一実施形態では、学習用画像として、予め画像内に病変の映り込んでいないことが分かっている画像（正常な画像）のみを用いる。一般的に、蓄積されている画像は、病変の映り込んだ異常な画像に比べて、病変の映り込んでいない正常な画像が多いため、多くの画像を機械学習させることができる。

そこで、学習済みモデル生成部６４は、画像の異常検知に用いられる機械学習アルゴリズムを用いて学習済みモデルを生成し、画像に異常がある場合に検知できるようにしている。例えば、パッチコア（Patchcore）などの画像の異常検知に用いられる機械学習アルゴリズムに、複数枚の学習用画像（正常な画像）を訓練データとして機械学習させて、正常な画像（正常データ）の特徴量群（メモリーバンク）を生成する。そして、１枚の学習用画像（訓練データ）を繰り返し学習させる回数（エポック数）などを変えて、複数の学習済みモデル（候補モデル）を生成する。画像の異常検知に用いられる機械学習アルゴリズムとして、パッチコア（Patchcore）以外では、AutoEncodingモデルやAttention-guidance、SPADE、PaDiMなどに基づくアルゴリズムを用いることができる。

また、学習済みモデル生成部６４では、学習の収束速度や学習結果の安定性を高めるため、ノーマライズを行ってもよい。例えば、ノーマライズとして、変換後の画素値 = （変換前の画素値－平均値）／（(標準偏差）のような式を用いて画素値の変換を行う。また、平均値や標準偏差には、従来手法の学習で使用されている値を使うこともできる。本第一実施形態では、平均値=[0.485, 0.456, 0.405]、 標準偏差=[0.229, 0.224, 0.225]を使用している。

学習済みモデル決定部６５は、学習済みモデル生成部６４で生成された学習済みモデルを検証データで確認しながら訓練で学習済みモデルを作成し、検証データで正答率の高いモデルを内視鏡用診断プログラム１ａで用いる学習済みモデル(診断モデル）に決定し、その学習済みモデル(診断モデル）を学習済みモデル記憶部５４に記憶させるものである。

本第一実施形態における学習済みモデル決定部６５は、学習済みモデル生成部６４で生成された複数の学習済みモデル（候補モデル）ごとに、病変の有無が検証済みである検証用の画像を入力し、出力として得た結果が検証用の画像に合致するかどうか（正解か否か）を確認する。そして、確認した出力結果の正答率の最も高い前記学習済みモデル（候補モデル）を内視鏡診断に用いる学習済みモデル(診断モデル）に決定する。

次に、内視鏡用診断プログラム１ａにより実行される各部について説明する。

診断用画像取得部６６は、内視鏡装置２０で撮影された診断対象部位の診断用画像を取得するものである。診断用画像は内視鏡装置２０から直接取得することもでき、診断用画像記憶部５５に記憶された診断用画像を取得することもできる。

色調補正部６７は、内視鏡装置２０または診断用画像記憶部５５から取得された診断用画像（生画像）の色調補正を行い、補正後の診断用画像（色調補正画像）を診断用画像記憶部５５に記憶させるものである。

ここで実行させる色調補正は、基準色調などに基づき学習済みモデルの生成に用いた学習用画像の色調補正と同じ色調補正を行う。このように診断用画像に対し、学習済みモデルの生成と同じ色調補正をすることで、学習用画像や機種により異なる画質および色調を統一化し、診断精度を高めている。

病変有無診断部６８は、学習済みモデル記憶部５４に記憶されている学習済みモデルに、色調補正部６７により補正した補正後の診断用画像を入力し、その出力結果から病変の有無を診断するものである。本第一実施形態では、出力結果として診断用画像の特徴量が５０％以上と出力されたときは、その画像は異常と判別し病変があると診断し、その診断結果を出力する。一方、出力結果として診断用画像の特徴量が５０％未満と出力されたときは、その画像は正常と判別し病変がないと診断し、その診断結果を出力する。

次に、本第一実施形態の内視鏡用診断装置１、内視鏡用診断プログラム１ａ、内視鏡診断用学習済みモデル生成プログラム１０ａの各構成の作用について、内視鏡用診断装置の制御方法とともに説明する。

内視鏡診断用学習済みモデル生成プログラム１０ａでは、図２に示すように、学習用画像取得部６１が学習用画像記憶部５２に記憶されている内視鏡装置で撮影された複数枚の学習用画像（生画像）を取得する（学習用画像取得ステップ：Ｓ１）。このとき取得される学習用画像（生画像）には、異なる機種の内視鏡装置で撮影された画像が含まれていてもよい。

次に、色調補正部６２が、基準色調記憶部５３に記憶された基準色調を取得し、各学習用画像を前記基準色調に合わせて色調補正する（色調補正ステップ：Ｓ２）。学習用画像に異なる機種の内視鏡装置で撮影された画像が含まれている場合は、この処理で学習用画像同士の色調および画質が平滑化される。色調補正部６２は、色調補正した補正後の学習用画像を学習用画像記憶部５２に記憶させる。

次に、アフィン変換部６３が、学習用画像記憶部５２に記憶されている補正後の学習用画像を取得し、任意のアフィン変換をして別の学習用画像として学習用画像記憶部５２に記憶させる（アフィン変換ステップ：Ｓ３）。これにより実際に撮影することなく、撮影角度や内視鏡カメラ先端と診断対象部位との距離および位置の違う画像を擬似的に生成することができるとともに、機械学習させる画像数を増やすことができる。

次に、学習済みモデル生成部６４が、補正後およびアフィン変換後の複数枚の学習用画像を取得し、取得した各学習用画像を機械学習アルゴリズムに学習させて複数の学習済みモデルを生成する（学習済みモデル生成ステップ：Ｓ４）。具体的には、画像の異常検知に用いられる機械学習アルゴリズムであるパッチコア（Patchcore）に、複数枚の学習用画像を訓練データとして機械学習させて、正常な画像の特徴量群を生成する。そして、１枚の学習用画像を繰り返し学習させる回数を変えて、複数の学習済みモデル（候補モデル）を生成する。

そして、学習済みモデル決定部６５が、生成された複数の学習済みモデルに、病変の有無が検証済みである検証用の画像を入力し、正答率の最も高い前記学習済みモデルを内視鏡診断に用いる学習済みモデルに決定する（学習済みモデル決定ステップ：Ｓ５）。具体的には、学習済みモデル生成部６４で生成された各学習済みモデル（候補モデル）ごとに、病変の有無が検証済みである検証用の画像として病変の映り込んだ画像（異常な画像）を入力し、出力として異常な画像として出力されたか否かを確認し、異常な画像であるとして出力した正答率の最も高い前記学習済みモデル（候補モデル）を内視鏡診断に用いる学習済みモデル(診断モデル）に決定する。そして、内視鏡診断に用いるものとして決定した学習済みモデルを学習済みモデル記憶部５４に記憶させる。

これで、内視鏡診断用学習済みモデル生成プログラム１０ａの実行を終了させる。内視鏡診断用学習済みモデル生成プログラム１０ａの実行は次の内視鏡用診断プログラム１ａによる病変の有無の診断よりも先に予め終了させておくのがよい。

次に、内視鏡用診断プログラム１ａによって病変の有無を診断する。

まず、図３に示すように、診断用画像取得部６６が、内視鏡装置２０または診断用画像記憶部５５から診断対象部位を撮影した診断用画像（生画像）を取得する（診断用画像取得ステップ：ＳＳ１）。このとき取得される診断用画像（生画像）は、学習済みモデルの生成に用いた学習用画像を撮影した内視鏡装置とは異なる機種の内視鏡装置でもよい。

次に、色調補正部６７が、基準色調記憶部５３に記憶された基準色調を取得し、診断用画像に学習用画像と同じ色調補正（高画質化処理を含む）をする（色調補正ステップ：ＳＳ２）。学習済みモデルの生成に用いた学習用画像と同じ色調補正を行うことで、学習用画像との色調および画質が統一化され、学習用画像とは異なる機種の内視鏡装置２０で撮影された画像でも精度の高い診断処理が可能となる。

そして、病変有無診断部６８が、学習済みモデル記憶部５４に記憶された学習済みモデルに補正後の診断用画像を入力し、出力結果から病変の有無を診断する（病変有無診断ステップ：ＳＳ３、ＳＳ４）。具体的には、学習済みモデルに補正後の診断用画像を入力し診断用画像の特徴量を出力する（ＳＳ３）。そして、出力結果として診断用画像の特徴量が５０％以上と出力されたときは（ＳＳ４：ＹＥＳ）、その画像は異常と判別し病変があると診断し、その結果を表示手段２等に出力する。一方、出力結果として診断用画像の特徴量が５０％未満と出力されたときは（ＳＳ４：ＮＯ）、その画像は正常と判別し病変がないと診断し、その結果を表示手段２等に出力する。

以上で診断を終了する。なお、診断結果は、表示手段２に表示するものに限定されるものではなく、プリンター等の出力手段によって外部に出力してもよい。

以上のような本第一実施形態によれば、以下の作用効果を奏することができる。
１．これまでに蓄積されている学習用画像に対して色調補正や高画質化処理を行うことにより、画像同士の色調および画質を平滑化し、学習済みモデルによる診断精度を高めることができる。
２．学習済みモデルを生成するアルゴリズムに、異常検知アルゴリズムを用いることで、学習用画像に病変の映り込んでいない画像を用いることができるため、機械学習させる画像の枚数を多くすることができ、診断精度を高めることができる。
および
３．学習用画像をアフィン変換することで、実際に撮影することなく撮影角度や内視鏡カメラ先端と診断対象部位との距離および位置の違う画像を擬似的に生成することができ、かつそれらを別の画像として記憶させることで機械学習させる画像数を増やし、学習済みモデルの診断精度を高めることができる。
４．診断用画像に学習用画像と同じ色調補正や高画質化処理を行うことで、学習済みモデルの生成に用いた学習用画像と学習用画像の色調および画質が統一化されるため、学習済みモデルによる診断精度を高めることができる。

次に、本発明に係る内視鏡用診断プログラム、内視鏡用診断装置、内視鏡用診断装置の制御方法および内視鏡診断用学習済みモデル生成プログラムの第二実施形態について図面を用いて説明する。なお、前述した第一実施形態で説明した構成と同一または相当する構成については同一の符号を付して再度の説明を省略する。

本第二実施形態は、学習用画像に病変の映り込んでいない画像のみならず、病変の映り込んでいる画像も用いるものである。病変の映り込んでいる画像も用いることでこれまでに蓄積された画像をより有効に活用することができる。

本第二実施形態では、学習用画像に病変の映り込んでいる画像である場合、色調補正部６２は、病変の存在範囲以外の範囲に基準色調による色調補正を実行する。病変の存在範囲（異常な範囲）と病変の存在範囲以外の範囲（正常な範囲）とを分けて色調補正することで、機械学習時の異常な範囲と正常な範囲との識別をし易くするとともに、正常な範囲には基準色調による統一した色調補正することで、異なる色調および画質の画像同士の平滑化を行い、生成される学習済みモデルの診断精度を高めることができる。

病変の存在範囲（異常な範囲）と病変の存在範囲以外の範囲（正常な範囲）との範囲分けについては、画像内の境界を自動検出する既存のプログラムを用いた範囲分けや、ペン入力などによる手動での範囲分けなどで行う。全ての範囲に色調補正するよりも範囲分けの手間はあるが、異常な範囲と正常な範囲との識別をし易くなるため診断の精度向上が可能になる。

また、本第二実施形態における学習済みモデル生成部６４は、両画像に対応するため、画像の特徴量を検知するアルゴリズムに補正後の学習用画像（アフィン変換後の学習用画像を含む）を機械学習させて学習済みモデルを生成する。画像から特徴量を取得するアルゴリズムとしては、SIFT(Scale-Invariant Feature Transform)、SURE（Speed Up Robust Feature）
ORB（Oriented FAST and Rotated BRIDF）、CNN（Covolutional Neural Network）などに基づくアルゴリズムを用いることができる。

そして、本第二実施形態における病変有無診断部６８は、生成された学習済みモデルに診断画像を入力して、診断用画像の特徴量が所定の値以上と判別されたときに病変が有ると診断し、その結果を表示手段２等に出力する。一方、診断用画像の特徴量が前記所定の値未満と判別されたときに病変がないと診断し、その結果を表示手段２等に出力する。

これにより、本第二実施形態では、病変の映り込みの有無にかかわらず蓄積されている画像を用いて病変の有無を診断できるようになり、これまでに蓄積された画像をより有効に活用することができる作用効果を奏する。

実施例１では、本発明に係る内視鏡用診断プログラムを作成し、内視鏡装置で撮影された診断用画像（内視鏡画像）を用いて病変の有無の診断精度について検証を行った。

＜内視鏡装置＞
本実施例１の検証に用いた内視鏡装置は、オリンパス社製のＣＦ－Ｈ２９０ＥＣＩ、オリンパス社製のＣＦ－ＦＨ２６０ＡＺＩ、富士フイルム社製のＥＣ－Ｌ６００ＺＰ７の３機種である。

＜診断用画像＞
本実施例１の検証に用いた診断用画像は、診断対象部位として大腸内部を撮影した画像である。各画像は、予め医師により、炎症や潰瘍など病変が映り混んでいない正常な状態の大腸の画像（以下、「正常画像」とする。）と、病変が映り混んでいる異常な状態の大腸の画像（以下、「異常画像」とする。）との選別が行われている。

以下において、オリンパス社製のＣＦ－Ｈ２９０ＥＣＩで撮影された診断用画像は「オリンパス２９０画像」、オリンパス社製のＣＦ－ＦＨ２６０ＡＺＩで撮影された診断用画像は「オリンパス２６０画像」、富士フイルム社製のＥＣ－Ｌ６００ＺＰ７で撮影された診断用画像は「フジ６００画像」とする。

＜色調補正に使用したソフトウエア＞
本実施例１の検証において、診断用画像を色調補正するための基準色調の決定および前記基準色調に基づく診断用画像の色調補正には、Ａｄｏｂｅ社製の画像処理ソフトウエアであるＰｈｏｔｏｓｈｏｐ（登録商標）を用いた。

＜基準色調（基準画像）の決定＞
本実施例１において基準色調（基準画像）は、以下の手順で決定した。
手順１）１つの内視鏡装置で撮影された診断用画像における正常画像からランダムに５枚を抽出する。
手順２）手順１で抽出した５枚の診断用画像から代表画像として１枚を選出する。
手順３）手順２で選出した代表画像に対して、他の４枚の画像をソース画像とする「カラーの補正」（Ｐｈｏｔｏｓｈｏｐの機能）を実行する。
手順４）手順３で実行後の代表画像を、基準色調（基準画像）に決定して保存する。

手順２における代表画像の選出方法は任意であるが、本実施例１では、最も管腔が中心に捉えられている画像を代表画像とした。

また、手順３では（１）輝度、（２）カラーの適応度および（３）フェードを０から１００の間で任意に設定可能であるが、本実施例１では、それぞれ（１）１００、（２）１００，（３）０（デフォルト設定値）とした。

本実施例１では、「オリンパス２９０画像」を用いて決定された基準画像を「オリンパス基準画像」、「フジ６００画像」を用いて決定された基準画像を「フジ基準画像」とした。

＜基準色調に基づく色調補正（学習用画像の作成）＞
本実施例１における色調補正は、診断用画像に対して基準画像をソース画像とする「カラーの補正」を実行することで行う。例えば、「フジ６００画像」に対して「オリンパス基準画像」に合わせた色調補正を行う場合は、「オリンパス基準画像」をソース画像として「フジ６００画像」に「カラーの補正」を実行する。このとき（１）輝度、（２）カラーの適応度および（３）フェードは、手順３と同様に、それぞれ（１）１００、（２）１００，（３）０（デフォルト設定値）とした。

＜学習済みモデルの生成＞
本実施例１では、学習済みモデルの生成に、画像の異常検知に用いられる機械学習アルゴリズムであるパッチコア（Patchcore）を用いた。具体的には、検証する画像のデータセットを学習用画像（訓練データ）とテストデータに分けてパッチコアにより機械学習させ、学習済みモデルを生成した。

ただし、データセットのどのデータを学習用画像とし、どのデータをテストデータとするかによって、生成される学習済みモデルの診断精度に誤差が生じることが考えられる。そこで、本実施例１では、層化ｋ分割交差検証という方法を採用した。

この層化ｋ分割交差検証は、図４に示すように、データセット（画像データ群）を複数個の画像データ群に分割し、その内の１つの画像データ群を診断用画像、その他の画像データ群を学習用画像として、それぞれ分割した個数分の学習済みモデルの生成および診断精度の検証し、その平均値を求める方法である。検証にはｋ倍の時間がかかるものの、分割方法による診断精度に誤差を抑制することができる。本実施例１ではｋ＝５の層化５分割交差検証とした。

＜診断精度の検証方法＞
診断精度は、生成した学習済みモデルに診断用画像を入力することで、診断用画像が正常画像か異常画像かの判別を行う。本実施例１では、層化５分割交差検証により生成された５つの学習済みモデルそれぞれによって、診断用画像（検証データ：学習済みモデルの生成に用いた学習用画像およびテストデータの全て）の判別を行い、それぞれの正答率と５つの正答率の平均正答率とを算出した。

以下、検証結果について説明する。

＜オリンパス２９０画像による検証結果＞
まず、オリンパス２９０画像を用いた検証を行った。検証に用いたオリンパス２９０画像は、異常画像が１５１枚、正常画像が１３６枚の合計２８７枚である。

下記表１は、オリンパス２９０画像を用いた層化５分割交差検証の結果を表にしたものである。この表は、左から１番目が分割番号、２番目が学習データ（学習用画像およびテストデータ）による損失関数Ｌｏｓｓ、３番目が学習データによる正答率、４番目が診断用画像（検証データ）による損失係数Ｌｏｓｓ、５番目が診断用画像の正答率を示す。
［表１］

表１に示すように、分割番号ごとの診断用画像（検証データ）における正答率は、約０．７２～約０．８２であり、それらの平均正答率は０．７９１であった。

＜オリンパス２６０画像による検証結果＞
次に、オリンパス２６０画像を用いた検証について説明する。検証に用いたオリンパス２６０画像は、異常画像が１０８枚、正常画像が１３１枚の合計２３９枚であった。下記表２に検証結果を示す。
［表２］

表２に示すように、分割番号ごとの診断用画像（検証データ）における正答率は、約０．５８～約０．７７であり、平均正答率は０．６９５であった。オリンパス２９０画像の場合に比べて、分割番号ごとの正答率のばらつきが大きく、平均正答率も低かった。

＜フジ６００画像による検証結果＞
次に、フジ６００画像を用いた検証について説明する。検証に用いたフジ６００画像は、異常画像が１０８枚、正常画像が１２４枚の合計２３２枚であった。下記表３に検証結果を示す。
［表３］

表３に示すように、分割番号ごとの診断用画像（検証データ）における正答率は、約０．６５～約０．８７であり、平均正答率は０．７６４であった。オリンパス２９０画像の場合に比べて、分割番号ごとの正答率のばらつきが大きいものの、平均正答率は０．７６と比較的高かった。

以上の結果をまとめると、機種ごとに撮影された画像を用いた診断結果の平均正答率は、オリンパス２９０画像＞フジ６００画像＞オリンパス２６０画像の順で高かった。本実施例１では、色調補正を行う基準色調（基準画像）を平均正答率の高かったものから選択し、前述の通り「オリンパス２９０画像」を用いた「オリンパス基準画像」と「フジ６００画像」を用いた「フジ基準画像」とした。

＜オリンパス２９０画像およびオリンパス２６０画像を用いた検証＞
次に、機種の異なる内視鏡装置によって撮影された画像を一緒に用いた場合について検証する。

まず、オリンパス２９０画像とオリンパス２６０画像を用いた検証を行った。オリンパス２９０画像とオリンパス２６０画像（色調補正なし）とを足し合わせたものをデータセットとして層化５分割交差検証を行った。

検証に用いたオリンパス２９０画像は、異常画像が１５２枚、正常画像が１３７枚の合計２８９枚、オリンパス２６０画像は、異常画像が１０９枚、正常画像が１３３枚の合計２４２枚である。よって、両画像を足し合わせると、異常画像が２６１枚、正常画像が２７０枚の合計が６３１枚であった。

オリンパス２９０画像とオリンパス２６０画像（色調補正なし）とを足し合わせたデータセットに基づく検証結果を下記表４に示す。
［表４］

表４に示すように、分割番号ごとの診断用画像（検証データ）における正答率は、約０．７４～約０．８６であり、平均正答率は０．８１３であった。

オリンパス２９０画像を単独で検証したときの平均正答率は０．７９１であったことと比較すると、平均正答率０．８１３となり精度は向上した。これはオリンパス２９０画像を単独で検証したときに比べて、機械学習させるデータ数が２倍程度増えたことにより、学習済みモデルの精度が向上したものと考えられる。一方、分割番号ごとの診断用画像（検証データ）における正答率は、約０．７４～約０．８６であり、ややばらつきが見られた。

＜オリンパス２９０画像および色調補正したオリンパス２６０画像を用いた検証＞
次に、色調補正による有効性を確かめるため、オリンパス２９０画像と、このオリンパス２９０画像の色調に合わせて色調補正したオリンパス２６０画像とを足し合わせたものをデータセットとして層化５分割交差検証を行った。

検証に用いたオリンパス２９０画像およびオリンパス２６０画像の画像数は、表４の結果に基づく検証のものと同じである。一方、オリンパス２６０画像は、オリンパス２９０画像の色調に合わせるため、全ての画像に対してオリンパス基準画像をソース画像とする色調補正を行った。

オリンパス２９０画像と色調補正したオリンパス２６０画像とを足し合わせたデータセットに基づく検証結果を下記表５に示す。
［表５］

表５に示すように、分割番号ごとの診断用画像（検証データ）における正答率は、約０．８１～約０．８４であり、正答率にばらつきが少なかった。色調補正により色調を合わせたことで、どこのデータで学習させても均一な学習済みモデルを生成することができたものと考えられる。

また、平均正答率は０．８２７となり、オリンパス２６０画像を色調補正しなかった場合の平均正答率０．８１３に比べて、精度は向上した。

よって、機種の異なる内視鏡装置で撮影した内視鏡画像同士を一緒に用いた場合、一方の機種に色調を合わせる色調補正を行うことで、色調補正を行わない場合よりも診断精度の向上を確認することができた。

＜フジ６００画像、オリンパス２９０画像（色調補正なし）およびオリンパス２６０画像（色調補正なし）を用いた検証＞
次に、製造メーカーの異なる内視鏡装置で撮影した内視鏡画像同士の組み合わせによる検証を行った。

検証に用いたフジ６００画像は、異常画像が１０９枚、正常画像が１２５枚の合計２３４枚、オリンパス２９０画像は、異常画像が１５２枚、正常画像が１３７枚の合計２８９枚、オリンパス２６０画像は、異常画像が１０９枚、正常画像が１３３枚の合計２４２枚である。よって、全ての画像を足し合わせると、異常画像が３７０枚、正常画像が３９５枚の合計が７６５枚であった。

これらフジ６００画像、オリンパス２９０画像（色調補正なし）およびオリンパス２６０画像（色調補正なし）を足し合わせたものをデータセットとして層化５分割交差検証を行った。検証結果を下記表６に示す。
［表６］

表６に示すように、診断用画像（検証データ）による平均正答率は０．８１５となり、フジ６００画像のみを用いた場合の平均正答率０．７６４より精度が向上した。この精度の向上は、オリンパス２９０画像とオリンパス２６０画像（色調補正なし）とを足し合わせた場合と同様、機械学習させるデータ数が３倍程度増えたことにより、学習済みモデルの精度が向上したものと考えられる。

＜フジ６００画像、色調補正したオリンパス２９０画像および色調補正したオリンパス２６０画像を用いた検証＞
次に、色調補正による有効性を確かめるため、フジ６００画像、色調補正したオリンパス２９０画像および色調補正したオリンパス２６０画像を足し合わせたものをデータセットとし、層化５分割交差検証を行った。検証結果を下記表７に示す。
［表７］

表７に示すように、診断用画像（検証データ）による平均正答率は０．８２１となり、フジ６００画像のみを用いた場合の平均正答率０．７６４、色調補正しなかった場合の平均正答率０．８１５より精度が向上した。

＜フジ６００画像および色調補正したオリンパス２９０画像を用いた検証＞
また、フジ６００画像およびフジ基準画像に基づき色調補正したオリンパス２９０画像を足し合わせたものをデータセットとした層化５分割交差検証も行った。検証結果を下記表８に示す。
［表８］

表８に示すように、分割番号ごとの診断用画像（検証データ）における正答率は、全て０．８以上であり、平均正答率も０．８４３で高い正答率だった。

＜フジ６００画像および色調補正したオリンパス２６０画像を用いた検証＞
さらに、フジ６００画像およびフジ基準画像に基づき色調補正したオリンパス２６０画像を足し合わせたものをデータセットとした層化５分割交差検証も行ったが、下記表９に示すように、平均正答率も０．８４５と、高い正答率が得られた。
［表９］

以上より、本発明によれば、内視鏡装置のメーカーや機種にかかわらず、これまでに蓄積されている診断用画像や学習用画像に対して色調補正を行うことにより、画像同士の色調が平滑化され、学習済みモデルによる診断精度を高めることができることが確認できた。

＜正常画像のみを用いた学習済みモデルの検証＞
機械学習をさせる学習用画像として集めることのできる画像は、病変の映り込んでいない正常画像が多くなる可能性が考えられる。そこで、正常画像のみを学習用データに用いて生成された学習済みモデルについて検証した。

検証に用いた画像は、フジ６００画像の正常画像が１１５枚、オリンパス２９０画像の正常画像が１３１枚、オリンパス２６０画像の正常画像が１２５枚の合計３７１枚である。

ここでは（１）フジ６００画像、オリンパス２９０画像およびオリンパス２６０画像の正常画像を足し合わせたデータセットを機械学習させた場合の学習済みモデルの精度、（２）フジ６００画像、色調補正されたオリンパス２９０画像および色調補正されたオリンパス２６０画像の正常画像を足し合わせたデータセットを機械学習させた場合の学習済みモデルの精度、（３）フジ６００画像の正常画像のみを機械学習させた場合の学習済みモデルの精度、（４）オリンパス２６０画の正常画像のみを機械学習させた場合の学習済みモデルの精度、（５）オリンパス２９０画の正常画像のみを機械学習させた場合の学習済みモデルの精度について検証した。

精度の検証を評価する指標として、平均正答率とともに、機械学習における二値分類問題に対する評価指標指標の一つであるAUROC（Area Under the ROC Curve）と、二値分類問題の評価指標の一つであって適合率（Precision）と再現率（Recall）の調和平均からなるＦ値（F-mesure）を合わせて算出した。AUROCは０～１の範囲の値を取り、１に近いほどモデルの予測性能が高いことを示す。また、F値はは０～１の範囲の値を取り、１に近いほど適合率（Precision）と再現率（Recall）を両立できるバランスのとれた機械学習モデルであることを示す。それぞれの検証結果を下記表１０に示す。
［表１０］

表１０に示すように、（１）の全ての正常画像を足し合わせた場合に比べて、（２）のフジ基準画像に合わせて色調補正を行った場合の方が、AUROC、F値および平均正答率全てにおいて高い値が得られた。また、（５）のオリンパス２９０画の正常画像のみを機械学習させた場合の学習済みモデルにおける平均正答率については、（２）の色調補正を行った場合の結果よりも精度が高い結果となったものの、それ以外については全て（２）の色調補正を行った場合の精度が高いという結果が得られた。

以上より、機種やメーカーの異なる内視鏡装置で撮影した内視鏡画像同士における正常画像のみを機械学習させた学習済みモデルについても、色調補正で色調を合わせることで精度を向上させることが確認できた。よって、将来的に、学習用画像として集めることのできる画像として病変の映り込んでいない正常画像が多くなったとしても、病変の有無の診断に用いられる学習済みモデルの精度を向上することができることが確認できた。

なお、本発明に係る内視鏡用診断プログラム、内視鏡用診断装置、内視鏡用診断装置の制御方法および内視鏡診断用学習済みモデル生成プログラムは、前述した各実施形態に限定されるものではなく、適宜変更することができる。例えば、学習済みモデル生成部６４は、アンサンブル学習させることにより生成される学習済みモデルの診断精度をより高めてもよい。また、色調補正部６２，６７は、学習用画像および診断用画像の画像サイズが異なる場合には、画像を統一したサイズに合わせる処理を実行してもよい。

１ 内視鏡用診断装置
１ａ 内視鏡用診断プログラム
２ 表示手段
３ 入力手段
４ コンピュータ
５ 記憶手段
６ 演算処理手段
１０ａ 内視鏡診断用学習済みモデル生成プログラム
２０ 内視鏡装置
２１ 内視鏡カメラ
５１ プログラム記憶部
５２ 学習用画像記憶部
５３ 基準色調記憶部
５４ 学習済みモデル記憶部
５５ 診断用画像記憶部
６１ 学習用画像取得部
６２ 色調補正部
６３ アフィン変換部
６４ 学習済みモデル生成部
６５ 学習済みモデル決定部
６６ 診断用画像取得部
６７ 色調補正部
６８ 病変有無診断部

Claims (9)

1. 内視鏡装置で撮影された内視鏡画像に基づいて病変の有無を診断する内視鏡用診断プログラムであって、
   内視鏡装置で撮影された診断対象部位の診断用画像を取得する診断用画像取得部と、
   事前に内視鏡装置で撮影された診断対象部位の画像を解析して得られた基準色調を取得するとともに、その取得した前記基準色調に合わせて前記診断用画像を色調補正する色調補正部と、
   複数種の内視鏡装置によって診断対象部位を撮影した複数枚の学習用画像であって、前記基準色調によって色調補正した複数枚の前記学習用画像を機械学習させて生成した学習済みモデルに対して、補正後の前記診断用画像を入力し、その出力結果から病変の有無を診断処理する病変有無診断部
   としてコンピュータを機能させる、前記内視鏡用診断プログラム。
2. 前記色調補正部が、前記診断用画像を前記色調補正するとともに高画質化処理を行い、
   前記病変有無診断部が、前記色調補正部と同じ前記色調補正および前記高画質化処理を行った前記学習用画像を機械学習させて生成された前記学習済みモデルによって病変の有無を診断処理する、請求項１に記載の内視鏡用診断プログラム。
3. 前記病変有無診断部が、画像の異常検知アルゴリズムに、前記基準色調で補正されかつ病変の映り込んでいない複数枚の前記学習用画像を機械学習させて生成された学習済みモデルに対して、補正後の前記診断用画像を入力し、その出力結果として前記診断用画像の異常が検出されたときに病変があると診断する、請求項１に記載の内視鏡用診断プログラム。
4. 前記病変有無診断部が、画像の特徴量を検知するアルゴリズムに、前記基準色調で補正されかつ病変の映り込んでいない複数枚の前記学習用画像と、前記基準色調で補正されかつ病変の映り込んでいる複数枚の前記学習用画像とを機械学習させて生成された学習済みモデルに対して、補正後の前記診断用画像を入力し、その出力結果として前記診断用画像の特徴量が所定の値以上と判別されたときに病変があると診断し、前記診断用画像の特徴量が前記所定の値未満と判別されたときに病変がないと診断する、請求項１に記載の内視鏡用診断プログラム。
5. 内視鏡装置で撮影された内視鏡画像に基づいて病変の有無を診断する内視鏡用診断装置であって、
   内視鏡装置で撮影された診断対象部位の診断用画像を取得する診断用画像取得部と、
   事前に内視鏡装置で撮影された診断対象部位の画像を解析して得られた基準色調を取得するとともに、その取得した前記基準色調に合わせて前記診断用画像を色調補正する色調補正部と、
   複数種の内視鏡装置によって診断対象部位を撮影した複数枚の学習用画像であって、前記基準色調によって色調補正した複数枚の前記学習用画像を機械学習させて生成した学習済みモデルに対して、補正後の前記診断用画像を入力し、その出力結果から病変の有無の診断処理する病変有無診断部
   とを有する、前記内視鏡用診断装置。
6. 内視鏡装置で撮影された内視鏡画像に基づいて病変の有無を診断する内視鏡用診断装置の制御方法であって、
   内視鏡装置で撮影された診断対象部位の診断用画像を取得する診断用画像取得ステップと、
   事前に内視鏡装置で撮影された診断対象部位の画像を解析して得られた基準色調を取得するとともに、その取得した前記基準色調に合わせて前記診断用画像を色調補正する色調補正ステップと、
   複数種の内視鏡装置によって診断対象部位を撮影した複数枚の学習用画像であって、前記基準色調によって色調補正した複数枚の前記学習用画像を機械学習させて生成した学習済みモデルに対して、補正後の前記診断用画像を入力し、その出力結果から病変の有無の診断処理する病変有無診断ステップ
   とを有する前記内視鏡用診断装置の制御方法。
7. 内視鏡装置で撮影された内視鏡画像に基づき病変の有無を診断する内視鏡用診断で用いられる学習済みモデルを生成する内視鏡診断用学習済みモデル生成プログラムであって、
   複数種の内視鏡装置で撮影された診断対象部位の複数枚の学習用画像を取得する学習用画像取得部と、
   事前に内視鏡装置で撮影された診断対象部位の画像を解析して得られた基準色調を取得するとともに、その取得した前記基準色調に合わせて前記各学習用画像を色調補正する色調補正部と、
   前記色調補正部により色調補正された前記各学習用画像を、機械学習アルゴリズムを用いて機械学習させて複数の学習済みモデルを生成する学習済みモデル生成部と、
   生成された前記各学習済みモデルに病変の有無が検証済みである検証用の画像を入力して正答率の最も高い前記学習済みモデルを内視鏡診断に用いる学習済みモデルに決定する学習済みモデル決定部
   としてコンピュータを機能させる、前記内視鏡診断用学習済みモデル生成プログラム。
8. 前記色調補正部は、前記学習用画像に病変の映り込んでいる場合には、前記病変の存在範囲以外の範囲に前記基準色調による色調補正を実行する、請求項７に記載の内視鏡診断用学習済みモデル生成プログラム。
9. 前記色調補正部により補正された前記学習用画像を任意のアフィン変換させるアフィン変換部としてコンピュータを機能させるとともに、
   前記学習済みモデル生成部は、前記色調補正部により補正された前記学習用画像とともに前記アフィン変換部により変換された前記学習用画像を機械学習させて学習済みモデルを生成する、請求項７に記載の内視鏡診断用学習済みモデル生成プログラム。