JP7335552B2 - 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム - Google Patents

画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム Download PDF

Info

Publication number
JP7335552B2
JP7335552B2 JP2020018003A JP2020018003A JP7335552B2 JP 7335552 B2 JP7335552 B2 JP 7335552B2 JP 2020018003 A JP2020018003 A JP 2020018003A JP 2020018003 A JP2020018003 A JP 2020018003A JP 7335552 B2 JP7335552 B2 JP 7335552B2
Authority
JP
Japan
Prior art keywords
image
lesion
convolutional neural
endoscopic
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020018003A
Other languages
English (en)
Other versions
JP2020073081A5 (ja
JP2020073081A (ja
Inventor
俊明 平澤
智裕 多田
和玄 青山
毅士 小澤
敏之 由雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japanese Foundation for Cancer Research
Original Assignee
Japanese Foundation for Cancer Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japanese Foundation for Cancer Research filed Critical Japanese Foundation for Cancer Research
Publication of JP2020073081A publication Critical patent/JP2020073081A/ja
Publication of JP2020073081A5 publication Critical patent/JP2020073081A5/ja
Application granted granted Critical
Publication of JP7335552B2 publication Critical patent/JP7335552B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/063—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for monochromatic or narrow-band illumination
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラムに関する。
がんは世界で最も死因の高い疾患であり、世界保健機関（ＷＨＯ）の統計によれば、２０１５年には８８０万人が死亡し、臓器別では胃や大腸などを含めた消化器系がトップを占める。特に胃がんは、世界で５番目に多い悪性腫瘍、かつ、世界で３番目に多いがん関連死の原因であり、毎年、約１００万の新規症例が発生し、約７０万人が死亡している。胃がん患者の予後は、診断時のがんのステージ（進行度）に依存する。進行した胃がんは予後不良であるが、早期胃がんの５年生存率は９０％以上であり、早期の病巣をいち早く発見し、外科的に切除することで多くの胃がんを完治させることができる。したがって、早期胃がんの内視鏡的検出は、胃がん死亡率を減少させるための最も有効な手段であり、内視鏡的粘膜切除術（ＥＭＲ）または内視鏡的粘膜下層剥離術（ＥＳＤ）のような臓器保存型の内視鏡療法で治療する技術の普及は、患者に多大の恩恵をもたらすことができる。
消化器の内視鏡検査（特に上部消化管内視鏡検査：ＥＧＤ）は、胃がんを診断するための標準的手法であるが、ＥＧＤによる観察で胃がんを検出する際の偽陰性率は２６％とも言われ（非特許文献１を参照）、高頻度である。さらに、ほとんどの胃がんは、萎縮性粘膜から生じ、早期胃がんの一部は微細な形態変化しか示さず、萎縮性変化を伴う背景粘膜と区別することが困難であるため、経験の浅い内視鏡医では、胃がんを見逃す傾向がある。したがって、内視鏡医は、胃がんを適切に検出するための特別な研修と経験が必要であるが、一定の経験を経た内視鏡医の育成には、１万枚の画像診断経験と１０年の期間がかかるとも言われている。
消化器の内視鏡検査においては、多くの内視鏡画像が収集されるが、診断精度を管理するために内視鏡医による内視鏡画像のダブルチェックが望ましく、「対策型検診のための胃内視鏡検診マニュアル」（一般社団法人 日本消化器がん検診学会編）ではダブルチェックが義務付けられている。ただし、内視鏡画像のダブルチェックには多くの時間を要するため、医療現場の内視鏡医にとって重い負担となっている。
しかも、これらの内視鏡画像に基づく診断は、いわば経験と観察に基づく主観的判定であり、様々な偽陽性判断及び偽陰性判断を生じる可能性がある。さらに、医療機器は機器自体の性能と操作者の確実な操作の両条件が満たされてこそ、最高度の性能が発揮されるものであるが、内視鏡診断では内視鏡医の疲労により精度が低下することがある。こうした内視鏡医の属人的要件を補完するために、近年、機械学習による画像認識の精度が飛躍的に向上したＡＩ（人工知能：artificial intelligence）を内視鏡医の支援として活用することで、内視鏡画像のダブルチェック作業の精度とスピードが向上するものと期待されている。
近年、ディープラーニング（深層学習）を用いたＡＩが様々な医療分野で注目されており、放射線腫瘍学、皮膚がん分類、糖尿病性網膜症、胃生検の組織学的分類、超拡大内視鏡による大腸病変の特徴付けを含む医療分野の画像診断をＡＩが専門医に替わって行うことができるとの様々な報告がある。特に、顕微内視鏡レベルにおいてはＡＩが専門医と同等の精度を出せることが証明されている(非特許文献２を参照)。また、皮膚科では、ディープラーニング機能を持ったＡＩが専門医と同等の画像診断能力を発揮することが発表されており(非特許文献３を参照)、各種機械学習法を利用した特許文献（特許文献１、２を参照）も存在する。
特開２０１７－０４５３４１号公報 特開２０１７－０６７４８９号公報
Hosokawa O et al., Hepatogastroenterology.2007;54(74):442-4. http://www.giejournal.org/article/S0016-5107(14)02171-3/fulltext, "Novel computer-aided diagnostic system for colorectal lesions by using endocytoscopy" Yuichi Mori et. al. Presented at Digestive Disease Week 2014, May 3-6, 2014, Chicago, Illinois, USA 「Nature」2017年2月号、巻頭論文、「皮膚の病変を学習する：人工知能が画像から皮膚がんを検出する能力を強化する」（http://www.natureasia.com/ja-jp/nature/highlights/82762）
上記のように、ＡＩの画像認識能力は人間専門医並みであることが示唆されているが、消化器の通常内視鏡検査においては、ＡＩの内視鏡画像の診断能力を使用した診断支援技術は、まだ医療現場には導入されておらず、今後の実用化が期待されている状況である。
本発明の目的は、内視鏡医による内視鏡画像の診断を支援することが可能な画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラムを提供することである。
本発明に係る画像診断支援装置は、
撮像装置により撮像された患者の第１の内視鏡画像と、前記患者の年齢、性別、地域または既病歴に係る情報とを取得する画像取得部と、
病変位置がマーキングされた第２の内視鏡画像と、前記第２の内視鏡画像に対応する患者の年齢、性別、地域または既病歴に係る情報とを学習用データとして調整された畳み込みニューラルネットワークを用いて、取得した前記第１の内視鏡画像と前記患者の年齢、性別、地域または既病歴に係る情報とから、前記第１の内視鏡画像内に存在する病変位置を推定して出力する病変推定部と、
を有する。
本発明に係る学習済みモデルは、
病変位置がマーキングされた内視鏡画像と、前記内視鏡画像に対応する患者の年齢、性別、地域または既病歴に係る情報とを学習用データとして畳み込みニューラルネットワークを調整することによって得られ、
撮像装置により撮像された患者の内視鏡画像と前記患者の年齢、性別、地域または既病歴に係る情報とから、前記患者の内視鏡画像内に存在する病変位置を推定するようコンピューターを機能させる。
本発明に係る画像診断支援装置の作動方法は、
撮像装置により撮像された患者の第１の内視鏡画像と、前記患者の年齢、性別、地域または既病歴に係る情報とを取得する画像取得工程と、
病変位置がマーキングされた第２の内視鏡画像と、前記第２の内視鏡画像に対応する患者の年齢、性別、地域または既病歴に係る情報とを学習用データとして調整された畳み込みニューラルネットワークを用いて、取得した前記第１の内視鏡画像と前記患者の年齢、性別、地域または既病歴に係る情報とから、前記第１の内視鏡画像内に存在する病変位置を推定して出力する病変推定工程と、
を実行する。
本発明に係る画像診断支援プログラムは、
コンピューターに、
撮像装置により撮像された患者の第１の内視鏡画像と、前記患者の年齢、性別、地域または既病歴に係る情報とを取得する画像取得処理と、
病変位置がマーキングされた第２の内視鏡画像と、前記第２の内視鏡画像に対応する患者の年齢、性別、地域または既病歴に係る情報とを学習用データとして調整された畳み込みニューラルネットワークを用いて、取得した前記第１の内視鏡画像と前記患者の年齢、性別、地域または既病歴に係る情報とから、前記第１の内視鏡画像内に存在する病変位置を推定して出力する病変推定処理と、
を実行させる。
本発明における病変部位（萎縮、腸上皮化生、粘膜の隆起または陥凹、粘膜色調の状況）の特徴抽出による判定に係る基準は、経験豊富な内視鏡医によって精度高く設定することが可能であり、例えば、本発明者の著書（「通常内視鏡観察による早期胃癌の拾い上げと診断」、平澤俊明／河内洋・著、藤崎順子・監修、日本メディカルセンター、２０１６年）に詳しく記載されている。
本発明によれば、内視鏡医による内視鏡画像の診断を支援する技術を提供することができる。
本実施の形態における画像診断支援装置の全体構成を示すブロック図である。 本実施の形態における画像診断支援装置のハードウェア構成を示す図である。 本実施の形態における畳み込みニューラルネットワークの構成を示す図である。 本実施の形態における内視鏡画像上に解析結果画像を表示させる例を示す図である。 評価試験用データセットに用いられた内視鏡画像に関する患者および病変の特徴を示す図である。 図６Ａ，図６Ｂは、内視鏡画像および解析結果画像の例を示す図である。 複数の内視鏡画像にがんが存在する場合について説明する図である。 図８Ａ，図８Ｂは、医師によって診断された病変位置（範囲）と、畳み込みニューラルネットワークによって診断された病変位置（範囲）との違いを説明する図である。 腫瘍の深さおよび腫瘍サイズの違いに応じた感度の変化を示す図である。 畳み込みニューラルネットワークによって見逃された病変の詳細を示す図である。 図１１Ａ，図１１Ｂ，図１１Ｃ，図１１Ｄ，図１１Ｅ，図１１Ｆは、畳み込みニューラルネットワークによって見逃された病変が存在する内視鏡画像を示す図である。 畳み込みニューラルネットワークによって胃がんとして検出された非がん性病変の詳細を示す図である。 図１３Ａ，図１３Ｂ，図１３Ｃは、畳み込みニューラルネットワークによって胃がんとして検出された非がん性病変を含む解析結果画像を示す図である。 図１４Ａ，図１４Ｂ，図１４Ｃ，図１４Ｄ，図１４Ｅ，図１４Ｆは、腺腫、過形成性ポリープまたはＳＳＡＰを含む大腸の内視鏡画像を示す図である。 図１５Ａ，図１５Ｂ，図１５Ｃ，図１５Ｄ，図１５Ｅ，１５Ｆは、稀なタイプの大腸ポリープを含む大腸の内視鏡画像を示す図である。 学習用データセットに用いられた内視鏡画像に関する大腸ポリープ等の特徴を示す図である。 評価試験用データセットに用いられた内視鏡画像に関する大腸ポリープ等の特徴を示す図である。 偽陽性画像および偽陰性画像の分類結果を示す図である。 図１９Ａ，図１９Ｂは、ＣＮＮ分類と組織分類との一致度合いを示す図である。 ５ｍｍ以下の大腸ポリープについてＣＮＮ分類と組織分類との一致度合いを示す図である。 図２１Ａ，図２１Ｂ，図２１Ｃ，図２１Ｄ，図２１Ｅ，図２１Ｆは、第２の評価試験における内視鏡画像および解析結果画像の例を示す図である。 図２２Ａ，図２２Ｂ，図２２Ｃ，図２２Ｄ，図２２Ｅ，図２２Ｆ，図２２Ｇ，図２２Ｈは、第２の評価試験における内視鏡画像および解析結果画像の例を示す図である。 評価試験用データセットに用いられた内視鏡画像に関する患者および病変の特徴を示す図である。 図２４Ａ，図２４Ｂ，図２４Ｃ，図２４Ｄは、第３の評価試験における内視鏡画像および解析結果画像の例を示す図である。 畳み込みニューラルネットワークによる食道がん／非食道がんの検出結果、および、生検による食道がん／非食道がんの検出結果を示す図である。 白色光感度、ＮＢＩ用狭帯域光感度および包括的感度を示す図である。 畳み込みニューラルネットワークによる食道がん／非食道がんの検出結果、および、生検による食道がん／非食道がんの検出結果を示す図である。 白色光感度およびＮＢＩ用狭帯域光感度を示す図である。 ＣＮＮ分類と深達度との一致度合いを示す図である。 偽陽性画像および偽陰性画像の分類結果を示す図である。 図３１Ａ，図３１Ｂ，図３１Ｃ，図３１Ｄ，図３１Ｅ，図３１Ｆは、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。 図３２Ａ，図３２Ｂ，図３２Ｃ，図３２Ｄ，図３２Ｅは、畳み込みニューラルネットワークによって検出されなかった食道がんを含む内視鏡画像を偽陰性画像として示す図である。
以下、本実施の形態を図面に基づいて詳細に説明する。
［画像診断支援装置の全体構成］
まず、本実施の形態における画像診断支援装置１００の構成について説明する。図１は、画像診断支援装置１００の全体構成を示すブロック図である。図２は、本実施の形態における画像診断支援装置１００のハードウェア構成の一例を示す図である。
画像診断支援装置１００は、消化器（例えば、食道、胃、十二指腸や大腸など）の内視鏡検査において、畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）が有する内視鏡画像の診断能力を使用し、医師（例えば、内視鏡医）による内視鏡画像の診断を支援する。画像診断支援装置１００には、内視鏡撮像装置２００（本発明の「消化器内視鏡撮像装置」に対応）および表示装置３００が接続されている。
内視鏡撮像装置２００は、例えば、撮像手段を内蔵した電子内視鏡（ビデオスコープともいう）や、光学式内視鏡に撮像手段を内蔵したカメラヘッドを装着したカメラ装着内視鏡等である。内視鏡撮像装置２００は、例えば、被験者の口または鼻から消化器に挿入され、当該消化器内の診断対象部位を撮像する。そして、内視鏡撮像装置２００は、消化器内の診断対象部位を撮像した内視鏡画像（本発明の「消化器内視鏡画像」に対応）を表す内視鏡画像データＤ１（静止画像）を画像診断支援装置１００に出力する。なお、内視鏡画像データＤ１ではなく、内視鏡動画像であっても良い。
表示装置３００は、例えば、液晶ディスプレイであり、画像診断支援装置１００から出力された解析結果画像を、医師に識別可能に表示する。
画像診断支援装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、及び通信インターフェイス１０５、ＧＰＵ（Graphics Processing Unit）１０６等を備えたコンピューターである。
画像診断支援装置１００の各機能は、例えば、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４等に記憶された制御プログラム（例えば、画像診断支援プログラム）や各種データ（例えば、内視鏡画像データ、教師データ、畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）などを参照することによって実現される。なお、ＲＡＭ１０３は、例えば、データの作業領域や一時退避領域として機能する。
なお、各機能の一部または全部は、ＣＰＵによる処理に代えて、または、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されても良い。また、同様に、各機能の一部または全部は、ソフトウェアによる処理に代えて、または、これと共に、専用のハードウェア回路による処理によって実現されても良い。
図１に示すように、画像診断支援装置１００は、内視鏡画像取得部１０、病変推定部２０、表示制御部３０を備えている。学習装置４０は、画像診断支援装置１００において使用される畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）を生成する機能を有する。
［画像取得部］
画像取得部１０は、内視鏡撮像装置２００から出力された内視鏡画像データＤ１を取得する。そして、画像取得部１０は、取得した内視鏡画像データＤ１を病変推定部２０に出力する。なお、画像取得部１０は、内視鏡画像データＤ１を取得する際、内視鏡撮像装置２００から直接取得しても良いし、外部記憶装置１０４に格納された内視鏡画像データＤ１や、インターネット回線等を介して提供された内視鏡画像データＤ１を取得しても良い。
［病変推定部］
病変推定部２０は、畳み込みニューラルネットワークを用いて、内視鏡画像取得部１０から出力された内視鏡画像データＤ１により表される内視鏡画像内に存在する病変の病変名（名称）および病変位置（位置）と、当該病変名および病変位置の確度とを推定する。そして、病変推定部２０は、内視鏡画像取得部１０から出力された内視鏡画像データＤ１と、病変名、病変位置および確度の推定結果を表す推定結果データＤ２とを表示制御部３０に出力する。
本実施の形態では、病変推定部２０は、病変名および病変位置の確度を示す指標として確率スコアを推定する。確率スコアは、０より大きく、１以下の値で表される。確率スコアが高いほど、病変名および病変位置の確度が高いことを意味する。
なお、確率スコアは、病変名および病変位置の確度を示す指標の一例であって、その他の任意の態様の指標が用いられてよい。例えば、確率スコアは、０％～１００％の値で表される態様であっても良いし、数段階のレベル値のうちの何れで表される態様であっても良い。
畳み込みニューラルネットワークは、順伝播型ニューラルネットワークの一種であって、脳の視覚野の構造における知見に基づくものである。基本的に、画像の局所的な特徴抽出を担う畳み込み層と、局所毎に特徴をまとめあげるプーリング層（サブサンプリング層）とを繰り返した構造となっている。畳み込みニューラルネットワークの各層によれば、複数のニューロン(Neuron)を所持し、個々のニューロンが視覚野と対応するような形で配置されている。それぞれのニューロンの基本的な働きは、信号の入力と出力とからなる。ただし、各層のニューロン間は、相互に信号を伝達する際に、入力された信号をそのまま出力するのではなく、それぞれの入力に対して結合荷重を設定し、その重み付きの入力の総和が各ニューロンに設定されている閾値を超えた時に、次の層のニューロンに信号を出力する。学習データからこれらニューロン間の結合荷重を算出しておく。これによって、リアルタイムのデータを入力することによって、出力値の推定が可能となる。この目的にかなう畳み込みニューラルネットワークであれば、それを構成するアルゴリズムは特に限定されない。
図３は、本実施の形態における畳み込みニューラルネットワークの構成を示す図である。なお、畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）は、画像診断支援プログラムと共に、外部記憶装置１０４に格納されている。
図３に示すように、畳み込みニューラルネットワークは、例えば、特徴抽出部Ｎａと識別部Ｎｂとを有する。特徴抽出部Ｎａは、入力される画像（内視鏡画像データＤ１）から画像特徴を抽出する処理を施す。識別部Ｎｂは、特徴抽出部Ｎａにより抽出された画像特徴から画像に係る推定結果を出力する。
特徴抽出部Ｎａは、複数の特徴量抽出層Ｎａ１、Ｎａ２・・・が階層的に接続されて構成される。各特徴量抽出層Ｎａ１、Ｎａ２・・・は、畳み込み層（Convolution layer）、活性化層（Activation layer）およびプーリング層（Pooling layer）を備える。
第１層目の特徴量抽出層Ｎａ１は、入力される画像を、ラスタスキャンにより所定サイズ毎に走査する。そして、特徴量抽出層Ｎａ１は、走査したデータに対して、畳み込み層、活性化層およびプーリング層によって特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。第１層目の特徴量抽出層Ｎａ１は、例えば、水平方向に延びる線状の特徴量や斜め方向に延びる線状の特徴量等の比較的シンプルな単独の特徴量を抽出する。
第２層目の特徴量抽出層Ｎａ２は、前階層の特徴量抽出層Ｎａ１から入力される画像（特徴マップとも称される）を、例えば、ラスタスキャンにより所定サイズ毎に走査する。そして、特徴量抽出層Ｎａ２は、走査したデータに対して、同様に、畳み込み層、活性化層およびプーリング層による特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。なお、第２層目の特徴量抽出層Ｎａ２は、第１層目の特徴量抽出層Ｎａ１が抽出した複数の特徴量の位置関係などを参照しながら統合させることで、より高次元の複合的な特徴量を抽出する。
第２層目以降の特徴量抽出層（図３では、説明の便宜として、特徴量抽出層Ｎａを２階層のみを示す）は、第２層目の特徴量抽出層Ｎａ２と同様の処理を実行する。そして、最終層の特徴量抽出層の出力（複数の特徴マップのマップ内の各値）が、識別部Ｎｂに対して入力される。
識別部Ｎｂは、例えば、複数の全結合層（Fully Connected）が階層的に接続された多層パーセプトロンによって構成される。
識別部Ｎｂの入力側の全結合層は、特徴抽出部Ｎａから取得した複数の特徴マップのマップ内の各値に全結合し、その各値に対して重み係数を変化させながら積和演算を行って出力する。
識別部Ｎｂの次階層の全結合層は、前階層の全結合層の各素子が出力する値に全結合し、その各値に対して重み係数を異ならせながら積和演算を行う。そして、識別部Ｎｂの最後段には、内視鏡画像内に存在する病変の病変名および病変位置と、当該病変名および病変位置の確率スコア（確度）とを出力する層（例えば、ソフトマックス関数等）が設けられる。
畳み込みニューラルネットワークは、あらかじめ経験豊富な内視鏡医によってマーキング処理されたレファレンスデータ（以下、「教師データ」という。）を用いて学習処理を行っておくことよって、入力される内視鏡画像から所望の推定結果（ここでは、病変名、病変位置および確率スコア）を出力し得るように、推定機能を保有することができる。
本実施の形態における畳み込みニューラルネットワークは、内視鏡画像データＤ１を入力とし（図３のｉｎｐｕｔ）、当該内視鏡画像データＤ１により表される内視鏡画像の画像特徴に応じた病変名、病変位置および確率スコアを推定結果データＤ２として出力する（図３のｏｕｔｐｕｔ）ように構成される。
なお、畳み込みニューラルネットワークは、より好適には、内視鏡画像データＤ１に加えて、年齢、性別、地域、または既病歴に係る情報を入力し得る構成（例えば、識別部Ｎｂの入力素子として設ける）としても良い。実臨床におけるリアルワールドデータの重要性は特に認められていることから、こうした患者属性の情報を追加することによって、実臨床において、より有用なシステムに展開することができる。すなわち、内視鏡画像の特徴は、年齢、性別、地域または既病歴に係る情報と相関関係を有しており、畳み込みニューラルネットワークに、内視鏡画像データＤ１に加えて、年齢等の患者属性情報を参照させることによって、より高精度に病変名、病変位置を推定し得る構成とすることができる。この手法は、地域や人種間によっても疾患の病態が異なることがあることから、特に本発明を国際的に活用する場合には、取り入れるべき事項である。
また、病変推定部２０は、畳み込みニューラルネットワークによる処理の他、前処理として、内視鏡画像のサイズやアスペクト比に変換する処理、内視鏡画像の色分割処理、内視鏡画像の色変換処理、色抽出処理、輝度勾配抽出処理等を行っても良い。
［表示制御部］
表示制御部３０は、病変推定部２０から出力された内視鏡画像データＤ１により表される内視鏡画像上において、病変推定部２０から出力された推定結果データＤ２により表される病変名、病変位置および確率スコアを表示する解析結果画像を生成する。そして、表示制御部３０は、内視鏡画像データＤ１と、生成した解析結果画像を表す解析結果画像データＤ３とを表示装置３００に出力する。この場合、内視鏡画像の病変部の構造強調や色彩強調、高コントラスト化、高精細化などのデジタル画像処理システムを接続し、観察者の理解と判定を助ける加工を施して表示させることもできる。
表示装置３００は、表示制御部３０から出力された内視鏡画像データＤ１により表される内視鏡画像上に、解析結果画像データＤ３により表される解析結果画像を表示させる。表示された内視鏡画像および解析結果画像は、例えば、内視鏡画像のダブルチェック作業に用いられる。また、本実施の形態では、１枚の内視鏡画像および解析結果画像を表示するまでの時間がとても早いため、内視鏡画像のダブルチェック作業以外にも、内視鏡動画として医師によるリアルタイムでの診断補助に用いることができる。
図４は、本実施の形態における内視鏡画像上に解析結果画像を表示させる例を示す図である。図４に示すように、解析結果画像には、病変推定部２０により推定された病変位置（範囲）を示す矩形枠５０、病変名（早期がん：early stomach cancer）および確率スコア（０．８）が表示されている。本実施の形態では、解析結果画像を参照する医師の注意喚起を促す観点から、確率スコアがある閾値（例えば、０．４）以上の場合、病変推定部２０により推定された病変位置（範囲）を示す矩形枠は、黄色で表示される。すなわち、表示制御部３０は、病変推定部２０から出力された推定結果データＤ２により表される確率スコアに応じて、解析結果画像における病変位置を特定する病変位置特定情報（本実施の形態では、矩形枠）の表示態様を変更する。なお、矩形枠５２は、参考までに、医師によって胃がんと診断された病変位置（範囲）を示しており、実際の解析結果画像には表示されないが、熟練した内視鏡医の判定と同一結果となることを示している。
［学習装置］
学習装置４０は、病変推定部２０の畳み込みニューラルネットワークが内視鏡画像データＤ１から病変位置、病変名および確率スコアを推定し得るように、図示しない外部記憶装置に記憶されている教師データＤ４を入力し、学習装置４０の畳み込みニューラルネットワークに対して学習処理を行う。
本実施の形態では、学習装置４０は、被験者の消化器について内視鏡撮像装置２００により撮像された内視鏡画像（本発明の「消化器腫瘍内視鏡画像」に対応）と、医師により萎縮、腸上皮化生、粘膜の隆起または陥凹、粘膜色調の状況の特徴抽出によってあらかじめ判定された、当該内視鏡画像内に存在する病変の病変名および病変位置と、を教師データＤ４として用いて学習処理を行う。具体的には、学習装置４０は、畳み込みニューラルネットワークに内視鏡画像を入力した際の正解値（病変名および病変位置）に対する出力データの誤差（損失とも称される）が小さくなるように、畳み込みニューラルネットワークの学習処理を行う。
本実施の形態では、教師データＤ４としての内視鏡画像には、被験者の消化器内に対して白色光を照射して撮像された内視鏡画像、被験者の消化器内に対して色素（例えば、インジゴカルミン、ヨード液）を散布して撮像された内視鏡画像、および、被験者の消化器内に対して狭帯域光（例えば、ＮＢＩ（Narrow Band Imaging）用狭帯域光、ＢＬＩ（Blue Laser Imaging）用狭帯域光）を照射して撮像された内視鏡画像が含まれる。学習処理における教師データＤ４としての内視鏡画像は、日本トップクラスのがん治療専門病院のデータベースを主に使用し、豊富な診断・治療経験を有する日本消化器内視鏡学会指導医がすべての画像を詳細に検討、選別し、精密な手動処理で病変の病変位置に対するマーキングを行った。レファレンスデータとなる教師データＤ４（内視鏡画像データ）の精度管理は、そのまま画像診断支援装置１００の解析精度に直結するために、豊富な経験を有するエキスパート内視鏡医による画像選別と病変同定、特徴抽出のマーキングは極めて重要な工程である。
内視鏡画像の教師データＤ４は、画素値のデータであっても良いし、所定の色変換処理等がなされたデータであっても良い。また、前処理として、テクスチャ特徴、形状特徴、広がり特徴等を抽出したものが用いられても良い。なお、教師データＤ４は、内視鏡画像データに加えて、年齢、性別、地域または既病歴に係る情報を関連付けて学習処理を行ってもよい。
なお、学習装置４０が学習処理を行う際のアルゴリズムは、公知の手法であってよい。学習装置４０は、例えば、公知のバックプロパゲーション（Backpropagation：誤差逆伝播法）を用いて、畳み込みニューラルネットワークに対して学習処理を施し、ネットワークパラメータ（重み係数、バイアス等）を調整する。そして、学習装置４０によって学習処理が施された畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）は、例えば、画像診断支援プログラムと共に、外部記憶装置１０４に格納される。
以上詳しく説明したように、本実施の形態では、画像診断支援装置１００は、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを、畳み込みニューラルネットワークによって推定する病変推定部と、当該病変の名称および位置と、それらの確度とを表示する解析結果画像を生成して、消化器内視鏡画像上に表示させる制御を行う表示制御部と、を備える。畳み込みニューラルネットワークは、萎縮、腸上皮化生、粘膜の隆起または陥凹、粘膜色調の状況の特徴抽出によってあらかじめ判定された複数の消化器腫瘍内視鏡画像内に存在する病変の病変名および病変位置に基づいて学習処理が行われる。
このように構成した本実施の形態によれば、畳み込みニューラルネットワークが複数の被験者のそれぞれについて予め得られている複数の消化器の内視鏡画像と、複数の被験者のそれぞれについて予め得られている病変の病変名および病変位置の確定診断結果とに基づいて学習されているため、短時間、かつ、実質的に経験豊富な内視鏡医に匹敵する精度で、新規被験者の消化器の病変名および病変位置を推定することができる。したがって、消化器の内視鏡検査において、本発明による畳み込みニューラルネットワークが有する内視鏡画像の診断能力を使用し、内視鏡医による内視鏡画像の診断を強力に支援することができる。実臨床においては、内視鏡医は、診察室で直接的に診断支援ツールとして利用することもできる一方、複数の診察室から伝送される内視鏡画像を中央診断支援サービスとすることや、インターネット回線を通じた遠隔操作によって、遠隔地の機関に対する診断支援サービスとして利用することもできる。
なお、上記実施の形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
［実験例］
最後に、上記実施の形態の構成における効果を確認するための評価試験について説明する。
［学習用データセットの準備］
２００４年４月～２０１６年１２月にかけて行われたＥＧＤの内視鏡画像を、画像診断支援装置における畳み込みニューラルネットワークの学習に使用する学習用データセット（教師データ）として用意した。ＥＧＤは、日常診療におけるスクリーニングまたは術前検査のために実施され、内視鏡画像は、標準的な内視鏡（ＧＩＦ－Ｈ２９０Ｚ、ＧＩＦ－Ｈ２９０、ＧＩＦ－ＸＰ２９０Ｎ、ＧＩＦ－Ｈ２６０Ｚ、ＧＩＦ－Ｑ２６０Ｊ、ＧＩＦ－ＸＰ２６０、ＧＩＦ－ＸＰ２６０ＮＳ、ＧＩＦ－Ｎ２６０等、オリンパスメディカルシステムズ社、東京）および標準的な内視鏡ビデオシステム（ＥＶＩＳ ＬＵＣＥＲＡ ＣＶ－２６０／ＣＬＶ－２６０、ＥＶＩＳ ＬＵＣＥＲＡ ＥＬＩＴＥ ＣＶ－２９０／ＣＬＶ－２９０ＳＬ、オリンパスメディカルシステムズ社）を用いて収集した。
学習用データセットとしての内視鏡画像には、被験者の消化器内に対して白色光を照射して撮像された内視鏡画像、被験者の消化器内に対して色相（例えば、インジゴカルミン、ヨード液）を散布して撮像された内視鏡画像、および、被験者の消化器内に対して狭帯域光（例えば、ＮＢＩ用狭帯域光、ＢＬＩ用狭帯域光）を照射して撮像された内視鏡画像を含めた。また、送気不足による胃の伸展不良、生検後の出血、ハレーション、レンズのくもり、焦点外れまたは粘液等のために、画像品質が悪い内視鏡画像は、学習用データセットから除外した。
最終的に、学習用データセットとして、組織学的に証明された２，６３９の胃がんについて、１３，５８４の内視鏡画像を収集した。胃がんの専門家であり、日本消化器内視鏡学会指導医（がん専門病院で１０年以上の経験を有し、胃がんの６，０００症例以上の胃がんを診断した実績を有する）は、収集された内視鏡画像において、全ての胃がん（早期がんまたは進行がん）の病変名および病変位置を精密に手動で特徴抽出のマーキング設定し、学習用データセットを用意した。
［学習・アルゴリズム］
画像診断支援装置を構築するため、ＶＧＧ(https://arxiv.org/abs/1409.1556)をベースとした１６層以上で構成される畳み込みニューラルネットワークを使用した。バークレービジョン及びラーニングセンター(Berkeley Vision and Learning Center (BVLC))で開発されたCaffeディープラーニングフレームワークを学習および評価試験に使用した。畳み込みニューラルネットワークの全ての層は、確率的勾配降下法を使用して、グローバル学習率０．０００１で微調整されている。ＣＮＮと互換性を持たせるために、各画像を３００×３００ピクセルにリサイズした。
［評価試験用データセットの準備］
構築された畳み込みニューラルネットワークベースの画像診断支援装置の診断精度を評価するために、２０１７年３月１日～２０１７年３月３１日まで、公益財団法人がん研究会有明病院で通常の臨床検査としてＥＧＤを受けた６９人の患者（胃がん７７病変）を対象にして、２，２９６の内視鏡画像（胃）を評価試験用データセットとして収集した。その結果、６２人に胃がんが１病変存在し、６人に胃がんが２病変存在し、１人に胃がんが３病変存在していた。全てのＥＧＤは、標準的な内視鏡（ＧＩＦ－Ｈ２９０Ｚ、オリンパスメディカルシステムズ社、東京）および標準的な内視鏡ビデオシステム（ＥＶＩＳ ＬＵＣＥＲＡ ＥＬＩＴＥ ＣＶ－２９０／ＣＬＶ－２９０ＳＬ、オリンパスメディカルシステムズ社）を用いて実施した。ＥＧＤでは、胃内をくまなく観察し、内視鏡画像を撮影し、撮影枚数は１人の患者あたり１８～６９枚となった。
図５は、評価試験用データセットに用いられた内視鏡画像に関する患者および病変の特徴を示す図である。図５に示すように、腫瘍サイズ（直径）の中央値は２４ｍｍであり、腫瘍サイズ（直径）の範囲は３～１７０ｍｍであった。肉眼的分類では、５５病変（７１．４％）で表在型（０－ＩＩａ、０－ＩＩｂ、０－ＩＩｃ、０－ＩＩａ＋ＩＩｃ、０－ＩＩｃ＋ＩＩｂ、０－ＩＩｃ＋ＩＩＩ）が最も多かった。腫瘍の深さでは、早期胃がん（Ｔ１）が４２病変（６７．５％）であり、進行胃がん（Ｔ２－Ｔ４）が２５病変（３２．５％）であった。
［評価試験の方法］
本評価試験では、学習用データセットを用いて学習処理が行われた畳み込みニューラルネットワークベースの画像診断支援装置に対して評価試験用データセットを入力し、当該評価試験用データセットを構成する各内視鏡画像から胃がんを正しく検出できるか否かについて評価した。胃がんを正しく検出できた場合を「正解」とみなした。畳み込みニューラルネットワークは、内視鏡画像から胃がん（病変）を検出すると、その病変名（早期胃がんまたは進行胃がん）、病変位置および確率スコアを出力する。
なお、評価試験用データセットを構成する内視鏡画像に存在する胃がんのうち、いくつかの胃がんは複数の内視鏡画像に存在していたため、以下の定義を使用して評価試験を行った。
（定義１）
畳み込みニューラルネットワークが複数の内視鏡画像で同一（１つ）の胃がんを検出した場合は、正解とみなした。図６は、複数の内視鏡画像に同一のがんが存在する場合について説明する図である。図６Ａ，６Ｂにおいて、矩形枠５４，５６は、医師により手動で設定された胃がんの病変位置（範囲）を示す。矩形枠５８は、畳み込みニューラルネットワークにより推定された胃がんの病変位置（範囲）を示す。図６Ａは、胃がんを遠景で撮像した内視鏡画像を示し、図６Ｂは、当該胃がんを近視野で撮像した内視鏡画像を示す。図６Ａ，６Ｂに示すように、畳み込みニューラルネットワークは、遠景では胃がんを検出することはできなかったが、近景では胃がんを検出することができた。このような場合、本評価試験では、正解とみなした。
（定義２）
偽陽性の病変（胃がん）が異なる内視鏡画像で検出されても、それらが同じ病変であった場合、それらは１つの病変とみなした。
（定義３）
胃がんの病変位置（範囲）の境界線が不明確な場合があるため、畳み込みニューラルネットワークが胃がんの一部を検出した場合は正解とみなした。図７は、医師によって診断された病変位置（範囲）と、畳み込みニューラルネットワークによって診断された病変位置（範囲）との違いを説明する図である。図７において、矩形枠６０は、医師により手動で設定された胃がんの病変位置（範囲）を示す。矩形枠６２は、畳み込みニューラルネットワークにより推定された胃がんの病変位置（範囲）を示す。図７に示すように、医師により手動で設定された胃がんの病変位置（範囲）と、畳み込みニューラルネットワークにより推定された胃がんの病変位置（範囲）との間には差異があった。このように畳み込みニューラルネットワークが胃がんの少なくとも一部を検出した場合、本評価試験では正解とみなした。
また、本評価試験では、胃がんを検出する畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率（ＰＰＶ）を次の式（１），（２）を用いて算出した。
感度＝（畳み込みニューラルネットワークが検出した胃がんの数）／（評価試験用データセットを構成する内視鏡画像に存在する胃がんの数（７７））・・・（１）
陽性的中率＝（畳み込みニューラルネットワークが検出した胃がんの数）／（畳み込みニューラルネットワークが胃がんと診断した病変の数）・・・（２）
［評価試験の結果］
畳み込みニューラルネットワークは、評価試験用データセットを構成する２，２９６の内視鏡画像を分析する処理を４７秒という短い時間で終了させた。また、畳み込みニューラルネットワークは、７７の胃がん（病変）のうち７１の胃がんを検出した。すなわち、畳み込みニューラルネットワークの診断能力に対する感度は９２．２％であった。
図８は、内視鏡画像および解析結果画像の例を示す図である。図８Ａは、胃体中部小弯にわずかに赤くて平坦な病変が存在する内視鏡画像である。胃がんは背景粘膜の萎縮と類似しているため、図８Ａの内視鏡画像から胃がんを検出することは内視鏡医でも困難と思われた。図８Ｂは、畳み込みニューラルネットワークが胃がん（０－ＩＩｃ、５ｍｍ、ｔｕｂ１、Ｔ１ａ）を検出したことを示す解析結果画像である。図８Ｂにおいて、矩形枠６４は、医師により手動で設定された胃がんの病変位置（範囲）を示す。矩形枠６６は、畳み込みニューラルネットワークにより推定された胃がんの病変位置（範囲）を示す。
図９は、本評価試験において、腫瘍の深さおよび腫瘍サイズの違いに応じた感度の変化を示す図である。図９に示すように、畳み込みニューラルネットワークは、腫瘍サイズ（直径）が６ｍｍ以上である７１の胃がんのうち７１の胃がん（９８．６％）を検出した。また、畳み込みニューラルネットワークは、全ての浸潤がん（Ｔ１ｂ、Ｔ２、Ｔ３、Ｔ４ａ）を検出した。
一方、畳み込みニューラルネットワークは、６つの胃がんを見逃した。６つの胃がんのうち５つは、微小ながん（腫瘍サイズ≦５ｍｍ）であった。見逃された全ての胃がんは、内視鏡医でさえも胃炎と区別することが困難な分化型粘膜内がんであった。なお、胃粘膜内がんのダブリングタイム（腫瘍の体積が２倍になる時間）は２～３年と考えられているため、例え、このような小さながんを見逃しても毎年のＥＧＤで粘膜内がんとして検出されると考えられ、本発明の畳み込みニューラルネットワークの有用性と臨床応用を妨げるものではない。
図１０は、畳み込みニューラルネットワークによって見逃された病変（胃がん）の詳細を示す図である。図１１は、畳み込みニューラルネットワークによって見逃された病変が存在する内視鏡画像（解析結果画像）を示す図である。
図１１Ａにおいて、矩形枠７０は、畳み込みニューラルネットワークによって見逃された胃がん（前庭部大弯、０－ＩＩｃ、３ｍｍ、ｔｕｂ１、Ｔ１ａ）の病変位置（範囲）を示す。図１１Ｂにおいて、矩形枠７２は、畳み込みニューラルネットワークによって見逃された胃がん（胃体中部の小弯、０－ＩＩｃ、４ｍｍ、ｔｕｂ１、Ｔ１ａ）の病変位置（範囲）を示す。
図１１Ｃにおいて、矩形枠７４は、畳み込みニューラルネットワークによって見逃された胃がん（前庭部後壁、０－ＩＩｃ、４ｍｍ、ｔｕｂ１、Ｔ１ａ）の病変位置（範囲）を示す。図１１Ｄにおいて、矩形枠７６は、畳み込みニューラルネットワークによって見逃された胃がん（前庭部後壁、０－ＩＩｃ、５ｍｍ、ｔｕｂ１、Ｔ１ａ）の病変位置（範囲）を示す。
図１１Ｅにおいて、矩形枠７８は、畳み込みニューラルネットワークによって見逃された胃がん（前庭部大弯、０－ＩＩｃ、５ｍｍ、ｔｕｂ１、Ｔ１ａ）の病変位置（範囲）を示す。矩形枠８０は、畳み込みニューラルネットワークによって胃がんと推定された非がん性病変（幽門輪）である。図１１Ｆにおいて、矩形枠８２は、畳み込みニューラルネットワークによって見逃された胃がん（胃体下部の前壁、０－ＩＩｃ、１６ｍｍ、ｔｕｂ１、Ｔ１ａ）の病変位置（範囲）を示す。
また、畳み込みニューラルネットワークは、１６１の非がん性病変を胃がんとして検出した。陽性的中率は３０．６％であった。図１２は、畳み込みニューラルネットワークによって胃がんとして検出された非がん性病変の詳細を示す図である。図１２に示すように、胃がんとして検出された非がん性病変のほぼ半分は、色調の変化または不規則な粘膜表面の変化を伴う胃炎であった。このような胃炎は、内視鏡医が胃がんと区別することが困難なことも多く、胃生検による胃がん診断の陽性反応的中度（ＰＰＶ：Positive Predictive Value）は３．２～５．６％という報告がある。がんの臨床診断に関しては、がん検出の見逃しは患者の治療機会喪失につながることから、偽陽性よりも偽陰性が問題となる。内視鏡医による生検のＰＰＶが低いことを考慮すると、畳み込みニューラルネットワークのＰＰＶは臨床的に十分許容可能であると考えられる。
図１３は、畳み込みニューラルネットワークによって胃がんとして検出された非がん性病変を含む解析結果画像を示す図である。図１３Ａにおいて、矩形枠８４は、畳み込みニューラルネットワークにより胃がんとして検出された胃炎（不整な粘膜表面構造を伴う腸上皮化生）の病変位置（範囲）を示す。図１３Ｂにおいて、矩形枠８６は、畳み込みニューラルネットワークにより胃がんとして検出された胃炎（局所的な萎縮による白色粘膜）の病変位置（範囲）を示す。図１３Ｃにおいて、矩形枠８８は、畳み込みニューラルネットワークにより胃がんとして検出された胃炎（慢性胃炎による粘膜の発赤）の病変位置（範囲）を示す。
次に、上記実施の形態の構成における効果を確認するための第２の評価試験について説明する。
［学習用データセットの準備］
２０１３年１２月～２０１７年３月にかけて行われた大腸の内視鏡検査１２，８９５例の内視鏡画像を、画像診断支援装置における畳み込みニューラルネットワークの学習に使用する学習用データセット（教師データ）として用意した。内視鏡画像には、認定病理学者によって組織学的に証明された腺がん、腺腫、過形成性ポリープ、ＳＳＡＰ（ｓｅｓｓｉｌｅ ｓｅｒｒａｔｅｄ ａｄｅｎｏｍａ／ｐｏｌｙｐｓ）、若年性ポリープ、Ｐｅｕｔｚ－Ｊｅｇｈｅｒｓポリープ、炎症性ポリープ、リンパ球様凝集塊などが含まれる。ＥＧＤは、日常診療におけるスクリーニングまたは術前検査のために実施され、内視鏡画像は、標準的な内視鏡ビデオシステム（ＥＶＩＳ ＬＵＣＥＲＡ：ＣＦ ＴＹＰＥ Ｈ２６０ＡＬ／Ｉ、ＰＣＦ ＴＹＰＥ Ｑ２６０ＡＩ，Ｑ２６０ＡＺＩ、Ｈ２９０Ｉ，Ｈ２９０Ｚ、オリンパスメディカルシステムズ社）を用いて収集した。
図１４Ａは、突出型の腺腫を含む大腸の内視鏡画像を示す。図１４Ｂは、平坦型の腫瘍（点線９０を参照）を含む大腸の内視鏡画像を示す。図１４Ｃは、突出型の過形成性ポリープを含む大腸の内視鏡画像を示す。図１４Ｄは、平坦型の過形成性ポリープ（点線９２を参照）を含む大腸の内視鏡画像を示す。図１４Ｅは、突出型のＳＳＡＰを含む大腸の内視鏡画像を示す。図１４Ｆは、平坦型のＳＳＡＰ（点線９４を参照）を含む大腸の内視鏡画像を示す。
学習用データセットとしての内視鏡画像には、被験者の大腸内に対して白色光を照射して撮像された内視鏡画像、および、被験者の大腸内に対して狭帯域光（例えば、ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像を含めた。また、糞便の残留物、ハレーション、生検後の出血のために、画像品質が悪い内視鏡画像は、学習用データセットから除外した。
図１５Ａは、被験者の大腸内のＰｅｕｔｚ－Ｊｅｇｈｅｒｓポリープに対して白色光を照射して撮像された内視鏡画像を示す。図１５Ｂは、被験者の大腸内のＰｅｕｔｚ－Ｊｅｇｈｅｒｓポリープに対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像を示す。図１５Ｃは、被験者の大腸内の炎症性ポリープに対して白色光を照射して撮像された内視鏡画像を示す。図１５Ｄは、被験者の大腸内の炎症性ポリープに対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像を示す。図１５Ｅは、被験者の大腸内においてポリープ状領域のように見える非腫瘍性粘膜を撮像した内視鏡画像を示す。図１５Ｆは、被験者の大腸内においてポリープ状領域のように見えるリンパ球集合体を撮像した内視鏡画像を示す。
最終的に、学習用データセットとして、組織学的に証明された４，７５２の大腸ポリープに関する２０，４３１の内視鏡画像を収集するとともに、正常な大腸粘膜に関する４，０１３の内視鏡画像を収集した。収集された内視鏡画像において、全ての大腸ポリープの病変名（種類）および病変位置を精密に手動で特徴抽出のマーキング設定を行った。図１６は、学習用データセットに用いられた内視鏡画像に関する大腸ポリープ等の特徴を示す図である。なお、図１６において、１つの内視鏡画像において複数の大腸ポリープが含まれる場合、当該複数の大腸ポリープのそれぞれを、異なる内視鏡画像として数えた。
［学習・アルゴリズム］
画像診断支援装置を構築するため、Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ、https://arxiv.org/abs/1512.02325）をベースとした１６層以上で構成される畳み込みニューラルネットワークを使用した。バークレービジョン及びラーニングセンター(Berkeley Vision and Learning Center (BVLC))で開発されたCaffeディープラーニングフレームワークを学習および評価試験に使用した。畳み込みニューラルネットワークの全ての層は、確率的勾配降下法を使用して、グローバル学習率０．０００１で微調整されている。ＣＮＮと互換性を持たせるために、各画像を３００×３００ピクセルにリサイズした。各画像のリサイズに応じて、病変の病変位置に対するマーキングのサイズ変更を行った。
［評価試験用データセットの準備］
構築された畳み込みニューラルネットワークベースの画像診断支援装置の診断精度を評価するために、２０１７年１月１日～２０１７年３月３１日まで、通常の臨床検査としてＥＧＤを受けた１７４人の患者を対象にして、大腸ポリープを有する８８５の内視鏡画像を含む６，７５９の内視鏡画像（大腸）を評価試験用データセットとして収集した。通常の臨床検査における画像診断支援装置の診断精度を評価するため、便または送気不足を伴う内視鏡画像も評価試験用データセットとして収集した。しかし、炎症性腸疾患を伴う内視鏡画像は、診断結果が変わる可能性があるため、評価試験用データセットから除外した。また、生検後の出血を伴う内視鏡画像、および、内視鏡治療後の内視鏡画像についても評価試験用データセットから除外した。評価試験用データセットとしての内視鏡画像には、学習用データセットと同様に、被験者の大腸内に対して白色光を照射して撮像された内視鏡画像、および、被験者の大腸内に対して狭帯域光（例えば、ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像を含めた。図１７は、評価試験用データセットに用いられた内視鏡画像に関する大腸ポリープ等の特徴を示す図である。なお、図１７において、１つの内視鏡画像において複数の大腸ポリープが含まれる場合、当該複数の大腸ポリープのそれぞれを、異なる内視鏡画像として数えた。
［評価試験の方法］
本評価試験では、学習用データセットを用いて学習処理が行われた畳み込みニューラルネットワークベースの画像診断支援装置に対して評価試験用データセットを入力し、当該評価試験用データセットを構成する各内視鏡画像から大腸ポリープを正しく検出できるか否かについて評価した。大腸ポリープを正しく検出できた場合を「正解」とみなした。畳み込みニューラルネットワークは、内視鏡画像から大腸ポリープを検出すると、その病変名（種類）、病変位置および確率スコアを出力する。
なお、評価試験の結果を取得する際、以下の定義を使用して評価試験を行った。
（定義１）
医師によって診断された大腸ポリープの病変位置（範囲）の８０％以上の領域で、畳み込みニューラルネットワークによって診断された大腸ポリープの病変位置（範囲）が重なった場合、本評価試験では、畳み込みニューラルネットワークが内視鏡画像から大腸ポリープを正しく検出したと判断し、正解とみなした。
（定義２）
畳み込みニューラルネットワークが内視鏡画像から種類の異なる２つ以上の大腸ポリープを同じ病変位置（範囲）として検出した場合、本評価試験では、畳み込みニューラルネットワークは、確率スコアの最も高い種類の大腸ポリープを検出したと判断した。
また、本評価試験では、大腸ポリープを検出する畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率（ＰＰＶ）を次の式（１），（２）を用いて算出した。
感度＝（畳み込みニューラルネットワークが検出した大腸ポリープの数）／（評価試験用データセットを構成する内視鏡画像に存在する大腸ポリープの数）・・・（１）
陽性的中率＝（畳み込みニューラルネットワークが検出した大腸ポリープの数）／（畳み込みニューラルネットワークが大腸ポリープと診断した病変の数）・・・（２）
［評価試験の結果］
畳み込みニューラルネットワークは、評価試験用データセットを構成する内視鏡画像を分析する処理を４８．７枚／秒（すなわち１枚の内視鏡画像当たりの分析処理時間：２０ｍｓ）という速い速度で終了させた。また、畳み込みニューラルネットワークは、評価試験用データセットを構成する内視鏡画像において１，２４７の大腸ポリープの病変位置を推定し、１，１７２の真正な（組織学的に証明された）大腸ポリープのうち、１，０７３の大腸ポリープを正しく検出した。畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率は、それぞれ９２％および８６％であった。
具体的には、被験者の大腸内に対して白色光を照射して撮像された内視鏡画像において、畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率は、それぞれ９０％および８２％であった。また、被験者の大腸内に対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像において、畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率は、それぞれ９７％および９８％であった。
また、畳み込みニューラルネットワークは、評価試験用データセットを構成する内視鏡画像（１０ｍｍ未満のみの真正な大腸ポリープを含む）において１，１４３の大腸ポリープの病変位置を推定し、１，１４３の真正な大腸ポリープのうち、９６９の大腸ポリープを正しく検出した。畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率は、それぞれ９２％および８５％であった。
畳み込みニューラルネットワークの診断能力を向上させるためには、畳み込みニューラルネットワークによって真正な大腸ポリープが正しく検出されなかった、すなわち見逃された理由を検証することが重要である。そこで、本発明者らは、畳み込みニューラルネットワークによって誤って大腸ポリープが検出された内視鏡画像（偽陽性画像）、および、畳み込みニューラルネットワークによって真正な大腸ポリープが検出されなかった内視鏡画像（偽陰性画像）の全てをレビューし、いくつかのカテゴリに分類した。
図１８は、偽陽性画像および偽陰性画像の分類結果を示す図である。図１８に示すように、１６５の偽陽性画像のうち６４の偽陽性画像（３９％）は大腸ポリープと区別しやすい正常構造であり、その大部分は回盲弁（Ｎ＝５６）であった。また、５５の偽陽性画像（３３％）は大腸ひだであり、その大部分は送気不足を伴う画像であった。他の偽陽性画像（２０％）には、真正な大腸ポリープと区別しやすく、ハレーション（Ｎ＝１４）、カメラレンズの表面曇り（Ｎ＝４）、ぼやけ、ぼやけ（Ｎ＝２）または排泄物（Ｎ＝４）により人工的に生じた異常画像が含まれた。また、１２の偽陽性画像（７％）は、真正なポリープとして疑われたが、最終的に確認できなかった。
また、図１８に示すように、８９の偽陰性画像のうち５０の偽陰性画像（５６％）は、主に小さい又は暗いことにより大腸ポリープの表面の質感を認識しにくく、畳み込みニューラルネットワークによって真正な大腸ポリープとして検出されなかったと考えられる。また、３４の偽陰性画像（３８％）は、大腸ポリープが側方から、または部分的に撮像されたため、畳み込みニューラルネットワークによって真正な大腸ポリープとして検出されなかったと考えられる。また、５の偽陰性画像（６％）は、大腸ポリープがとても大きいため、畳み込みニューラルネットワークによって真正な大腸ポリープとして検出されなかったと考えられる。
また、本発明者らは、畳み込みニューラルネットワークによって検出されて分類された大腸ポリープの分類（ＣＮＮ分類）と、組織学的に証明された大腸プロープの分類（組織分類）との一致度合いを畳み込みニューラルネットワークの分類精度としてレビューした。図１９は、ＣＮＮ分類と組織分類との一致度合いを示す図である。
図１９Ａに示すように、被験者の大腸内に対して白色光を照射して撮像された内視鏡画像では、全体の８３％の大腸ポリープの分類が、畳み込みニューラルネットワークによって正しく分類されていた。組織学的に腺腫として証明された大腸ポリープのうち９７％の大腸ポリープは、畳み込みニューラルネットワークによって腺腫として正しく分類された。その際における畳み込みニューラルネットワークの診断能力（分類能力）に対する陽性的中率および陰性的中率は、それぞれ８６％および８５％であった。また、組織学的に過形成性ポリープとして証明された大腸ポリープのうち４７％の大腸ポリープは、畳み込みニューラルネットワークによって過形成性ポリープとして正しく分類された。その際における畳み込みニューラルネットワークの診断能力（分類能力）に対する陽性的中率および陰性的中率は、それぞれ６４％および９０％であった。また、組織学的にＳＳＡＰとして証明された大腸ポリープの多くは、畳み込みニューラルネットワークによって腺腫（２６％）または過形成性ポリープ（５２％）として誤って分類された。
図１９Ｂに示すように、被験者の大腸内に対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像では、全体の８１％の大腸ポリープの分類が、畳み込みニューラルネットワークによって正しく分類されていた。組織学的に腺腫として証明された大腸ポリープのうち９７％の大腸ポリープは、畳み込みニューラルネットワークによって腺腫として正しく分類された。その際における畳み込みニューラルネットワークの診断能力（分類能力）に対する陽性的中率および陰性的中率は、それぞれ８３％および９１％であった。
また、本発明者らは、５ｍｍ以下の大腸ポリープについて、畳み込みニューラルネットワークによって検出されて分類された大腸ポリープの分類（ＣＮＮ分類）と、組織学的に証明された大腸プロープの分類（組織分類）との一致度合いを畳み込みニューラルネットワークの分類精度としてレビューした。図２０は、５ｍｍ以下の大腸ポリープについて、ＣＮＮ分類と組織分類との一致度合いを示す図である。
図２０に示すように、被験者の大腸内に対して白色光を照射して撮像された内視鏡画像では、組織学的に腺腫として証明された大腸ポリープ（Ｎ＝３５６）のうち９８％の大腸ポリープ（Ｎ＝３４８）は、畳み込みニューラルネットワークによって腺腫として正しく分類された。その際における畳み込みニューラルネットワークの診断能力（分類能力）に対する陽性的中率および陰性的中率は、それぞれ８５％および８８％であった。また、組織学的に過形成性ポリープとして証明された大腸ポリープのうち５０％の大腸ポリープは、畳み込みニューラルネットワークによって過形成性ポリープとして正しく分類された。その際における畳み込みニューラルネットワークの診断能力（分類能力）に対する陽性的中率および陰性的中率は、それぞれ７７％および８８％であった。また、図示していないが、被験者の大腸内に対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像では、組織学的に腺腫として証明された大腸ポリープ（Ｎ＝１４２）のうち９７％の大腸ポリープ（Ｎ＝１３８）は、畳み込みニューラルネットワークによって腺腫として正しく分類された。その際における畳み込みニューラルネットワークの診断能力（分類能力）に対する陽性的中率および陰性的中率は、それぞれ８４％および８８％であった。図１９，２０に示す結果から明らかなように、畳み込みニューラルネットワークの診断能力（分類能力）は、大腸ポリープの大きさに関係なく同等であることを示している。
以上の第２の評価試験の結果から、畳み込みニューラルネットワークは、大腸ポリープが小さくても、かなり正確かつ驚くべき速度で大腸ポリープを効果的に検出し、大腸の内視鏡検査における大腸ポリープの見逃しを減らすのに役立つ可能性があることが判った。さらに、畳み込みニューラルネットワークは、検出された大腸ポリープを正確に分類し、内視鏡医による内視鏡画像の診断を強力に支援することができることが判った。
図２１，２２は、第２の評価試験における内視鏡画像および解析結果画像の例を示す図である。図２１Ａは、畳み込みニューラルネットワークによって正しく検出および分類された大腸ポリープ（腺腫）を含む内視鏡画像および解析結果画像を示す。図２１Ａに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１１０、病変名（腺腫：Adenoma）および確率スコア（０．９７）が表示されている。なお、矩形枠１１２は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図２１Ｂは、畳み込みニューラルネットワークによって正しく検出および分類された大腸ポリープ（過形成性ポリープ）を含む内視鏡画像および解析結果画像を示す。図２１Ｂに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１１４、病変名（過形成性ポリープ：Hyperplastic）および確率スコア（０．８３）が表示されている。なお、矩形枠１１６は、参考までに、組織学的に証明された大腸ポリープ（過形成性ポリープ）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図２１Ｃは、畳み込みニューラルネットワークによって検出されなかった、すなわち見逃された大腸ポリープ（腺腫）を含む内視鏡画像を偽陰性画像として示す。矩形枠１１８は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図２１Ｄは、畳み込みニューラルネットワークによって誤って検出および分類された正常な大腸ひだを含む内視鏡画像および解析結果画像を偽陽性画像として示す。図２１Ｄに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１２０、病変名（腺腫：Hyperplastic）および確率スコア（０．７０）が表示されている。
図２１Ｅは、畳み込みニューラルネットワークによって病変位置（範囲）が正しく検出されたものの、誤って分類された大腸ポリープ（腺腫）を含む内視鏡画像および解析結果画像を示す。図２１Ｅに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１２２、病変名（過形成性ポリープ：Hyperplastic）および確率スコア（０．５４）が表示されている。なお、矩形枠１２４は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図２１Ｆは、畳み込みニューラルネットワークによって病変位置（範囲）が正しく検出されたものの、誤って分類された大腸ポリープ（過形成性ポリープ）を含む内視鏡画像および解析結果画像を示す。図２１Ｆに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１２６、病変名（腺腫：Adenoma）および確率スコア（０．６２）が表示されている。なお、矩形枠１２８は、参考までに、組織学的に証明された大腸ポリープ（過形成性ポリープ）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図２２Ａは、畳み込みニューラルネットワークによって検出されなかった、すなわち見逃された大腸ポリープ（腺腫）を含む内視鏡画像を偽陰性画像として示す。矩形枠１３０，１３２は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。矩形枠１３０，１３２により示される大腸ポリープ（腺腫）はとても小さく、当該大腸ポリープを認識しにくい状況であったため、畳み込みニューラルネットワークによって検出されなかったと考えられる。
図２２Ｂは、畳み込みニューラルネットワークによって検出されなかった、すなわち見逃された大腸ポリープ（腺腫）を含む内視鏡画像を偽陰性画像として示す。矩形枠１３４は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。矩形枠１３４により示される大腸ポリープ（腺腫）は暗く、当該大腸ポリープを認識しにくい状況であったため、畳み込みニューラルネットワークによって検出されなかったと考えられる。
図２２Ｃは、畳み込みニューラルネットワークによって検出されなかった、すなわち見逃された大腸ポリープ（腺腫）を含む内視鏡画像を偽陰性画像として示す。矩形枠１３６は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。矩形枠１３６により示される大腸ポリープ（腺腫）が側方から、または、部分的に撮像されたため、畳み込みニューラルネットワークによって検出されなかったと考えられる。
図２２Ｄは、畳み込みニューラルネットワークによって検出されなかった、すなわち見逃された大腸ポリープ（腺腫）を含む内視鏡画像を偽陰性画像として示す。矩形枠１３８は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。矩形枠１３８により示される大腸ポリープ（腺腫）はとても大きく、当該大腸ポリープを認識しにくい状況であったため、畳み込みニューラルネットワークによって検出されなかったと考えられる。
図２２Ｅは、畳み込みニューラルネットワークによって誤って検出および分類された回盲弁（正常構造）を含む内視鏡画像および解析結果画像を偽陽性画像として示す。図２２Ｅに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１４０、病変名（その他：The others）および確率スコア（０．６２）が表示されている。
図２２Ｆは、畳み込みニューラルネットワークによって誤って検出および分類された正常な大腸ひだを含む内視鏡画像および解析結果画像を偽陽性画像として示す。図２２Ｆに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１４２、病変名（腺腫：Adenoma）および確率スコア（０．３２）が表示されている。
図２２Ｇは、畳み込みニューラルネットワークによって誤って検出および分類されたハレーション（人工的な異常画像）を含む内視鏡画像および解析結果画像を偽陽性画像として示す。図２２Ｇに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１４４、病変名（腺腫：Adenoma）および確率スコア（０．４３）が表示されている。
図２２Ｈは、畳み込みニューラルネットワークによって誤って検出および分類されたポリープを含む内視鏡画像および解析結果画像を偽陽性画像として示す。当該ポリープは、真正なポリープと疑われたが、最終的に確認できなかった。図２２Ｈに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１４６、病変名（過形成性ポリープ：Hyperplastic）および確率スコア（０．４８）が表示されている。
次に、上記実施の形態の構成における効果を確認するための第３の評価試験について説明する。
［学習用データセットの準備］
２０１６年２月～２０１７年４月にかけて行われた食道の内視鏡画像８，４２８枚（３８４人）を、画像診断支援装置における畳み込みニューラルネットワークの学習に使用する学習用データセット（教師データ）として用意した。内視鏡画像には、認定病理学者によって組織学的に証明された食道がん（具体的には、扁平上皮がん（ＥＳＣＣ）または腺がん（ＥＡＣ））が含まれる。内視鏡検査は、日常診療におけるスクリーニングまたは術前検査のために実施され、内視鏡画像は、標準的な内視鏡（ＧＩＦ－Ｈ２９０Ｚ、ＧＩＦ－Ｈ２９０、ＧＩＦ－ＸＰ２９０Ｎ、ＧＩＦ－Ｈ２６０Ｚ、ＧＩＦ－Ｈ２６０、オリンパスメディカルシステムズ社、東京）および標準的な内視鏡ビデオシステム（ＥＶＩＳ ＬＵＣＥＲＡ ＣＶ－２６０／ＣＬＶ－２６０、ＥＶＩＳ ＬＵＣＥＲＡ ＥＬＩＴＥ ＣＶ－２９０／ＣＬＶ－２９０ＳＬ、オリンパスメディカルシステムズ社）を用いて収集した。
学習用データセットとしての内視鏡画像には、被験者の食道内に対して白色光を照射して撮像された内視鏡画像、および、被験者の食道内に対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像を含めた。また、ハレーション、レンズのくもり、焦点外れ、粘液または送気不足等のために、画像品質が悪い内視鏡画像は、学習用データセットから除外した。
最終的に、学習用データセットとして、組織学的に証明された食道がんに関する８，４２８枚の内視鏡画像を収集した。当該内視鏡画像には、表在型食道がん３３２病変と進行胃がん６５病変とからなる３９７病変の扁平上皮がんと、表在型食道がん１９病変と進行胃がん１３病変とからなる腺がん３２病変とが含まれていた。収集された内視鏡画像において、上部内視鏡検査の件数が２，０００症例以上の経験豊富な内視鏡医は、全ての食道がん（扁平上皮がんまたは腺がん）の病変名（表在型食道がん、または、進行型食道がん）および病変位置を精密に手動で特徴抽出のマーキング設定を行った。
［学習・アルゴリズム］
画像診断支援装置を構築するため、Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ、https://arxiv.org/abs/1512.02325）をベースとした１６層以上で構成される畳み込みニューラルネットワークを使用した。バークレービジョン及びラーニングセンター(Berkeley Vision and Learning Center (BVLC))で開発されたCaffeディープラーニングフレームワークを学習および評価試験に使用した。畳み込みニューラルネットワークの全ての層は、確率的勾配降下法を使用して、グローバル学習率０．０００１で微調整されている。ＣＮＮと互換性を持たせるために、各画像を３００×３００ピクセルにリサイズした。各画像のリサイズに応じて、病変の病変位置に対するマーキングのサイズ変更を行った。
［評価試験用データセットの準備］
構築された畳み込みニューラルネットワークベースの画像診断支援装置の診断精度を評価するために、通常の臨床検査として内視鏡検査を受けた９７人の患者（４７人：食道がん４９病変を有する、５０人：食道がんを有しない）を対象にして、１，１１８の内視鏡画像（食道）を評価試験用データセットとして収集した。その結果、４７人の患者のうち４５人に食道がんが１病変存在し、２人に食道がんが２病変存在していた。評価試験用データセットとしての内視鏡画像には、学習用データセットと同様に、被験者の食道内に対して白色光を照射して撮像された内視鏡画像、および、被験者の食道内に対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像を含めた。
図２３は、評価試験用データセットに用いられた内視鏡画像に関する患者（ｎ＝４７）および病変（ｎ＝４９）の特徴を示す図である。図２３に示すように、腫瘍サイズ（直径）の中央値は２０ｍｍであり、腫瘍サイズ（直径）の範囲は５～７００ｍｍであった。肉眼的分類では、４３病変で表在型（０－Ｉ型、０－ＩＩａ型、０－ＩＩｂ型、０－ＩＩｃ型）が進行型（６病変）より多かった。腫瘍の深さでは、表在型食道がん（粘膜がん：Ｔ１ａ、粘膜下がん：Ｔ１ｂ）が４２病変であり、進行胃がん（Ｔ２－Ｔ４）が７病変であった。組織病理学では、扁平上皮がんが４１病変であり、腺がんが８病変であった。
［評価試験の方法］
本評価試験では、学習用データセットを用いて学習処理が行われた畳み込みニューラルネットワークベースの画像診断支援装置に対して評価試験用データセットを入力し、当該評価試験用データセットを構成する各内視鏡画像から食道がんを正しく検出できるか否かについて評価した。食道がんを正しく検出できた場合を「正解」とみなした。畳み込みニューラルネットワークは、内視鏡画像から食道がんを検出すると、その病変名（表在型食道がん、または、進行型食道がん）、病変位置および確率スコアを出力する。
なお、評価試験の結果を取得する際、以下の定義を使用して評価試験を行った。
（定義１）
畳み込みニューラルネットワークが食道がんの一部でも検出した場合、本評価試験では、畳み込みニューラルネットワークは、食道がんを検出したと判断し、正解とみなした。なぜなら、内視鏡画像において食道がんの境界全体を認識することが困難な場合があるからです。ただし、畳み込みニューラルネットワークによって検出された食道がんの病変位置（範囲）を示す矩形枠内に実際に食道がんが存在した場合でも、その矩形枠が非食道がんの部位を広範囲（内視鏡画像の８０％以上）に含むときには、本評価試験では、畳み込みニューラルネットワークは食道がんを検出できなかったと判断した。
（定義２）
食道がんが２病変存在していた２人の患者に関する内視鏡画像において、畳み込みニューラルネットワークが当該２病変を検出した場合に限り、本評価試験では、畳み込みニューラルネットワークが食道がんを検出したと判断し、正解とみなした。
（定義３）
食道がんの存在しない内視鏡画像において畳み込みニューラルネットワークが少なくとも１つの非食道がんの部位を食道がんとして検出した場合、本評価試験では、畳み込みニューラルネットワークが食道がんを誤検出したと判断し、偽陽性とみなした。ただし、食道がんの存在しない１つの内視鏡画像において畳み込みニューラルネットワークが２つの非食道がんの部位を食道がんとして誤検出した場合、本評価試験では、２つではなく１つの偽陽性としてカウントした。
また、本評価試験では、各内視鏡画像における食道がんを検出する畳み込みニューラルネットワークの診断能力に対する感度、特異度、陽性的中率（ＰＰＶ）および陰性的中率（ＮＰＶ）を次の式（１）～（４）を用いて算出した。
感度＝（畳み込みニューラルネットワークが食道がんを正しく検出した内視鏡画像の数）／（評価試験用データセットを構成し、食道がんが存在する内視鏡画像の数）・・・（１）
特異度＝（畳み込みニューラルネットワークが、食道がんが存在しないことを正しく検出した内視鏡画像の数）／（評価試験用データセットを構成し、食道がんが存在しない内視鏡画像の数）・・・（２）
陽性的中率＝（畳み込みニューラルネットワークが食道がんを正しく検出した内視鏡画像の数）／（畳み込みニューラルネットワークが食道がんを検出した内視鏡画像の数）・・・（３）
陰性的中率＝（畳み込みニューラルネットワークが、食道がんが存在しないことを正しく検出した内視鏡画像の数）／（畳み込みニューラルネットワークが、食道がんが存在しないことを検出した内視鏡画像の数）・・・（４）
［評価試験の結果］
畳み込みニューラルネットワークは、評価試験用データセットを構成する１，１１８の内視鏡画像を分析する処理を２７秒で終了させた。注目すべきことに、畳み込みニューラルネットワークは、腫瘍サイズが１０ｍｍ未満である全て（７つ）の食道がんを正しく検出した。畳み込みニューラルネットワークの診断能力に対する陽性的中率は４０％であり、陰影と正常構造の誤診断であったが、陰性的中率は９５％であった。また、畳み込みニューラルネットワークは、食道がんの分類（表在型食道がんまたは進行型食道がん）を９８％の精度で正しく検出した。
図２４は、第３の評価試験における内視鏡画像および解析結果画像の例を示す図である。図２４Ａは、畳み込みニューラルネットワークによって正しく検出および分類された食道がんを含む内視鏡画像（被験者の食道内に対して白色光を照射して撮像された内視鏡画像）および解析結果画像を示す。図２４Ａに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１５０、病変名（表在型食道がん）および確率スコア（０．９１）が表示されている。なお、矩形枠１５２は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図２４Ｂは、図２４Ａに対応し、畳み込みニューラルネットワークによって正しく検出および分類された食道がんを含む内視鏡画像（被験者の食道内に対してＮＢＩ用狭帯域光を照射して撮像された内視鏡画像）および解析結果画像を示す。図２４Ｂに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１５４、病変名（表在型食道がん）および確率スコア（０．９７）が表示されている。なお、矩形枠１５６は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図２４Ｃは、畳み込みニューラルネットワークによって検出されなかった、すなわち見逃された食道がんを含む内視鏡画像（被験者の食道内に対して白色光を照射して撮像された内視鏡画像）を偽陰性画像として示す。矩形枠１５８は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図２４Ｄは、図２４Ｃに対応し、畳み込みニューラルネットワークによって正しく検出および分類された食道がんを含む内視鏡画像（被験者の食道内に対してＮＢＩ用狭帯域光を照射して撮像された内視鏡画像）および解析結果画像を示す。図２４Ｄに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１６０、病変名（表在型食道がん）および確率スコア（０．９８）が表示されている。なお、矩形枠１６２は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図２５は、食道がんを有する４７人の症例（食道がん）、食道がんを有しない５０人の症例（非食道がん）について、畳み込みニューラルネットワークによる食道がん／非食道がんの検出結果、および、生検による食道がん／非食道がんの検出結果を示す図である。図２５において、包括的な診断結果では、被験者の食道内に対して白色光およびＮＢＩ用狭帯域光の少なくとも一方を照射して撮像された内視鏡画像において、畳み込みニューラルネットワークが食道がん／非食道がんを正しく検出した場合、本評価試験では、畳み込みニューラルネットワークが食道がん／非食道がんを正しく検出したと判断した。図２５に示すように、畳み込みニューラルネットワークは、包括的な診断を行った場合、内視鏡画像に食道がんが存在する症例の９８％（４６／４７）において、食道がんを正しく検出した。また、図示していないが、畳み込みニューラルネットワークは、腫瘍サイズが１０ｍｍ未満である全ての食道がんを正しく検出した。
図２６は、図２５に示す各症例において、白色光を照射して撮像された内視鏡画像における感度（以下、白色光感度）、ＮＢＩ用狭帯域光を照射して撮像された内視鏡画像における感度（以下、ＮＢＩ用狭帯域光感度）、および、白色光およびＮＢＩ用狭帯域光の少なくとも一方を照射して撮像された内視鏡画像における感度（以下、包括的感度）を示す図である。図２６に示すように、図２５に示す各症例において、ＮＢＩ用狭帯域光感度（８９％）は白色光感度（８１％）より高く、包括的感度（９８％）は白色光感度より非常に高かった。扁平上皮がんに関する白色光感度、ＮＢＩ用狭帯域光感度および包括的感度は、それぞれ７９％、８９％、９７％であった。腺がんに関する白色光感度、ＮＢＩ用狭帯域光感度および包括的感度は、それぞれ８８％、８８％、１００％であった。
図２７は、白色光またはＮＢＩ用狭帯域光を照射して撮像された各内視鏡画像について、畳み込みニューラルネットワークによる食道がん／非食道がんの検出結果、および、生検による食道がん／非食道がんの検出結果を示す図である。図２８は、図２７に示す各内視鏡画像において、白色光を照射して撮像された内視鏡画像における感度（以下、白色光感度）、および、ＮＢＩ用狭帯域光を照射して撮像された内視鏡画像における感度（以下、ＮＢＩ用狭帯域光感度）を示す図である。
図２７に示すように、畳み込みニューラルネットワークは、生検結果として食道がんが存在すると診断された内視鏡画像の７４％（１２５／１６８）において、食道がんを正しく検出した。そして、畳み込みニューラルネットワークの診断能力に対する感度、特異度、陽性的中率および陰性的中率は、それぞれ７４％、８０％、４０％および９５％であった。また、図２８に示すように、ＮＢＩ用狭帯域光感度（８１％）は、白色光感度（６９％）より高かった。扁平上皮がんに関する白色光感度およびＮＢＩ用狭帯域光感度は、それぞれ７２％、８４％であった。腺がんに関する白色光感度およびＮＢＩ用狭帯域光感度は、それぞれ５５％、６７％であった。
本発明者らは、畳み込みニューラルネットワークによって検出されて分類された食道がんの分類（ＣＮＮ分類）と、組織学的に証明された食道がんの分類（深達度）との一致度合いを畳み込みニューラルネットワークの分類精度としてレビューした。図２９は、ＣＮＮ分類と深達度との一致度合いを示す図である。
図２９に示すように、被験者の食道内に対して白色光を照射して撮像された内視鏡画像では、全体の１００％（８９／８９）の食道がんの分類が、畳み込みニューラルネットワークによって正しく分類されていた。すなわち、組織学的に表在型食道がんとして証明された食道がんのうち１００％（７５／７５）の食道がんは、畳み込みニューラルネットワークによって表在型食道がんとして正しく分類された。また、組織学的に進行型食道がんとして証明された食道がんのうち１００％（１４／１４）の食道がんは、畳み込みニューラルネットワークによって進行型食道がんとして正しく分類された。
また、被験者の食道内に対してＮＢＩ用狭帯域光を照射して撮像された内視鏡画像では、全体の９６％（７６／７９）の食道がんの分類が、畳み込みニューラルネットワークによって正しく分類されていた。組織学的に表在型食道がんとして証明された食道がんのうち９９％（６７／６８）の食道がんは、畳み込みニューラルネットワークによって表在型食道がんとして正しく分類された。また、組織学的に進行型食道がんとして証明された食道がんのうち８２％（９／１１）の食道がんは、畳み込みニューラルネットワークによって進行型食道がんとして正しく分類された。
また、被験者の食道内に対して白色光またはＮＢＩ用狭帯域光を照射して撮像された内視鏡画像では、全体の９８％（１６５／１６８）の食道がんの分類が、畳み込みニューラルネットワークによって正しく分類されていた。組織学的に表在型食道がんとして証明された食道がんのうち９９％（１４２／１４３）の食道がんは、畳み込みニューラルネットワークによって表在型食道がんとして正しく分類された。また、組織学的に進行型食道がんとして証明された食道がんのうち９２％（２３／２５）の食道がんは、畳み込みニューラルネットワークによって進行型食道がんとして正しく分類された。以上のように、畳み込みニューラルネットワークの分類精度は、非常に高いことが判った。なお、扁平上皮がんおよび腺がんに関する畳み込みニューラルネットワークの分類精度は、それぞれ９９％（１４６／１４７）および９０％（１９／２１）であった。
畳み込みニューラルネットワークの診断能力を向上させるためには、畳み込みニューラルネットワークによって誤って食道がんが検出された理由と、真正な食道がんが正しく検出されなかった、すなわち見逃された理由とを検証することが重要である。そこで、本発明者らは、畳み込みニューラルネットワークによって誤って食道がんが検出された内視鏡画像（偽陽性画像）、および、畳み込みニューラルネットワークによって真正な食道がんが検出されなかった内視鏡画像（偽陰性画像）の全てをレビューし、いくつかのカテゴリに分類した。
図３０は、偽陽性画像および偽陰性画像の分類結果を示す図である。図３０に示すように、１８８の偽陽性画像のうち９５の偽陽性画像（５０％）は陰影を伴っていた。また、６１の偽陽性画像（３２％）は食道がんと判別しやすい正常構造を含み、その大部分は食道胃接合部（ＥＧＪ）や左主気管支であった。また、３２の偽陽性画像（１７％）は食道がんとして誤診される可能性がある良性病変を含み、その大部分は術後瘢痕、焦点萎縮、バレット食道、炎症であった。
図３１Ａは、陰影を伴っていたため、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。図３１Ａに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１７０、病変名（表在型食道がん）および確率スコア（０．７０）が表示されている。
図３１Ｂは、食道がんと判別しやすい正常構造（食道胃接合部）を含んでいたため、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。図３１Ｂに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１７２、病変名（表在型食道がん）および確率スコア（０．５７）が表示されている。
図３１Ｃは、食道がんと判別しやすい正常構造（左主気管支）を含んでいたため、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。図３１Ｃに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１７４、病変名（表在型食道がん）および確率スコア（０．６０）が表示されている。
図３１Ｄは、食道がんと判別しやすい正常構造（椎体）を含んでいたため、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。図３１Ｄに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１７６、病変名（表在型食道がん）および確率スコア（０．８０）が表示されている。
図３１Ｅは、食道がんとして誤診される可能性がある良性病変（術後瘢痕）を含んでいたため、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。図３１Ｅに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１７８、病変名（表在型食道がん）および確率スコア（０．８８）が表示されている。
図３１Ｆは、食道がんとして誤診される可能性がある良性病変（焦点萎縮）を含んでいたため、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。図３１Ｆに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１８０、病変名（表在型食道がん）および確率スコア（０．８３）が表示されている。
また、図３０に示すように、４１の偽陰性画像のうち１０の偽陰性画像（２５％）は、畳み込みニューラルネットワークによって背景粘膜による炎症として誤診断された結果として、真正な食道がんとして検出されなかったと考えられる。また、７の偽陰性画像（１７％）は、ＮＢＩ用狭帯域光を照射された扁平上皮がんが不明瞭に撮像されたため、畳み込みニューラルネットワークによって真正な食道がんとして検出されなかったと考えられる。
また、４の偽陰性画像（１０％）は、バレット食道腺がんが存在したものの腺がんに関する学習に不十分なところがあったため、畳み込みニューラルネットワークによって真正な食道がんとして検出されなかったと考えられる。また、２０の偽陰性画像（４９％）は、内視鏡画像において病変が遠方に存在する、病変の一部のみが存在する等の診断困難な状態であったため、畳み込みニューラルネットワークによって真正な食道がんとして検出されなかったと考えられる。
図３２Ａは、内視鏡画像において病変が遠方に存在し診断困難な状態であったため、畳み込みニューラルネットワークによって検出されなかった食道がんを含む内視鏡画像を偽陰性画像として示す図である。矩形枠１８２は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図３２Ｂは、内視鏡画像において病変の一部のみが存在し診断困難な状態であったため、畳み込みニューラルネットワークによって検出されなかった食道がんを含む内視鏡画像を偽陰性画像として示す図である。矩形枠１８４は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図３２Ｃは、背景粘膜による炎症として誤診断された結果として、畳み込みニューラルネットワークによって検出されなかった食道がんを含む内視鏡画像を偽陰性画像として示す図である。矩形枠１８６は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図３２Ｄは、ＮＢＩ用狭帯域光を照射された扁平上皮がんが不明瞭に撮像されたため、畳み込みニューラルネットワークによって検出されなかった食道がんを含む内視鏡画像を偽陰性画像として示す図である。矩形枠１８８は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
図３２Ｅは、バレット食道腺がんが存在したものの腺がんに関する学習に不十分なところがあったため、畳み込みニューラルネットワークによって検出されなかった食道がん（バレット食道腺がん）を含む内視鏡画像を偽陰性画像として示す図である。矩形枠１９０は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。
以上の第３の評価試験の結果から、畳み込みニューラルネットワークは、食道がんが小さくても、かなり正確かつ驚くべき速度で食道がんを効果的に検出し、食道の内視鏡検査における食道がんの見逃しを減らすのに役立つ可能性があることが判った。さらに、畳み込みニューラルネットワークは、検出された食道がんを正確に分類し、内視鏡医による内視鏡画像の診断を強力に支援することができることが判った。そして、より多くの学習処理を行うことによって、畳み込みニューラルネットワークはより高い診断精度を達成すると考えられる。
２０１７年１０月３０日出願の特願２０１７－２０９２３２、２０１８年１月２２日出願の特願２０１８－００７９６７、２０１８年３月５日出願の特願２０１８－０３８８２８の日本出願に含まれる明細書、図面および要約書の開示内容は、全て本願に援用される。
本発明は、内視鏡医による内視鏡画像の診断を支援することが可能な画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラムとして有用である。
１０ 内視鏡画像取得部
２０ 病変推定部
３０ 表示制御部
４０ 学習装置
１００ 画像診断支援装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ 通信インターフェイス
２００ 内視鏡撮像装置
３００ 表示装置
Ｄ１ 内視鏡画像データ
Ｄ２ 推定結果データ
Ｄ３ 解析結果画像データ
Ｄ４ 教師データ

Claims (10)

  1. 撮像装置により撮像された患者の第１の内視鏡画像と、前記患者の年齢、性別、地域または既病歴に係る情報とを取得する画像取得部と、
    病変位置がマーキングされた第２の内視鏡画像と、前記第２の内視鏡画像に対応する患者の年齢、性別、地域または既病歴に係る情報とを学習用データとして調整された畳み込みニューラルネットワークを用いて、取得した前記第１の内視鏡画像と前記患者の年齢、性別、地域または既病歴に係る情報とから、前記第１の内視鏡画像内に存在する病変位置を推定して出力する病変推定部と、
    を有する画像診断支援装置。
  2. 前記病変推定部により推定された病変位置を、前記第１の内視鏡画像上に重畳表示させる表示制御部を有する、
    請求項１に記載の画像診断支援装置。
  3. 前記病変推定部は、病変名又は適合確率を推定し、
    前記表示制御部は、前記病変名又は前記適合確率を前記第１の内視鏡画像上に重畳表示させる、
    請求項２に記載の画像診断支援装置。
  4. 前記第１の内視鏡画像は、動画であり、
    前記表示制御部は、推定された前記病変位置を、前記第１の内視鏡画像上に連続的に重畳表示させる、
    請求項２または３に記載の画像診断支援装置。
  5. 前記画像取得部は、複数の診察室から伝送される前記第１の内視鏡画像を取得する、
    請求項１～４の何れか１項に記載の画像診断支援装置。
  6. 前記病変推定部は、遠隔地からの遠隔操作により、前記第１の内視鏡画像内に存在する病変位置を推定する、
    請求項１～５の何れか１項に記載の画像診断支援装置。
  7. 撮像装置により撮像された患者の第１の内視鏡画像と、前記患者の年齢、性別、地域または既病歴に係る情報とを取得する画像取得工程と、
    病変位置がマーキングされた第２の内視鏡画像と、前記第２の内視鏡画像に対応する患者の年齢、性別、地域または既病歴に係る情報とを学習用データとして調整された畳み込みニューラルネットワークを用いて、取得した前記第１の内視鏡画像と前記患者の年齢、性別、地域または既病歴に係る情報とから、前記第１の内視鏡画像内に存在する病変位置を推定して出力する病変推定工程と、
    を実行する画像診断支援装置の作動方法。
  8. 前記第１の内視鏡画像は、動画であり、
    前記病変推定工程により推定された病変位置を、前記第１の内視鏡画像上に連続的に重畳表示させる表示制御工程を含む、
    請求項７に記載の作動方法。
  9. コンピューターに、
    撮像装置により撮像された患者の第１の内視鏡画像と、前記患者の年齢、性別、地域または既病歴に係る情報とを取得する画像取得処理と、
    病変位置がマーキングされた第２の内視鏡画像と、前記第２の内視鏡画像に対応する患者の年齢、性別、地域または既病歴に係る情報とを学習用データとして調整された畳み込みニューラルネットワークを用いて、取得した前記第１の内視鏡画像と前記患者の年齢、性別、地域または既病歴に係る情報とから、前記第１の内視鏡画像内に存在する病変位置を推定して出力する病変推定処理と、
    を実行させる画像診断支援プログラム。
  10. 病変位置がマーキングされた内視鏡画像と、前記内視鏡画像に対応する患者の年齢、性別、地域または既病歴に係る情報とを学習用データとして畳み込みニューラルネットワークを調整することによって得られ、
    撮像装置により撮像された患者の内視鏡画像と前記患者の年齢、性別、地域または既病歴に係る情報とから、前記患者の内視鏡画像内に存在する病変位置を推定するようコンピューターを機能させる学習済みモデル。
JP2020018003A 2017-10-30 2020-02-05 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム Active JP7335552B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2017209232 2017-10-30
JP2017209232 2017-10-30
JP2018007967 2018-01-22
JP2018007967 2018-01-22
JP2018038828 2018-03-05
JP2018038828 2018-03-05
JP2019520910A JP6657480B2 (ja) 2017-10-30 2018-10-30 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019520910A Division JP6657480B2 (ja) 2017-10-30 2018-10-30 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム

Publications (3)

Publication Number Publication Date
JP2020073081A JP2020073081A (ja) 2020-05-14
JP2020073081A5 JP2020073081A5 (ja) 2020-06-25
JP7335552B2 true JP7335552B2 (ja) 2023-08-30

Family

ID=66333530

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019520910A Active JP6657480B2 (ja) 2017-10-30 2018-10-30 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
JP2020018003A Active JP7335552B2 (ja) 2017-10-30 2020-02-05 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019520910A Active JP6657480B2 (ja) 2017-10-30 2018-10-30 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム

Country Status (9)

Country Link
US (1) US11633084B2 (ja)
EP (1) EP3705025A4 (ja)
JP (2) JP6657480B2 (ja)
KR (1) KR20200106028A (ja)
CN (1) CN111655116A (ja)
BR (1) BR112020008774A2 (ja)
SG (1) SG11202003973VA (ja)
TW (1) TW201922174A (ja)
WO (1) WO2019088121A1 (ja)

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6818424B2 (ja) * 2016-04-13 2021-01-20 キヤノン株式会社 診断支援装置、情報処理方法、診断支援システム及びプログラム
US10810460B2 (en) 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
JP7017198B2 (ja) 2018-06-22 2022-02-08 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2020008834A1 (ja) * 2018-07-05 2020-01-09 富士フイルム株式会社 画像処理装置、方法及び内視鏡システム
CN112513926A (zh) * 2018-07-31 2021-03-16 奥林巴斯株式会社 图像解析装置及图像解析方法
US11510561B2 (en) * 2018-08-21 2022-11-29 Verily Life Sciences Llc Endoscope defogging
KR102168485B1 (ko) * 2018-10-02 2020-10-21 한림대학교 산학협력단 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법
KR102210806B1 (ko) * 2018-10-02 2021-02-01 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
CN109523522B (zh) * 2018-10-30 2023-05-09 腾讯医疗健康(深圳)有限公司 内窥镜图像的处理方法、装置、系统及存储介质
US20210407077A1 (en) * 2018-12-04 2021-12-30 Hoya Corporation Information processing device and model generation method
CN113498323B (zh) * 2019-02-26 2024-08-13 富士胶片株式会社 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
CN112566540B (zh) * 2019-03-27 2023-12-19 Hoya株式会社 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法
US11263497B2 (en) * 2019-06-21 2022-03-01 StraxCorp Pty. Ltd. Method and system for machine learning classification based on structure or material segmentation in an image
JP2021012570A (ja) 2019-07-08 2021-02-04 株式会社日立製作所 破面解析装置及び破面解析方法
EP4000014A4 (en) * 2019-07-19 2023-09-20 The Jackson Laboratory NEURAL CONVERSIONAL NETWORKS FOR CLASSIFICATION OF HISTOLOGICAL CANCER IMAGES
CN112330686B (zh) * 2019-08-05 2024-12-17 罗雄彪 肺部支气管的分割及标定方法
CN110517745B (zh) * 2019-08-15 2023-06-27 中山大学肿瘤防治中心 医疗检查结果的展示方法、装置、电子设备及存储介质
WO2021033303A1 (ja) * 2019-08-22 2021-02-25 Hoya株式会社 訓練データ生成方法、学習済みモデル及び情報処理装置
WO2021054477A2 (ja) * 2019-09-20 2021-03-25 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7315809B2 (ja) * 2019-10-08 2023-07-27 公立大学法人会津大学 大腸内視鏡検査補助装置、大腸内視鏡検査補助方法及び大腸内視鏡検査補助プログラム
TWI726459B (zh) * 2019-10-25 2021-05-01 中國醫藥大學附設醫院 遷移學習輔助預測系統、方法及電腦程式產品
WO2021095446A1 (ja) * 2019-11-11 2021-05-20 富士フイルム株式会社 情報表示システムおよび情報表示方法
JP7320260B2 (ja) * 2019-11-15 2023-08-03 オーアイ・イノベーション株式会社 髄位置推定装置および製材システム
DE102019134253A1 (de) 2019-12-13 2021-06-17 Hoya Corporation Vorrichtung, Verfahren und computerlesbares Speichermedium zur Erfassung von Objekten in einem Videosignal beruhend auf visuellen Anzeichen unter Verwendung einer Ausgabe eines Maschinenlernmodells
JP7346285B2 (ja) * 2019-12-24 2023-09-19 富士フイルム株式会社 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
US11252417B2 (en) * 2020-01-05 2022-02-15 Size Limited Image data processing
TWI725716B (zh) * 2020-01-21 2021-04-21 雲象科技股份有限公司 內視鏡檢測系統及其方法
CN111291755B (zh) * 2020-02-13 2022-11-15 腾讯科技（深圳）有限公司 对象检测模型训练及对象检测方法、装置、计算机设备和存储介质
WO2021176664A1 (ja) * 2020-03-05 2021-09-10 オリンパス株式会社 検査支援システム、検査支援方法、及び、プログラム
CN115279247B (zh) 2020-03-11 2026-01-06 奥林巴斯株式会社 处理系统、图像处理方法、学习方法以及处理装置
EP4064994A4 (en) * 2020-03-21 2024-05-15 Smart Medical Systems Ltd. ARTIFICIAL INTELLIGENCE DETECTION SYSTEM FOR MECHANICALLY IMPROVED TOPOGRAPHY
EP4129151A4 (en) * 2020-03-31 2023-12-13 NEC Corporation Information processing device, display method, and non-transitory computer-readable medium having program stored therein
WO2021205777A1 (ja) * 2020-04-08 2021-10-14 富士フイルム株式会社 プロセッサ装置及びその作動方法
CN115460968A (zh) * 2020-04-27 2022-12-09 公益财团法人癌研究会 图像诊断装置、图像诊断方法、图像诊断程序和学习完毕模型
CN115769306A (zh) * 2020-05-01 2023-03-07 吉温成像有限公司 用于选择事件标志图像的系统和方法
US12530877B2 (en) 2020-05-26 2026-01-20 Nec Corporation Display candidate area information according to display mode determined for decision-making based on evaluation result by machine learning model
KR102417531B1 (ko) * 2020-07-08 2022-07-06 주식회사 메가젠임플란트 학습 데이터 생성장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
CN116133572B (zh) * 2020-07-14 2026-02-17 富士胶片株式会社 图像分析处理装置、内窥镜系统、图像分析处理装置的工作方法及存储器
KR102222547B1 (ko) * 2020-07-15 2021-03-04 주식회사 웨이센 인공지능 기반의 대장내시경 영상 분석 방법
EP4186409A4 (en) * 2020-07-31 2024-01-10 Tokyo University of Science Foundation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, IMAGE PROCESSING PROGRAM, ENDOSCOPE DEVICE AND ENDOSCOPE IMAGE PROCESSING SYSTEM
US12070232B2 (en) 2020-08-10 2024-08-27 Kunnskap Medical, LLC Endoscopic system with component control
KR102255311B1 (ko) * 2020-08-10 2021-05-24 주식회사 웨이센 인공지능 기반의 위내시경 영상 분석 방법
JP7600250B2 (ja) * 2020-09-11 2024-12-16 富士フイルム株式会社 画像処理システム、プロセッサ装置、内視鏡システム、画像処理方法及びプログラム
KR102375786B1 (ko) * 2020-09-14 2022-03-17 주식회사 뷰노 의료 영상에서 이상 소견 탐지 및 판독문 생성 방법
KR102262684B1 (ko) * 2020-11-13 2021-06-09 주식회사 웨이센 영상 수신 장치의 인공지능 기반의 영상 처리 방법
JP7124041B2 (ja) * 2020-11-25 2022-08-23 株式会社朋 ハンナ病変の指摘のためのプログラム
CN116916807A (zh) 2020-12-08 2023-10-20 国立研究开发法人产业技术综合研究所 用于内窥镜诊断支持的方法和用于内窥镜诊断支持的系统
KR102505791B1 (ko) * 2021-01-11 2023-03-03 한림대학교 산학협력단 실시간 영상을 통해 획득되는 병변 판단 시스템의 제어 방법, 장치 및 프로그램
CN112426119B (zh) * 2021-01-26 2021-04-13 上海孚慈医疗科技有限公司 一种内窥镜筛查处理方法和装置
EP4299015A4 (en) 2021-02-25 2024-08-07 FUJIFILM Corporation MEDICAL IMAGE PROCESSING APPARATUS, METHOD AND PROGRAM
US12591975B2 (en) 2021-03-01 2026-03-31 Nec Corporation Image processing device, image processing method, and storage medium
JP7565824B2 (ja) * 2021-03-04 2024-10-11 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
WO2022208615A1 (ja) * 2021-03-29 2022-10-06 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
TWI797585B (zh) * 2021-03-31 2023-04-01 艾陽科技股份有限公司 雷達感測心律方法及其系統
JP7617622B2 (ja) * 2021-06-24 2025-01-20 株式会社Ａｉメディカルサービス 検査支援装置、検査支援方法および検査支援プログラム
TW202309926A (zh) * 2021-07-12 2023-03-01 愛爾蘭商卡司莫人工智能有限公司 用於目標偵測及特徵化之電腦執行系統及方法
CN113456002A (zh) * 2021-07-15 2021-10-01 显微智能科技(湖南)有限公司 一种体内癌症细胞定位装置及方法
TWI762388B (zh) 2021-07-16 2022-04-21 國立中正大學 以超頻譜檢測物件影像之方法
KR102616961B1 (ko) * 2021-08-31 2023-12-27 동국대학교 산학협력단 이종 캡슐내시경 간의 도메인 적응에 의한 병증정보 제공 방법
JP7603560B2 (ja) * 2021-09-17 2024-12-20 Hoya株式会社 コンピュータプログラム、情報処理方法及び内視鏡
JP7843989B2 (ja) 2021-09-21 2026-04-13 学校法人帝京大学 医用画像診断支援装置、医用画像診断支援方法およびプログラム
TWI789932B (zh) * 2021-10-01 2023-01-11 國泰醫療財團法人國泰綜合醫院 大腸瘜肉影像偵測方法、裝置及其系統
JP2023106327A (ja) * 2022-01-20 2023-08-01 株式会社Ａｉメディカルサービス 検査支援装置、検査支援方法および検査支援プログラム
CN114569043B (zh) * 2022-01-29 2025-09-05 重庆天如生物科技有限公司 一种基于人工智能的内窥镜辅助检查方法及装置
TWI796156B (zh) * 2022-03-04 2023-03-11 國立中正大學 以波段用於超頻譜檢測物件影像之方法
WO2024009631A1 (ja) * 2022-07-06 2024-01-11 富士フイルム株式会社 画像処理装置及び画像処理装置の作動方法
JP2024027854A (ja) * 2022-08-19 2024-03-01 国立大学法人 熊本大学 がん評価方法、がん評価システム及びプログラム
WO2024117838A1 (ko) * 2022-12-01 2024-06-06 프리베노틱스 주식회사 내시경 영상을 분석하여 복수의 병변들에 대한 정보를 제공하기 위한 전자 장치 및 그러한 전자 장치를 포함하는 내시경 검사 시스템
CN115998225A (zh) * 2022-12-12 2023-04-25 珠海泰科医疗技术有限公司 一种内窥镜病灶区域曝光方法、内窥镜和存储介质
US12599284B2 (en) 2023-01-11 2026-04-14 Nec Corporation Endoscopic examination support apparatus, endoscopic examination support method, and recording medium
US20240296550A1 (en) * 2023-03-02 2024-09-05 Bh2 Innovations Inc. High Speed Detection of Anomalies in Medical Scopes and the Like Using Image Segmentation
CN116486367B (zh) * 2023-03-15 2025-08-29 卡斯柯信号有限公司 一种轨道交通障碍物检测方法、设备及介质
CN116681681B (zh) * 2023-06-13 2024-04-02 富士胶片（中国）投资有限公司 内窥镜图像的处理方法、装置、用户设备及介质
JPWO2025027815A1 (ja) * 2023-08-02 2025-02-06
WO2025028737A1 (ko) * 2023-08-03 2025-02-06 주식회사 웨이센 내시경 영상 분석 결과 시각화 및 대표 영상 선별 시스템과 그 방법
WO2025084278A1 (ja) * 2023-10-20 2025-04-24 オリンパス株式会社 画像診断装置および画像診断方法
KR102722605B1 (ko) * 2023-11-21 2024-10-28 주식회사 메디인테크 내시경 영상에서 병변을 탐지하는 방법 및 이를 수행하는 인공신경망 모델을 학습시키는 방법 및 컴퓨팅 장치
US12562279B2 (en) * 2024-02-29 2026-02-24 Hong Kong Applied Science and Technology Research Institute Company Limited Portable edge AI-assisted diagnosis and quality control system for gastrointestinal endoscopy
EP4625315A1 (en) * 2024-03-28 2025-10-01 Odin Medical Ltd. Systems and methods for polyp classification
CN118736333B (zh) * 2024-09-03 2025-02-25 天津御锦人工智能医疗科技有限公司 消化道病变评估方法、系统、装置及可读存储介质
CN120727265B (zh) * 2025-09-03 2026-01-06 温州市人民医院 基于深度学习技术的消化道早期癌症智能辅助诊断系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012165505A1 (ja) 2011-06-02 2012-12-06 オリンパス株式会社 蛍光観察装置
WO2016185617A1 (ja) 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017017722A1 (ja) 2015-07-24 2017-02-02 オリンパス株式会社 処理装置、処理方法及びプログラム
WO2017042812A2 (en) 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
WO2017104192A1 (ja) 2015-12-17 2017-06-22 オリンパス株式会社 医用観察システム
WO2017175282A1 (ja) 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4450973B2 (ja) * 2000-11-30 2010-04-14 オリンパス株式会社 診断支援装置
JP2007280229A (ja) * 2006-04-11 2007-10-25 Fujifilm Corp 類似症例検索装置、類似症例検索方法およびそのプログラム
ATE472141T1 (de) * 2006-08-21 2010-07-15 Sti Medical Systems Llc Computergestützte analyse mit hilfe von videodaten aus endoskopen
CA2992250C (en) 2006-11-15 2021-03-09 Cfph, L.L.C. Systems and methods for determining that a gaming device is communicating with a gaming server
CN101584571A (zh) * 2009-06-15 2009-11-25 无锡骏聿科技有限公司 一种胶囊内镜辅助读片方法
JP5455550B2 (ja) * 2009-10-23 2014-03-26 Ｈｏｙａ株式会社 電子内視鏡用プロセッサ
WO2011156001A1 (en) * 2010-06-07 2011-12-15 Sti Medical Systems, Llc Versatile video interpretation,visualization, and management system
US8938113B2 (en) * 2010-07-26 2015-01-20 Kjaya, Llc Adaptive visualization for direct physician use
JP5800595B2 (ja) 2010-08-27 2015-10-28 キヤノン株式会社 医療診断支援装置、医療診断支援システム、医療診断支援の制御方法、及びプログラム
JP5670695B2 (ja) * 2010-10-18 2015-02-18 ソニー株式会社 情報処理装置及び方法、並びにプログラム
US20170140528A1 (en) * 2014-01-25 2017-05-18 Amir Aharon Handzel Automated histological diagnosis of bacterial infection using image analysis
KR20160049897A (ko) * 2014-10-28 2016-05-10 삼성전자주식회사 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법
US9672596B2 (en) * 2015-03-31 2017-06-06 Olympus Corporation Image processing apparatus to generate a reduced image of an endoscopic image
JP6528608B2 (ja) 2015-08-28 2019-06-12 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
JP6545591B2 (ja) 2015-09-28 2019-07-17 富士フイルム富山化学株式会社 診断支援装置、方法及びコンピュータプログラム
CN105574871A (zh) * 2015-12-16 2016-05-11 深圳市智影医疗科技有限公司 在放射图像中检测肺部局部性病变的分割分类方法和系统
WO2017170233A1 (ja) * 2016-03-29 2017-10-05 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理プログラム
JP6401737B2 (ja) 2016-05-24 2018-10-10 株式会社三共 遊技機
CN106097335B (zh) * 2016-06-08 2019-01-25 安翰光电技术（武汉）有限公司 消化道病灶图像识别系统及识别方法
JP6811045B2 (ja) 2016-07-15 2021-01-13 株式会社三共 遊技機
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
CN106934799B (zh) * 2017-02-24 2019-09-03 安翰科技(武汉)股份有限公司 胶囊内窥镜图像辅助阅片系统及方法
TW201902411A (zh) * 2017-06-09 2019-01-16 多田智裕 藉由消化器官之內視鏡影像之疾病的診斷支援方法、診斷支援系統、診斷支援程式及記憶此診斷支援程式之電腦可讀取之記錄媒體

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012165505A1 (ja) 2011-06-02 2012-12-06 オリンパス株式会社 蛍光観察装置
WO2016185617A1 (ja) 2015-05-21 2016-11-24 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017017722A1 (ja) 2015-07-24 2017-02-02 オリンパス株式会社 処理装置、処理方法及びプログラム
WO2017042812A2 (en) 2015-09-10 2017-03-16 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
WO2017104192A1 (ja) 2015-12-17 2017-06-22 オリンパス株式会社 医用観察システム
WO2017175282A1 (ja) 2016-04-04 2017-10-12 オリンパス株式会社 学習方法、画像認識装置およびプログラム

Also Published As

Publication number Publication date
SG11202003973VA (en) 2020-05-28
KR20200106028A (ko) 2020-09-10
EP3705025A1 (en) 2020-09-09
CN111655116A (zh) 2020-09-11
EP3705025A4 (en) 2021-09-08
JP2020073081A (ja) 2020-05-14
JPWO2019088121A1 (ja) 2019-11-14
BR112020008774A2 (pt) 2020-12-22
US11633084B2 (en) 2023-04-25
JP6657480B2 (ja) 2020-03-04
US20200337537A1 (en) 2020-10-29
WO2019088121A1 (ja) 2019-05-09
TW201922174A (zh) 2019-06-16

Similar Documents

Publication Publication Date Title
JP7335552B2 (ja) 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
JP7550409B2 (ja) 画像診断装置、画像診断方法、および画像診断プログラム
US20250143543A1 (en) Method for Real-Time Detection of Objects, Structures or Patterns in a Video, an Associated System and an Associated Computer Readable Medium
Igarashi et al. Anatomical classification of upper gastrointestinal organs under various image capture conditions using AlexNet
JP6875709B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
CN113573654B (zh) 用于检测并测定病灶尺寸的ai系统、方法和存储介质
JP7017198B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
US20220020496A1 (en) Diagnostic assistance method, diagnostic assistance system, diagnostic assistance program, and computer-readable recording medium storing therein diagnostic assistance program for disease based on endoscopic image of digestive organ
EP3811845A1 (en) Method of assisting disease diagnosis based on endoscope image of digestive organ, diagnosis assistance system, diagnosis assistance program, and computer-readable recording medium having said diagnosis assistance program stored thereon
WO2021054477A2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
WO2018165620A1 (en) Systems and methods for clinical image classification
US20230162356A1 (en) Diagnostic imaging device, diagnostic imaging method, diagnostic imaging program, and learned model
WO2007119297A1 (ja) 医療用画像処理装置及び医療用画像処理方法
WO2020224153A1 (zh) 一种基于深度学习和图像增强的nbi图像处理方法及其应用
CN116745861A (zh) 通过实时影像获得的病变判断系统的控制方法、装置及程序
CN111862090B (zh) 一种基于人工智能的食管癌术前管理的方法和系统
CN114372951A (zh) 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统
CN111341441A (zh) 一种肠胃科病模型构建方法及诊断系统
JP2023079866A (ja) 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置
Katayama et al. Development of Computer-Aided Diagnosis System Using Single FCN Capable for Indicating Detailed Inference Results in Colon NBI Endoscopy
CN117291899A (zh) 用于胶囊内窥镜的消化道出血图像检测方法
TWI917264B (zh) 人工智慧模型協助偵測巴瑞特氏食道黏膜病變之方法
CN120107171A (zh) 一种结肠息肉的复合处理方法及处理系统
TWM620109U (zh) 輔助判斷系統

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20200318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20200319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200410

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230801

R150 Certificate of patent or registration of utility model

Ref document number: 7335552

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250