JP7124041B2 - ハンナ病変の指摘のためのプログラム - Google Patents

ハンナ病変の指摘のためのプログラム Download PDF

Info

Publication number
JP7124041B2
JP7124041B2 JP2020195447A JP2020195447A JP7124041B2 JP 7124041 B2 JP7124041 B2 JP 7124041B2 JP 2020195447 A JP2020195447 A JP 2020195447A JP 2020195447 A JP2020195447 A JP 2020195447A JP 7124041 B2 JP7124041 B2 JP 7124041B2
Authority
JP
Japan
Prior art keywords
hanna
bladder
lesion
data
endoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020195447A
Other languages
English (en)
Other versions
JP2022083867A (ja
Inventor
朋宏 上田
アンドレイ グルシニコフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LPIXEL INC.
TOMO CO., LTD.
Original Assignee
LPIXEL INC.
TOMO CO., LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LPIXEL INC., TOMO CO., LTD. filed Critical LPIXEL INC.
Priority to JP2020195447A priority Critical patent/JP7124041B2/ja
Priority to TW110140382A priority patent/TWI922517B/zh
Priority to CN202180063736.1A priority patent/CN116261418A/zh
Priority to KR1020237009542A priority patent/KR20230110246A/ko
Priority to PCT/JP2021/043293 priority patent/WO2022114088A1/ja
Priority to EP21898060.5A priority patent/EP4252614A4/en
Priority to JP2022090661A priority patent/JP7522154B2/ja
Publication of JP2022083867A publication Critical patent/JP2022083867A/ja
Priority to US17/818,853 priority patent/US12315150B2/en
Application granted granted Critical
Publication of JP7124041B2 publication Critical patent/JP7124041B2/ja
Priority to JP2024110981A priority patent/JP7752348B2/ja
Priority to US19/195,939 priority patent/US20250259304A1/en
Priority to JP2025155452A priority patent/JP2025172208A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/307—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the urinary organs, e.g. urethroscopes, cystoscopes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Urology & Nephrology (AREA)
  • Databases & Information Systems (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明はハンナ病変の指摘に有用なプログラムに関する。さらに詳細には、膀胱異常、特に間質性膀胱炎に係る分野において有用な、対象のハンナ病変を指摘するプログラム・学習済みモデル及びその生成方法に関する。
間質性膀胱炎は、頻尿や尿意切迫感、膀胱充満時の膀胱痛や不快感などの症状がみられる慢性の疾患である。重症の場合は、１日に６０回も排尿することがあり、日常生活が困難になるほどの著しい影響を及ぼす。男性よりも女性で発症しやすく、米国において約１３０万人の間質性膀胱炎患者のうち１００万人以上が女性であるといわれる。しかし、 疫学調査報告は多くあるものの、原因は究明されていない。さらに、「間質性膀胱炎」の定義、診断基準、さらには表現が、国や地域によって異なっている。そこで本願における「間質性膀胱炎」の記載は、膀胱痛症候群及び過活動膀胱痛症候群の概念も含む表現とする。
間質性膀胱炎につき米国で日常的に行われている基準を反映するものとしては、米国の症例集積研究(Interstitial Cystitis Data Base；ICDB)18)の基準があるが、この基準においては膀胱鏡所見が必須条件とされていない。また、しばしば引用される NIDDK(National Institute of Diabates and Digestive and Kidney Diseases)の基準があるが、これは研究の際に症例を厳密に選ぶ場合の基準であり、膀胱鏡所見を要することから、より厳格である。ICDBの基準によって間質性膀胱炎と診断されていた患者のうち、NIDDK の基準を満たすのは半数にも達していないという報告もある。
また、間質性膀胱炎において特徴的な点として、間質性膀胱炎の病型はハンナ病変を有するハンナ型と、ハンナ病変を有しない非ハンナ型に大別される点がある。ハンナ病変とは、正常の毛細血管構造を欠く特有の発赤粘膜であり、病理学的には、上皮はしばしば剥離し（糜爛)、粘膜下組織には新生血管の増生と炎症細胞の集簇がみられる。ハンナ型は内視鏡的にも病理学的にも明確な異常所見を有し、正常の毛細血管構造を欠く特有の発赤粘膜である。なお、上述の通り国際的な基準が確定されていないことから、地域によってはハンナ病変はハンナ潰瘍又は単に潰瘍と称されることもある。
ハンナ型は、症状的により重症となることから、より早期に正確な診断と対処が必要となる。しかしながら、上述の通り、ハンナ病変の有無が、間質性膀胱炎の診断の必須要件とされていない地域が存在する。さらに、世界標準の定義や診断基準が未だ確立されていないため、そもそも間質性膀胱炎及びハンナ病変の正確な知識と診断を行うことができる医師が極めて少ないという状況にある。したがって、間質性膀胱炎の診断について本発明者の一人である上田朋宏が開示した米国特許第８０８０１８５号の存在にも関わらず、未だ潜在的な患者が見過ごされ、誤診も含め十分な診断や治療が行われていない問題を生じている。
上述の問題を難しくしている原因として、膀胱鏡所見が必ずしも間質性膀胱炎の診断の要件とされていない地域があることから、膀胱鏡観察が行われない場合が多いということが挙げられる。この場合、ハンナ病変を的確に確認することが困難となり、上述通り潜在的な患者が見過ごされ得る。一方、膀胱鏡観察が行われる場合であっても、医師側において十分な知見がなく見過ごされている場合が多い。また、膀胱鏡観察は、殆どが膀胱異常を感じた患者に対して行われる。このため、正常膀胱（疾患のない健常者の膀胱）の観察が行われる機会も正常膀胱の膀胱鏡画像の蓄積も非常に少ないだけでなく、正常膀胱と、ハンナ病変は存在しないが正常でない膀胱の区別の知見がない医師も存在する。そして、これら状況は、世界標準の定義や診断基準がさらに困難になるという悪循環を生じさせている。
しかしながら、医師の知識や熟練度によらず、もし患者のハンナ病変を的確かつ迅速に把握できる汎用性のある技術が提供されれば、さらにはもし正常膀胱を適切に認識可能な技術が提供されれば、間質性膀胱炎の的確な診断、間質性膀胱炎患者の救済、国際的合意の形成のいずれにおいても顕著な進展を見いだすことになる。
上記課題を解決するため、本発明は、膀胱中のハンナ病変の内視鏡画像データを教師データとして取得し、前記教師データを用いて、膀胱内視鏡画像を入力、当該膀胱内視鏡画像中におけるハンナ病変の位置指摘を出力とする学習モデルを生成する、学習モデル生成方法からなる。
また、本発明は、膀胱中のハンナ病変の内視鏡画像データを取得し、膀胱内視鏡画像を入力、内視鏡画像中におけるハンナ病変の位置指摘データを出力とする学習モデルに、対象の膀胱内視鏡画像を入力して、ハンナ病変の位置指摘を出力する処理をコンピュータに実行させるプログラムからなる。
また、本発明は、膀胱内視鏡システムを用いて取得された膀胱内視鏡画像を用いた学習済みモデルであって、膀胱内視鏡画像が入力される入力層と、内視鏡画像中におけるハンナ病変の位置指摘データを出力とする出力層と、膀胱中のハンナ病変の内視鏡画像データを入力、膀胱画像中におけるハンナ病変の位置指摘データを出力とする教師データを用いてパラメータが学習された中間層とを備え、対象の膀胱内視鏡画像を前記入力層に入力し、前記中間層にて演算し、画像中におけるハンナ病変の位置指摘データを出力するよう、コンピュータを機能させるための学習済みモデルからなる。
さらに、上記学習モデル生成方法、プログラム、学習済みモデルが、膀胱内に存在する空気の内視鏡画像データ、正常膀胱の内視鏡画像データ、ハンナ病変が存在しないが、正常膀胱ではない内視鏡画像データの少なくともいずれかを教師データとして含むことが好適である。
また、上記画像データが狭帯域光観察画像と白色光観察画像のいずれをも含むことが好適である。
また、膀胱が正常膀胱であるか否か、判断して出力する処理を可能にしていること、プログラム又は学習済みモデルが膀胱内視鏡の制御装置に搭載されていることが好適である。
本発明のプログラム及び学習済みモデルは、ＣＰＵ、ＧＰＵ、ＲＯＭ、ＲＡＭ、通信インターフェースなどを備えた制御装置やサーバ等、公知の構成を採用することで実施することができる。また、クラウド上のシステムとしても構成し得る。さらに、本発明は、ディスプレイ等表示手段に対し、推定されたハンナ病変の位置を枠又は着色など、視覚認識可能な手段として指摘し表示させる手段を備えることが好適である。さらに、本発明は、内視鏡とは独立して使用するシステムとして利用しても、膀胱内視鏡システムの制御装置に搭載されることで膀胱内観察と同時にリアルタイムに使用されても良い。
また、本発明においては、ディープラーニングモデルが使用されるが、典型的にはニューラルネットワークを使用したディープラーニングが使用され、好ましくは畳み込みニューラルネットワークが使用される。画像が入力されると、畳み込みニューラルネットワークがハンナ病変の位置を推定する推定手段として機能する。ただし、本発明の効果を奏することが可能である限り、上記に限定されるものではない。
ディープラーニングモデルは大量の内部パラメータを有する。入力データに対して教師データにできるだけ近い出力結果が得られるよう内部パラメータが調整される。一般的にこの調整処理を「学習」と呼ぶ。高性能のモデルを生成するためには、モデル構造や学習方法のほか、学習に使用する教師データ（入力データと教師データのセット）の量と質が重要となる。
本発明における教師データとしては、膀胱中のハンナ病変の内視鏡画像が使用される。当該ハンナ病変を指摘して学習させることにより、ハンナ病変を指摘できるモデルが生成される。そして、研究の結果、膀胱中に存在する空気（泡）についてハンナ病変と認識する場合があること、正常膀胱についてハンナ病変を指摘する場合があること（正常膀胱の皺の影や高低差が影響していると推測される）が判明した。そこで、これら要素についてハンナ病変と判断しないように、空気（泡）については空気（泡）として、また正常膀胱の表皮状況は、ハンナ病変の有無にかかわらず間質性膀胱炎の膀胱状態とは異なることから、正常膀胱画像だけでなく、ハンナ病変は存在しないが、正常膀胱ではない画像についても学習させた。
本発明では正常膀胱を学習させていることにより、正常膀胱についての偽陽性判断率避けるために有効である。また、ハンナ病変は存在しないが、正常膀胱ではない画像の学習により、ハンナ病変の存在しない非正常膀胱についての偽陽性判断を避けるために有効である。さらには、もし正常膀胱につき正常膀胱として出力するモデルとして生成すれば、正常膀胱でもハンナ病変を有する膀胱でもない場合を異常膀胱として判断して指摘する構成の実現も可能にする。
また、精度が高いアルゴリズムの獲得するために、多くのハンナ病変の態様を学習させる必要があるが、世界的には間質性膀胱炎患者の膀胱内視鏡画像の蓄積が非常に少ない。しかし、本発明者の上田朋宏は世界でも最も多くの間質性膀胱炎患者の膀胱内視鏡画像（および正常膀胱画像及びハンナ病変は存在しないが、正常膀胱ではない画像）を蓄積してきたことにより、多種多様のハンナ病変画像が蓄積されており、モデルの作成に十分な種類及び質の画像を学習させることができる。さらに、本発明では狭帯域光観察(Narrow Band Imaging，NBI)と白色光観察(White Light Imaging，WLI)のいずれの画像も学習させており、いずれの画像にも利用可能なモデルとなる。狭帯域光観察では、狭帯域化された青(３９０～４４５ｎｍの波長)と緑（５３０～５５０ｎｍの波長)の2つの波長の光が照射され、微細血管像のコントラストが増強されて出力される。青い光は粘膜表面の新生血管の有無を、緑色の光は粘膜深部の血管の有無を示す。白色光観察は、内視鏡の先端から青、緑、赤の3原色で合成される照明光を使用して観察する。なお、実際の医師による診断では、狭帯域光観察の方が病変を視認しやすいが、途上国を含む世界的な利用率では未だ白色光観察の方が高いと想定される。白色光観察は、病変も背景も赤に見える為に診断を難しくしている一因でもあるが、本発明では白色光観察画像にも適用可能であることから、汎用性が高く間質性膀胱炎患者の発見にも国際的合意形成にも有用である。
データセット
膀胱内視鏡で撮影した動画を基に、この動画に対する正解情報の付与(アノテーション)を以下の手順で行われた。
１．全フレームから１０フレーム毎に候補画像を抽出し、ハンナ病変候補画像を選定
２．選定画像に正解情報を付与
３．正解情報を付与した画像の前後のフレームで類似する画像に対し正解情報を付与
正解情報の付与がされたデータをNBIとWLIに分けて、静止画像のデータベースを作成した。抽出した画像に対し、内視鏡画像外の黒い領域をトリミングで消した。この処理により、画像サイズは約１０００ｘ９００画素となった。また、ハンナ病変位置のアノテーションはLabel meというソフトウェアで行なわれた。
動画数
Figure 0007124041000001
静止画像データベース構成
Figure 0007124041000002
 ＊正常画像には、正常膀胱及びハンナ病変がないが正常膀胱ではない画像を含むが、ハンナ病変ありの画像は含まれない。
泡は、正常膀胱、ハンナ病変ありのいずれの場合も含む。
画像例
Figure 0007124041000003
＊上記泡の画像例は、ハンナ病がないが正常膀胱ではない画像例。
＊原画像はいずれもカラー画像
モデル
検出モデルとセグメンテーションモデルを使用して実験を行った。検出モデルとは、ハンナ病変領域を包含する矩形領域を推定するモデルであり、矩形領域の位置、大きさ、当該矩形の病変確信度を出力する。セグメンテーションモデルとは、画素毎の病変確信度を出力するモデルであり、ハンナ病変領域が形状も含め推定される。
実験には、一般画像のデータセット（COCO、CITYSCAPES）に対し高い性能を示している以下のモデルを使用した。
検出モデル：Cascade R-CNN
セグメンテーションモデル：Cascade Mask R-CNN
セグメンテーションモデル：OCNet
上記3つのモデルをNBI、WLIそれぞれのデータで学習し、計6個のモデルを作成した。
実験設定と結果
実験では、データセットを８５％の学習データと１５％のテストデータにランダムに５回分割し、５回学習・評価を行った。なお、データ分割は症例単位で行っている。表３、表４に、NBI、WLIデータセットそれぞれの画像数および症例数を示す。
NBIデータセットの画像数および症例数
Figure 0007124041000004
WLIデータセットの画像数および症例数
Figure 0007124041000005
各画像タイプ、また各分割データセットに対して３つのモデル（Cascade R-CNN，Cascade Mask R-CNN，OCNET)を学習し、ハンナ病変領域単位の感度と陽性的中率でモデルの性能を評価した。感度(Sensitivity)および陽性的中率(Positive Prediction Value，PPV)は、真陽性領域数(Number of True Positive，#TP)、偽陰性領域数(Number of False Negative，#FN)、偽陽性領域数(Number of False Positive，#FP)とした場合、
Sensitivity ＝ #TP / (#TP ＋ #FN)
PPV ＝ #TP / (#TP＋#FP)
である。
続いて、ハンナ病変領域単位の真陽性(TP)、偽陰性(FN)、偽陽性(FP)の決定方法について述べる。まず、予測領域と正解領域の重複度合いをIoU(Intersection over Union)で計算する。IoUは予測領域と正解領域の和集合領域画素数に対する予測領域と正解領域の重複画素数の割合であり、2つの領域が全く重複しない場合は0、完全に一致する場合は1となる。下記に、矩形領域の場合のIoUのスコア例を示す。
IoUのスコア例（薄線が正解領域、濃線が予測領域）
Figure 0007124041000006
本実施例ではTP、FN、FPを以下のように定義した。また、図３に概念図を示す。
TP ≡ 1画素以上重なる全予測領域とのIoUが0.3を超える正解領域
FN ≡ 1画素以上重なる全予測領域とのIoUが0.3以下の正解領域
FP ≡ 正解領域とのIoUが0.1以下の予測領域
なお、検出モデルであるCascade R-CNNは上述のように矩形領域で評価を行い、セグメンテーションモデルであるCascade Mask R-CNNとOCNETは下記のように領域形状も考慮して評価している。正解領域を薄色、予測領域を濃色で示した。最上部の正解領域と予測領域はそれぞれ重複が少ないためFN、FPとなる。下部の正解領域は複数の予測領域と十分な重複が有りTPとなる。
TP、FP、FNの概念図
Figure 0007124041000007
表５～表８に各モデルの評価結果を示す。また、表９～１１に各モデルのNBI画像予測結果例を示す。表１１は、検出モデル及びセグメンテーションモデルにおけるＮＢＩ正常膀胱画像の検出結果例
表 5：NBI画像で評価した検出モデル(Cascade R-CNN)の性能
表 6：NBI画像で評価したセグメンテーションモデルの性能
表 7：WLI画像で評価した検出モデル(Cascade R-CNN)の性能
表 8：WLI画像で評価したセグメンテーションモデルの性能
NBI画像で評価した検出モデル(Cascade R-CNN)の性能
Figure 0007124041000008
NBI画像で評価したセグメンテーションモデルの性能
Figure 0007124041000009
 ＊モデルの反応があった全予測画素(確信度が0%ではない画素)で評価
WLI画像で評価した検出モデル(Cascade R-CNN)の性能
Figure 0007124041000010
WLI画像で評価したセグメンテーションモデルの性能
Figure 0007124041000011
 ＊モデルの反応が有った全予測画素(確信度が0%ではない画素)で評価
検出モデル(Cascade R-CNN)のNBI画像予測結果例
Figure 0007124041000012
 ＊確信度が0%ではない全予測領域を表示している。
薄線（原画像は緑）が正解領域、濃線（原画像は赤）が予測領域である。
検出モデル及びセグメンテーションモデルのNBI画像予測結果例
Figure 0007124041000013
 ＊薄線（原画像は緑）が正解領域、濃線（原画像は赤）が予測領域である。
矩形出力は確信度と共に表示されている。
本例では泡を泡として出力表示する態様としている。
検出モデル及びセグメンテーションモデルのWLI画像予測結果例
Figure 0007124041000014
 ＊塗りつぶし部分（原画像は黄）が正解領域、白線（原画像は赤）が予測領域である。
矩形出力は確信度と共に表示されている。
検出モデル及びセグメンテーションモデルにおけるＮＢＩ正常膀胱画像の検出結果例
Figure 0007124041000015
上述の通り、狭帯域光観察にも白色光観察画像にも適用可能な学習済みモデルを形成することができた。さらに、泡の指摘も行うことが可能となっている。本発明によれば、医師の知識や熟練度によらず、また狭帯域光観察でも白色光観察画像でもハンナ病変を的確かつ迅速に把握できる機会を提供できる。さらに、正常膀胱につき高低差、影等による赤みの位相があっても、偽陽性判断を避けている。その結果、間質性膀胱炎の的確な診断、間質性膀胱炎患者の救済、国際的合意の形成の進展に資する。

Claims (12)

  1. 膀胱中のハンナ病変の内視鏡画像データを取得し、
    膀胱内視鏡画像を入力、内視鏡画像中におけるハンナ病変の位置指摘データを出力とする学習モデルに、対象の膀胱内視鏡画像を入力して、ハンナ病変の位置指摘を出力する処理をコンピュータに実行させるプログラム。
  2. 教師データとしての膀胱中のハンナ病変の内視鏡画像データが、狭帯域光観察画像と白色光観察画像のいずれをも含む、請求項１に記載のプログラム。
  3. 前記学習モデルが、ハンナ病変が存在しないが、正常膀胱の内視鏡画像データと、
    正常膀胱ではないがハンナ病変が存在しない内視鏡画像データと、
    を教師データとしてさらに含む、請求項１又は２に記載のプログラム。
  4. 膀胱内に存在する空気の内視鏡画像データを教師データとしてさらに含む、請求項１から３のいずれか１項に記載のプログラム。
  5. 正常膀胱であるか否かを判断して出力する処理をさらに含む、請求項３又は４に記載のプログラム。
  6. 膀胱内視鏡システムを用いて取得された膀胱内視鏡画像を用いた学習済みモデルであって、
    膀胱内視鏡画像が入力される入力層と、
    内視鏡画像中におけるハンナ病変の位置指摘データを出力とする出力層と、
    膀胱中のハンナ病変の内視鏡画像データを入力、
    膀胱画像中におけるハンナ病変の位置指摘データを出力とする教師データを用いてパラメータが学習された中間層とを備え、
    対象の膀胱内視鏡画像を前記入力層に入力し、前記中間層にて演算し、画像中におけるハンナ病変の位置指摘データを出力するよう、
    コンピュータを機能させるための学習済みモデル。
  7. 膀胱内に存在する空気の内視鏡画像データを教師データとしてさらに含む、請求項６に記載の学習済みモデル。
  8. 正常膀胱の内視鏡画像データと、
    ハンナ病変が存在しないが、正常膀胱ではない内視鏡画像データとを教師データとしてさらに含む、請求項６又は７に記載の学習済みモデル。
  9. 前記教師データにおける前記内視鏡画像データが、狭帯域光観察画像と白色光観察画像のいずれをも含む、請求項６から８のいずれか１項に記載の学習済みモデル。
  10. 正常膀胱か異常膀胱かを出力としてさらに含む、請求項８又は９に記載の学習済みモデル。
  11. 請求項１から５のいずれか１項に記載のプログラムが記録された、膀胱内視鏡の制御装置。
  12. 請求項６から１０のいずれか１項に記載の学習済みモデルが記録された、膀胱内視鏡の制御装置。
JP2020195447A 2020-11-25 2020-11-25 ハンナ病変の指摘のためのプログラム Active JP7124041B2 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2020195447A JP7124041B2 (ja) 2020-11-25 2020-11-25 ハンナ病変の指摘のためのプログラム
TW110140382A TWI922517B (zh) 2020-11-25 2021-10-29 用於指出杭納氏病變之程式、已學習之模型及其生成方法、以及膀胱內視鏡之控制裝置
KR1020237009542A KR20230110246A (ko) 2020-11-25 2021-11-25 허너 병변의 지적을 위한 프로그램, 학습 완료 모델 및 그 생성 방법
PCT/JP2021/043293 WO2022114088A1 (ja) 2020-11-25 2021-11-25 ハンナ病変の指摘のためのプログラム、学習済みモデル及びその生成方法
EP21898060.5A EP4252614A4 (en) 2020-11-25 2021-11-25 Program for indicating hunner lesions, trained model, and method for generating same
CN202180063736.1A CN116261418A (zh) 2020-11-25 2021-11-25 用于指示洪纳病变的程序、已学习模型及其生成方法
JP2022090661A JP7522154B2 (ja) 2020-11-25 2022-06-03 ハンナ病変の指摘のためのプログラム
US17/818,853 US12315150B2 (en) 2020-11-25 2022-08-10 Program for indicating Hunner lesion, learned model, and method for generating same
JP2024110981A JP7752348B2 (ja) 2020-11-25 2024-07-10 ハンナ病変の指摘のためのプログラム
US19/195,939 US20250259304A1 (en) 2020-11-25 2025-05-01 Program for indicating hunner lesion, learned model, and method for generating same
JP2025155452A JP2025172208A (ja) 2020-11-25 2025-09-18 ハンナ病変の指摘のためのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020195447A JP7124041B2 (ja) 2020-11-25 2020-11-25 ハンナ病変の指摘のためのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022090661A Division JP7522154B2 (ja) 2020-11-25 2022-06-03 ハンナ病変の指摘のためのプログラム

Publications (2)

Publication Number Publication Date
JP2022083867A JP2022083867A (ja) 2022-06-06
JP7124041B2 true JP7124041B2 (ja) 2022-08-23

Family

ID=81754358

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2020195447A Active JP7124041B2 (ja) 2020-11-25 2020-11-25 ハンナ病変の指摘のためのプログラム
JP2022090661A Active JP7522154B2 (ja) 2020-11-25 2022-06-03 ハンナ病変の指摘のためのプログラム
JP2024110981A Active JP7752348B2 (ja) 2020-11-25 2024-07-10 ハンナ病変の指摘のためのプログラム
JP2025155452A Pending JP2025172208A (ja) 2020-11-25 2025-09-18 ハンナ病変の指摘のためのプログラム

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2022090661A Active JP7522154B2 (ja) 2020-11-25 2022-06-03 ハンナ病変の指摘のためのプログラム
JP2024110981A Active JP7752348B2 (ja) 2020-11-25 2024-07-10 ハンナ病変の指摘のためのプログラム
JP2025155452A Pending JP2025172208A (ja) 2020-11-25 2025-09-18 ハンナ病変の指摘のためのプログラム

Country Status (6)

Country Link
US (2) US12315150B2 (ja)
EP (1) EP4252614A4 (ja)
JP (4) JP7124041B2 (ja)
KR (1) KR20230110246A (ja)
CN (1) CN116261418A (ja)
WO (1) WO2022114088A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354476B1 (ko) * 2021-03-15 2022-01-21 주식회사 딥바이오 뉴럴 네트워크를 이용한 방광병변 진단 시스템 제공방법 및 그 시스템
JP2024008323A (ja) * 2022-07-08 2024-01-19 国立研究開発法人産業技術総合研究所 学習用画像データ作成方法及びシステム
CN115670347A (zh) * 2022-09-22 2023-02-03 中国科学院苏州生物医学工程技术研究所 移动式食管内镜图像采集与质控系统
KR102722605B1 (ko) * 2023-11-21 2024-10-28 주식회사 메디인테크 내시경 영상에서 병변을 탐지하는 방법 및 이를 수행하는 인공신경망 모델을 학습시키는 방법 및 컴퓨팅 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009066090A (ja) 2007-09-12 2009-04-02 Npo Comfortable Urology Network 下部尿路障害を診断する方法
JP2017534322A (ja) 2014-09-17 2017-11-24 タリス バイオメディカル エルエルシー 膀胱の診断的マッピング方法及びシステム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7194117B2 (en) 1999-06-29 2007-03-20 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination of objects, such as internal organs
US20090175819A1 (en) * 2005-11-15 2009-07-09 Apollo Life Sciences Limited Molecule and chimeric molecules thereof
US7807074B2 (en) 2006-12-12 2010-10-05 Honeywell International Inc. Gaseous dielectrics with low global warming potentials
JP2013525311A (ja) * 2010-04-21 2013-06-20 トリリウム セラピューティクス インコーポレーティッド 尿路上皮透過性の亢進と関連する状態を処置するためのｈｂ−ｅｇｆ組成物およびその使用
JP6318088B2 (ja) * 2011-07-26 2018-04-25 アンフォラ メディカル， インコーポレイテッド 骨盤神経組織を変調するための装置および方法
EP2868256A4 (en) * 2013-03-06 2016-08-10 Olympus Corp ENDOSCOPY SYSTEM AND OPERATING PROCESS FOR THE ENDOSCOPE SYSTEM
WO2014168128A1 (ja) * 2013-04-12 2014-10-16 オリンパスメディカルシステムズ株式会社 内視鏡システム及び内視鏡システムの作動方法
US10078895B2 (en) * 2015-12-30 2018-09-18 Case Western Reserve University Prediction of recurrence of non-small cell lung cancer with tumor infiltrating lymphocyte (TIL) graphs
WO2017201494A1 (en) * 2016-05-19 2017-11-23 Avantis Medical Systems, Inc. Methods for polyp detection
CN106097335B (zh) * 2016-06-08 2019-01-25 安翰光电技术（武汉）有限公司 消化道病灶图像识别系统及识别方法
US20180012359A1 (en) 2016-07-06 2018-01-11 Marinko Venci Sarunic Systems and Methods for Automated Image Classification and Segmentation
JP2018089379A (ja) * 2016-12-05 2018-06-14 国立大学法人千葉大学 膀胱機能評価プログラム及び膀胱機能評価方法
KR101862167B1 (ko) * 2016-12-15 2018-05-29 연세대학교 산학협력단 방광 관련 질환에 관한 정보제공방법
AU2018223811B2 (en) * 2017-02-27 2021-05-27 Urigen N.A. Treatment of lower urinary tract epithelium with glucagon like peptide 2
ES2775673T3 (es) * 2017-05-12 2020-07-27 Farco Gmbh Composición para el tratamiento de enfermedades inflamatorias del tracto urogenital que contiene sulfato de condonita (4,5 mg/ml), ácido hialurónico (16 mg/ml) y tampón de fosfato (pH 6,1 a 7,9) con mayor estabilidad de almacenamiento para tratar la cistitis
EP3400950B1 (de) * 2017-05-12 2019-11-13 Farco-Pharma GmbH Blaseninstillationszusammensetzung enthaltend chondoitinsulfat (20 mg/ml), hyaluronsäure (16 mg/ml) und phosphatpuffer (ph 6,1 bis 7,9) mit erhöhter lagerstabiliät zur behandlung von cystitis
CN107748889A (zh) * 2017-10-16 2018-03-02 高东平 一种乳腺肿瘤超声图像自动分类方法
WO2019088121A1 (ja) * 2017-10-30 2019-05-09 公益財団法人がん研究会 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム
EP3514756A1 (en) * 2018-01-18 2019-07-24 Koninklijke Philips N.V. Medical analysis method for predicting metastases in a test tissue sample
JP2019180966A (ja) * 2018-04-13 2019-10-24 学校法人昭和大学 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム
CN111091527B (zh) * 2018-10-24 2022-07-05 华中科技大学 一种病理组织切片图像中病变区域自动检测方法及系统
US20210223270A1 (en) 2018-12-27 2021-07-22 Public University Corporation Nara Medical University Method for diagnosing interstitial cystitis
CN109859172A (zh) * 2019-01-08 2019-06-07 浙江大学 基于眼底造影图像深度学习的糖网病变无灌注区识别方法
US11625825B2 (en) * 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
CA3074064A1 (en) * 2019-03-01 2020-09-01 The Regents Of The University Of California Systems, methods, and media for automatically segmenting and diagnosing prostate lesions using multi-parametric magnetic resonance imaging data
CN110033456B (zh) * 2019-03-07 2021-07-09 腾讯科技（深圳）有限公司 一种医疗影像的处理方法、装置、设备和系统
WO2020206337A1 (en) * 2019-04-03 2020-10-08 The Board Of Trustees Of The Leland Stanford Junior University Methods and systems for cystoscopic imaging incorporating machine learning
CN110223287A (zh) * 2019-06-13 2019-09-10 首都医科大学北京友谊医院 一种可提高乳腺癌早期诊断率的方法
CN111680687B (zh) * 2020-06-09 2022-05-10 江西理工大学 一种应用于乳腺x线图像异常识别的深度融合分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009066090A (ja) 2007-09-12 2009-04-02 Npo Comfortable Urology Network 下部尿路障害を診断する方法
JP2017534322A (ja) 2014-09-17 2017-11-24 タリス バイオメディカル エルエルシー 膀胱の診断的マッピング方法及びシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Hunner lesion versus non-Hunner lesion interstitial crystitis/bladder pain syndrome，International Journal of Urology，wiley，2019年05月30日，Volume 26, Issue S1，pp. 26-34，http: onlinelibrary.wiley.com/doi/epdf/10.1111/iju.13971，第28頁右欄第12行目-第29頁右欄第5行目

Also Published As

Publication number Publication date
JP2025172208A (ja) 2025-11-20
EP4252614A4 (en) 2024-10-09
CN116261418A (zh) 2023-06-13
JP7752348B2 (ja) 2025-10-10
JP7522154B2 (ja) 2024-07-24
JP2024124575A (ja) 2024-09-12
JP2022083867A (ja) 2022-06-06
US20250259304A1 (en) 2025-08-14
JP2022111195A (ja) 2022-07-29
WO2022114088A1 (ja) 2022-06-02
KR20230110246A (ko) 2023-07-21
US20220392063A1 (en) 2022-12-08
US12315150B2 (en) 2025-05-27
TW202236297A (zh) 2022-09-16
EP4252614A1 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
JP7124041B2 (ja) ハンナ病変の指摘のためのプログラム
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
Shimamoto et al. Real-time assessment of video images for esophageal squamous cell carcinoma invasion depth using artificial intelligence
CN113573654B (zh) 用于检测并测定病灶尺寸的ai系统、方法和存储介质
JP7550409B2 (ja) 画像診断装置、画像診断方法、および画像診断プログラム
CN110600122A (zh) 一种消化道影像的处理方法、装置、以及医疗系统
CN113164025A (zh) 医疗支持系统、医疗支持设备和医疗支持方法
WO2015137016A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
RU2633320C2 (ru) Отбор изображений для оптического исследования шейки матки
Pogorelov et al. Deep learning and handcrafted feature based approaches for automatic detection of angiectasia
WO2023215644A9 (en) Machine learning enabled diagnosis and lesion localization for nascent geographic atrophy in age-related macular degeneration
CN112334990A (zh) 自动宫颈癌诊断系统
Zhou et al. Two-phase non-invasive multi-disease detection via sublingual region
TWI922517B (zh) 用於指出杭納氏病變之程式、已學習之模型及其生成方法、以及膀胱內視鏡之控制裝置
HK40086334A (zh) 用於指示洪纳病变的程序、已学习模型及其生成方法
Zachariah et al. The potential of deep learning for gastrointestinal endoscopy—a disruptive new technology
TWI917264B (zh) 人工智慧模型協助偵測巴瑞特氏食道黏膜病變之方法
TWI915104B (zh) 內視鏡影像的自動挑選方法及系統
WO2026042737A1 (ja) 膀胱内視鏡画像に関するプログラム及びシステム
HK40018665B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
HK40018665A (en) Method, apparatus, and medical system for processing image of digestive tract
Chu et al. CNN-Based Segmentation Network Applied to Image Recognition of Angiodysplasias Lesion Under Capsule Endoscopy

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220311

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20220311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220810

R150 Certificate of patent or registration of utility model

Ref document number: 7124041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250