KR20200021082A - 신경 네트워크들을 이용하여 단층촬영 이미지 재구축 및 라디오믹스를 통합하기 위한 시스템 및 방법 - Google Patents

신경 네트워크들을 이용하여 단층촬영 이미지 재구축 및 라디오믹스를 통합하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20200021082A
KR20200021082A KR1020207001590A KR20207001590A KR20200021082A KR 20200021082 A KR20200021082 A KR 20200021082A KR 1020207001590 A KR1020207001590 A KR 1020207001590A KR 20207001590 A KR20207001590 A KR 20207001590A KR 20200021082 A KR20200021082 A KR 20200021082A
Authority
KR
South Korea
Prior art keywords
network
data
training
tomography
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207001590A
Other languages
English (en)
Other versions
KR102645120B1 (ko
Inventor
거 왕
만누딥 칼라
위르겐 한
우베 크루거
원샹 콩
홍밍 샨
Original Assignee
렌슬러 폴리테크닉 인스티튜트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 렌슬러 폴리테크닉 인스티튜트 filed Critical 렌슬러 폴리테크닉 인스티튜트
Publication of KR20200021082A publication Critical patent/KR20200021082A/ko
Application granted granted Critical
Publication of KR102645120B1 publication Critical patent/KR102645120B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/025—Tomosynthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5294—Devices using data or image processing specially adapted for radiation diagnosis involving using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G06K9/6274—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G06T11/005—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T12/00—Tomographic reconstruction from projections
    • G06T12/10—Image preprocessing, e.g. calibration, positioning of sources or scatter correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G06T2207/30064—Lung nodule

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Pulmonology (AREA)
  • General Engineering & Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)

Abstract

컴퓨터 단층촬영 (CT) 검진, 진단, 또는 다른 이미지 분석 작업들은 보충의 단층촬영 이미지 재구축들 및 라디오믹스를 통합하거나 단층촬영 미가공 데이터를 머신 러닝 프레임워크 내 진단 발견들로 직접적으로 매핑하기 위해 하나 이상의 네트워크들 및/또는 알고리즘들을 이용하여 수행된다. 하나 이상의 재구축 네트워크들은 CT 투영 데이터의 트레이닝 세트로부터의 단층촬영 이미지들을 재구축하기 위해 트레이닝된다. 하나 이상의 라디오믹스 네트워크들은 상기 단층촬영 이미지들 및 연관된 트레이닝 진단 데이터로부터 특징들을 추출하기 위해 트레이닝된다. 상기 네트워크들/알고리즘들은 말단-대-말단 네트워크로 통합되어 트레이닝된다. 개인으로부터의 단층촬영 데이터, 예를 들면, CT 투영 데이터, 그리고 다른 관련 정보의 세트가 상기 말단-대-말단 네트워크로 입력되며, 그리고 상기 말단-대-말단 네트워크에 의해 추출된 특징들에 기반하여 상기 개인을 위한 잠재적 진단이 산출된다. 상기 시스템들 및 방법들은 CT 투영 데이터, MRI 데이터, 핵의학 이미징 데이터, 초음파 신호들, 광학 데이터, 다른 유형의 단층촬영 데이터 또는 그것들의 조합에 적용될 수 있다.

Description

신경 네트워크들을 이용하여 단층촬영 이미지 재구축 및 라디오믹스를 통합하기 위한 시스템 및 방법
관련된 출원들에 대한 상호 참조
본원은 2017년 6월 16일에 출원된 미국 임시 출원 No. 62/520,682에 대한 우선권을 주장하며, 이 출원은 마치 본원에서 개시된 것처럼 그 전체가 본원에 참조로서 편입된다.
세계 보건 기구에 따르면, 암은 세계적으로 주된 사망의 원인이며, 폐암은 단독으로 2015년에 169만을 죽음에 이르게 했다. 폐암은 미국에서 거의 3분의 1의 암 관련된 사망의 원인이다. 국가 폐 검진 임상연구 (National Lung Screening Trial (NLST))는 저-선량 (low-dose) CT (LDCT)를 이용한 3년 동안의 매년마다의 폐암 검진 (screening)은 20% 줄어든 폐암 관련 사망의 결과를 가져온다고 보고했다. 이것은 긍정적인 결과이며, 검진은 주요한 임상적인 도전을 제공한다. 예를 들면, LDCT에 관한 긍정 오류 폐결절의 높은 빈도가 존재하며, 그리고 방사선 전문의들은 악성 폐결절을 양성 폐결절과 신뢰성있게 구별하는데 종종 어려움을 겪으며, 이는 이어지는 CT 스캔 및 때로는 침습성 폐 생검 및 비싼 PET-CT 테스트들을 초래한다. 밀접하게 관련된 도전은 추가의-폐암을 가진 환자들의 베이스라인 CT에서 불확실한 폐결절들의 악성/전이성 잠재성을 부정확하게 검출하는 것이다. 이런 경우들은 이 폐결절들의 특성에 대해 3, 6, 9, 12 및 24개월마다 계속되는 CT, PEC-CT, 또는 조직생검을 종종 필요로 한다. 또한, LDCT가 5년 기간에 걸쳐서 274억 달러 의료보장 예산을 필요로 할 것이라고 계획되었으며, 이는 사망을 피한 추가의 폐암 사망 당 약 24만 달러에 상당한다 (LDCT 검진에 75% 순응 비율 (compliance rate)을 가정). 유방암에 대해 디지털 유방 조영술 검진에 비해서 LDCT를 위한 비용은 대략적으로 3배 더 비싸다.
라디오믹스 (radiomics)는 검진 LDCT 상에서 검출된 폐결절을 검토하기 위한 유망한 방법으로서 제안되었다. 라디오믹스의 개념 이면의 주요한 아이디어는 이미지들은 시각적으로 감지될 수 있는 것보다 더 많은 정보를 담고 있으며, 그리고 숨겨진 정보가 추출될 수 있다는 것이다. 그래서, 비록 현재의 라디오믹스 기술들이 본질적으로 제한되어 있지만, 라디오믹스는 비용을 끌어내림으로써 검진 LDCT를 바꾸기 위한 잠재력을 가지며 폐암 진단을 위한 시간을 신속하게 처리한다.
개시된 특허 대상의 몇몇 실시예들은 검진, 진단, 또는 다른 이미지-기반 분석 작업들을 수행하기 위한 시스템에 관한 것이다, 몇몇 실시예들에서, 상기 시스템은 하나 이상의 프로세서들과 결합된 비-일시적 컴퓨터 저장 매체로서, 상기 하나 이상의 프로세서들은 개인을 검사하기 위해 상기 비-일시적 컴퓨터 저장 매체 상에 부호화된 하나 이상의 컴퓨터 프로그램을 실행하도록 구성된다. 몇몇 실시예들에서, 상기 하나 이상의 컴퓨터 프로그램들은 트레이닝된 말단-대-말단 (end-to-end) 네트워크를 포함하며, 이 네트워크는, 개인의 단층촬영 데이터의 세트로부터 하나 이상의 이미지들, 캐릭터들, 예를 들면, 경계, 텍스처들 등의 특징을 가진 단층촬영 이미지들을 재구축하기 위해 트레이닝된 하나 이상의 재구축 알고리즘들, 예를 들면, 필터링된 역-투영 (filtered back-projection (FBP)) 유형 알고리즘들이나 반복적 압축된 감지 알고리즘들, 및/또는 네트워크들을 포함하는 재구축 모듈, 그리고 상기 재구축 모듈과 통합된 라디오믹스 모듈을 포함하며, 상기 라디오믹스 모듈은 상기 개인을 진단을 통해 검사하기 위해 상기 단층촬영 이미지들 내 특징들을 추출하기 위해 트레이닝된 하나 이상의 라디오믹스 네트워크들을 포함한다. 몇몇 실시예들에서, 상기 시스템은, 단층촬영 트레이닝 데이터를 연관된 트레이닝 진단 데이터, 실제 단층촬영 샘플 이미지들, 인간의 주석 달린 관심 영역 세그먼트화 트레이닝 이미지들, 및 특징-라벨 부여된 관심 영역 트레이닝 이미지들로 매핑하기 위해 그 단층촬영 트레이닝 데이터로 트레이닝된 네트워크 트레이닝 모듈을 포함한다. 몇몇 실시예들에서, 상기 시스템은 중간 이미지들을 명시적으로 결부시키지 않으면서 단층촬영 트레이닝 데이터를 최종 진단 발견들로 매핑한다; 즉, 재구축된 이미지들을 우회시킨다. 몇몇 실시예들에서, 상기 단층촬영 트레이닝 데이터는 CT 투영 데이터, MRI 데이터, 핵의학 이미징 데이터, 초음파 신호들, 광학 데이터, 또는 그것들의 조합을 포함한다.
몇몇 실시예들에서, 상기 하나 이상의 재구축 네트워크들은, 상기 단층촬영 데이터를 대략적인 이미지로서 재구축하기 위해 트레이닝된 제1 네트워크로, 상기 제1 네트워크는, 적어도 CNN 레이어 및 역투영 레이어를 포함하는 네트워크-기반 FBP를 포함하는, 제1 네트워크; 하나 이상의 필터들을 포함한 CNN 레이어; 그리고 상기 대략적인 이미지를 정련하여 단층촬영 이미지를 출력하도록 트레이닝된 제2 네트워크를 포함하며, 상기 제2 네트워크는 하나 이상의 필터들을 포함하는 CNN 레이어 또는 성기게-연결된 (sparsely-connected) 레이어나 그것들의 조합을 포함한다. 몇몇 실시예들에서, 상기 제2 네트워크는, 적어도 몇몇의 실제 단층촬영 샘플 이미지들로 트레이닝된 판별자를 구비한 제1 GAN을 포함한다.
몇몇 실시예들에서, 상기 하나 이상의 라디오믹스 네트워크들은, 상기 단층촬영 이미지 내 관심 영역들을 식별하며 그리고 관심영역 세그먼트화 출력 이미지를 출력하기 위해 트레이닝된 제3 네트워크로, 상기 제3 네트워크는 적어도 CNN 레이어 또는 성기게-결합된 레이러 또는 그것들의 조합을 포함하는, 제3 네트워크 그리고 특징-추출 단층촬영 이미지를 출력하기 위해 상기 관심 영역들 및 연관된 진단 데이터 내 특징들을 추출하며 그리고 CT 투영 데이터의 세트로부터 잠재적 진단을 식별하기 위해 트레이닝된 제4 네트워크를 포함하며, 상기 제4 네트워크는 하나 이상의 필터들을 포함하는 제4 CNN 레이어 또는 성기게-결합된 레이어 또는 그것들의 조합을 포함한다. 몇몇 실시예들에서, 상기 제3 네트워크는, 적어도 몇몇의 인간의 주석 달린 관심 영역 세그먼트화 트레이닝 이미지들로 트레이닝된 판별자를 구비한 제2 GAN을 포함한다. 몇몇 실시예들에서, 상기 제4 네트워크는, 잡음 및/또는 아티팩트들을 제거하기 위해서, 그리고 추출된 특징들에 기반하여 분류하기 위해 학습하기 위해서, 관심 영역 세그먼트화 출력 이미지들을 이용하여 비지도 방식으로 먼저 트레이닝되고, 그리고 관심 영역들로부터 특징들을 추출하기 위해 특징-라벨 부여된 관심 영역 트레이닝 이미지들, 진단 트레이닝 데이터, 또는 그것들의 조합을 이용하여 지도 방식으로 이어서 트레이닝된, 제3 판별자를 구비한 제3 GAN을 포함한다.
상기 개시된 특허 대상의 몇몇 실시예들은 컴퓨터 단층촬영 (CT) 검진, 진단, 또는 다른 CT-기반 이미지 분석 작업들을 수행하는 방법에 관한 것이다. 몇몇 실시예들에서, 상기 방법은 타깃인 개인들로부터의 CT 투영 (projection) 데이터의 트레이닝 세트 및 연관된 트레이닝 진단 데이터를 제공하는 단계를 포함한다. 몇몇 실시예들에서, 상기 방법은 상기 CT 투영 데이터의 트레이닝 세트로부터 단층촬영 이미지들을 재구축하기 위해 하나 이상의 재구축 네트워크들을 트레이닝시키는 단계를 포함하고 그리고/또는 하나 이상의 재구축 알고리즘들을 사용한다. 몇몇 실시예들에서, 상기 방법은 상기 타깃인 개인들을 진단을 통해 검사하기 위해 상기 단층촬영 이미지들 및 상기 연관된 트레이닝 진단 데이터로부터 특징들을 추출하기 위해서 하나 이상의 라디오믹스 (radiomics) 네트워크들을 트레이닝시키는 단계를 포함한다. 몇몇 실시예들에서, 상기 방법은 상기 하나 이상의 재구축 네트워크들/알고리즘들 및 상기 하나 이상의 라디오믹스 네트워크들을 말단-대-말단 네트워크로 통합하는 단계를 포함한다. 몇몇 실시예들에서, 상기 방법은 상기 말단-대-말단 네트워크를 트레이닝시키는 단계를 포함한다. 몇몇 실시예들에서, 상기 방법은 개인으로부터의 적어도 CT 투영 데이터의 세트를 상기 말단-대-말단 네트워크로 입력하는 단계를 포함한다. 몇몇 실시예들에서, 상기 방법은 상기 말단-대-말단 네트워크에 의해 추출된 특징들에 기반하여 상기 개인을 위한 잠재적인 진단을 산출하는 단계를 포함한다.
몇몇 실시예들에서, 상기 하나 이상의 재구축 네트워크들은 상기 CT 투영 데이터의 세트로부터 대략적인 이미지를 재구축하기 위해 트레이닝된 제1 네트워크 그리고 상기 대략적인 이미지를 정련 (refine)하여 단층촬영 이미지를 출력하기 위해 트레이닝된 제2 네트워크를 포함한다. 몇몇 실시예들에서, 상기 제1 네트워크는, 적어도 컨볼루션 신경 네트워크 (convolutional neural network (CNN)) 및 역투영 (backprojection) 레이어를 포함하는 네트워크-기반 필터링된 역-투영 (filtered back-projection (FBP))이며, 상기 CNN 레이어는 하나 이상의 필터들을 포함한다. 몇몇 실시예들에서, 상기 제2 네트워크는, 하나 이상의 필터들을 포함하는 CNN 레이어 그리고 재구축된 단층촬영 이미지 및 실제 단층촬영 샘플 이미지 사이의 손실을 판별하는 판별기를 구비한, 제1 적대적 생성 네트워크 (generative adversarial network (GAN))를 포함한다.
몇몇 실시예들에서, 상기 하나 이상의 라디오믹스 네트워크들은, 상기 단층촬영 이미지 내 관심 영역들을 식별하고 관심 영역 세그먼트화 출력 이미지를 출력하기 위해 트레이닝된 제3 네트워크 그리고 특징-추출 단층촬영 이미지를 출력하기 위해 상기 관심 영역들 및 연관된 진단 데이터 내 특징들을 추출하며 그리고 CT 투영 데이터의 세트로부터 잠재적인 진단을 식별하기 위해 트레이닝된 제4 네트워크를 포함한다. 몇몇 실시예들에서, 상기 제3 네트워크는, 적어도 CNN 또는 성기게-연결된 레이어, 그리고 관심 영역 세그먼트화 출력 이미지 및 인간의 주석 달린 (annotated) 관심 영역 세그먼트화 트레이닝 이미지 사이의 손실을 판별하는 판별기를 구비한 제2 GAN을 포함한다. 몇몇 실시예들에서, 상기 제4 네트워크는, 하나 이상의 필터들을 포함하는 CNN 레이어, 그리고 상기 특징-추출된 단층촬영 이미지 및 특징-라벨 부여된 관심 영역 트레이닝 이미지 사이의 손실을 판별하는 판별기를 구비한 제3 GAN을 포함한다. 몇몇 실시예들에서, 상기 제4 네트워크는, 잡음 및/또는 아티팩트들을 제거하기 위해서, 그리고/또는 추출된 특징들에 기반하여 학습하기 위해서, 관심 영역 세그먼트화 출력 이미지들을 이용하여 비지도 (unsupervised) 방식으로 그리고/또는 전이 학습 (transfer learning) 방식으로 트레이닝된다. 몇몇 실시예들에서, 상기 제4 네트워크는 비지도 트레이닝 및/또는 전이 학습 이후에 지도 방식으로 미세-조정된다.
몇몇 실시예들에서, 상기 연관된 트레이닝 진단 데이터는 병리학적 결과들, 조직학적 발견들, 임상 기록들, 실험실 테스트들, 유전학적 프로파일링, 게놈 분석들, 단백체학 (proteomic) 분석들 등 또는 그것들의 조합들을 포함한다.
상기 개시된 특허 대상의 몇몇 실시예들은 "로우디오믹스 (rawdiomics)"를 직접적으로 수행하기 위해, 즉, 중간 이미지들을 명시적으로 결부시키기 않으면서 미가공 데이터의 라디오믹스로의 말단-대-말단 매핑을 수행하기 위해 단층촬영 이미지 재구축을 우회하는 CT 검진, 진단, 또는 다른 CT-기반 분석 작업을 수행하는 방법에 관한 것이다. 몇몇 실시예들에서, 상기 방법은, 타깃인 개인들로부터의 단층촬영 트레이닝 데이터의 세트 및 연관된 트레이닝 진단 데이터를 제공하는 단계, 타깃인 개인들로부터의 상기 단층촬영 트레이닝 데이터 및 연관된 트레이닝 진단 데이터로부터 특징들을 추출하기 위해 하나 이상의 네트워크들을 트레이닝시키는 단계, 상기 하나 이상의 네트워크들을 단일화된 말단-대-말단 네트워크로 통합하는 단계, 상기 단일화된 네트워크를 타깃인 개인들로부터의 상기 단층촬영 트레이닝 데이터 및 상기 연관된 트레이닝 진단 데이터로 트레이닝시키는 단계, 개인으로부터의 단층촬영 데이터, 예를 들면, x-레이 소노그램 (sonogram)과 같은 미가공 데이터의 세트를 상기 단일화된 말단-대-말단 네트워크로 입력하는 단계, 그리고 상기 단일화된 말단-대-말단 네트워크에 의해 추출된 특징들에 기반하여 상기 개인을 위한 잠재적인 진단을 산출하는 단계를 포함한다.
본 발명의 효과는 본 명세서의 해당되는 부분들에 개별적으로 명시되어 있다.
도면들은 본 발명을 예시하기 위한 목적을 위해 상기 개시된 특허 대상의 실시예들을 보여준다. 그러나, 본원은 도면들에서 보이는 정밀한 설비들 및 방안들로 한정되지 않는다는 것이 이해되어야 한다.
도 1은 종래 기술에 따라 이미지 분석 및 라디오믹스를 수행하기 위한 작업흐름의 개략적인 도면이다.
도 2a는 개시된 특허 대상의 몇몇 실시예들에 따라 이미지 분석 및 라디오믹스를 수행하기 위한 시스템의 개략적인 도면이다.
도 2b는 개시된 특허 대상의 몇몇 실시예들에 따라 이미지 분석을 수행하기 위한 네트워크의 개략적인 도면이다.
도 2c는 개시된 특허 대상의 몇몇 실시예들에 따라 라디오믹스를 수행하기 위한 네트워크의 개략적인 도면이다.
도 3a는 개시된 특허 대상의 몇몇 실시예들에 따라 이미지 분석 및 라디오믹스를 수행하기 위한 작업 흐름의 개략적인 도면이다.
도 3b는 개시된 특허 대상의 몇몇 실시예들에 따라 이미지 분석 및 라디오믹스를 수행하는 방법이다.
도 4는 개시된 특허 대상의 몇몇 실시예들에 따라 라디오믹스를 수행하기 위한 시스템의 개략적인 도면이다.
도 5a는 개시된 특허 대상의 몇몇 실시예들에 따라 라디오믹스를 수행하기 위한 작업 흐름의 개략적인 도면이다.
도 5b는 개시된 특허 대상의 몇몇 실시예들에 따라 라디오믹스를 수행하기 위한 방법의 도면이다.
도 6a는 동일한 데이터세트로부터 상이하게 재구축된 이미지들을 보여주는 도면이다.
도 6b는 전이 학습을 통해 신경 네트워크를 이용하여 라디오믹스 특징들을 추출하는 것을 보여주는 도면이다.
이제 도 2a를 참조하면, 개시된 특허 대상의 모습들은, 개인, 예를 들면, 환자의 검사 및/또는 진단에 관련된 검진, 진단, 또는 다른 이미지-기반 분석 작업들을 수행하기 위한 시스템 (200)을 포함한다. 몇몇 실시예들에서, 상기 시스템 (200)은 하나 이상의 프로세서들 (206)을 포함하는 컴퓨터 디바이스 (204)와 결합된 비-일시적 컴퓨터 저장 매체 (202)를 포함한다. 상기 비-일시적 컴퓨터 저장 매체 (202)는 데이터를 일시적으로, 영구적으로, 또는 그것들의 조합으로 전기적으로 저장할 수 있는 적합한 저장 매체일 수 있다. 상기 컴퓨팅 디바이스 (204)는 시스템 (200)의 데이터와 유선이나 무선 통신을 경유하여 상호작용하기 위한 어떤 적합한 디바이스, 예를 들면, 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트 디바이스 등일 수 있다. 상기 하나 이상의 프로세서들 (206)은 비-일시적 컴퓨터 저장 매체 (202) 상 부호화된 하나 이상의 컴퓨터 프로그램들 (208)을 실행하도록 구성된다.
상기 하나 이상의 컴퓨터 프로그램들 (208)은 단독으로 또는 몇몇의 조합으로, 예를 들면, 하나 이상의 질병, 건강 상태들을 위해 개인을 검사하고 진단을 돕도록 구성된다. 몇몇 실시예들에서, 상기 하나 이상의 컴퓨터 프로그램들 (208)은 네트워크 (210), 예를 들면, 인공 지능 네트워크 (artificial neural network (ANN))를 포함한다. 몇몇 실시예들에서, 네트워크 (210)는 트레이닝되며, 이는 아래에서 아주 상세하게 설명될 것이다. 상기 네트워크 (210)는 본원에서 소프트웨어로서 설명되지만, 본 발명 개시는 그런 면에서 한정되지 않으며, 다른 구성들이 예상되며, 네트워크 (210)가 소프트웨어 및 하드웨어의 조합으로 또는 순전히 하드웨어로 작동되는 경우를 포함한다.
몇몇 실시예들에서, 네트워크 (210)는, 하나 이상의 재구축 네트워크들 (214), 알고리즘들 (216), 또는 그것들의 조합을 포함하는 재구축 모듈 (212)을 포함한다. 상기 재구축 모듈 (212)은 검사나 진단을 받는 개인으로부터의 단층촬영 데이터의 세트로부터 단층촬영 이미지들을 재구축하기 위해 트레이닝된다. 몇몇의 실시예들에서, 복수의 상이한 단층촬영 이미지들이, 하나 이상의 이미지 특성들, 예를 들면, 경계들, 텍스처들 등을 강조하는 상이한 단층촬영 이미지들을, 예를 들면, 하나 이상의 재구축 네트워크들 (214), 알고리즘들 (216), 또는 위에서 식별된 것의 조합을 이용하여 동일한 트레이닝 데이터 세트로부터 재구축된다. 복수의 상이한 단층촬영 이미지들은 상기 모듈을 전체적으로 트레이닝시키기 위해 세로로 일렬이 되어 그 후에 고려된다. 상기 단층촬영 데이터는 CT 투영 (projection) 데이터, MRI 데이터, 핵의학 (nuclear) 이미징 데이터, 초음파 신호들, 광학 데이터 등 또는 그것들의 조합을 포함한다. 일부 실시예들에서, 네트워크 (210)는 하나 이상의 라디오믹스 네트워크들 (220)을 포함하는 라디오믹스 모듈 (218)을 포함한다. 상기 라디오믹스 모듈 (218)은 검사나 검진을 받는 개인을 진단을 통해 검사하기 위해 단층촬영 이미지들에서, 예를 들면, 재구축 모듈 (212)로부터의 재구축된 단층촬영 이미지들에서 특징 (feature)들을 추출하기 위해 트레이닝된다. 몇몇 실시예들에서, 재구축 모듈 (212) 및 라디오믹스 모듈 (218)은 말단-대-말단 (end-to-end) 네트워크로서 통합되며, 이 말단-대-말단 네트워크는, 미가공 (raw) 단층촬영 데이터, 연관된 진단 데이터, 또는 그것들의 조합에 기반하여 개인을 검진 및/또는 진단하기 위한 정보를 유리하게도 제공하기 위해서, 단층촬영 데이터 재구축을 단층촬영 이미지들, 이미지 프로세싱/분석, 및 특징 추출, 예를 들면, 라디오믹스에 유리하게도 통합한다. 검진받거나 진단받을 수 있는 예시적인 질병 및/또는 건강 상태들은 양성 및 악성 종양들, 암, 예를 들면, 폐암, 간암, 대장암 등, 폐기종, 만성 폐쇄성 폐질환 (chronic obstructive pulmonary disease (COPD)) 등을 포함하지만, 그것들로 한정되지 않는다.
네트워크 (210)가 정확한 검진, 진단, 및/또는 다른 정보 프로세싱 작업을 제공하게 하기 위해서, 네트워크 (210)는 모집단 내 타깃인 개인들의 그룹으로부터의 그리고 그 그룹을 대표하는 트레이닝 데이터 세트 (222)에 관하여 트레이닝된다. 몇몇 실시예들에서, 상기 네트워크 (210)는 상기 트레이닝 데이터 세트 (222)에 관하여 상기 네트워크 (210)를 트레이닝 시키기 위한 네트워크 트레이닝 모듈 (224)을 포함한다. 상기 트레닝 데이터 세트가 가능한 많은 대표 데이터를 포함하며 그리고 데이터 그 자체가 트레이닝 모듈 (224)에 의해 네트워크 (210)에게 부여된 트레이닝의 품질을 최대화하며 그래서 상기 네트워크로부터의 검진, 검사, 및/또는 진단의 신뢰성을 최대화하기 위해 가능한 정밀한 것이 유리하다. 몇몇 실시예들에서, 상기 트레이닝 데이터 세트 (222)는 단층촬영 트레이닝 데이터, 예를 들면, 사이노그램 (sinogram)들, 연관된 트레이닝 진단 데이터, 실제 단층촬영 샘플 이미지들, 인간의 주석 달린 (annotated) 관심 영역 세그먼트화 트레이닝 이미지, 특징-라벨 부여된 (feature-labeled) 관심 영역 트레이닝 이미지들, 또는 그것들의 조합을 포함하지만, 그것들로 한정되지는 않는다. 몇몇 실시예들에서, 상기 단층촬영 트레이닝 데이터는 CT 투영 데이터, MRI 데이터, 핵의학 이미징 데이터, 초음파 신호들, 광학 데이터 등 또는 그것들의 조합을 포함한다. 몇몇 실시예들에서, 상기 연관된 트레이닝 진단 데이터는 병리학적 결과들, 조직학적 발견들, 임상 기록들, 실험실 테스트들, 유전학적 프로파일링, 게놈 분석들, 단백체학 (proteomic) 분석들 등, 또는 그것들의 조합들을 포함한다.
몇몇 실시예들에서, 네트워크 트레이닝 모듈 (224)은 검사나 검진을 받는 개인으로부터의 단층촬영 데이터의 세트로부터의 단층촬영 이미지들을 재구축하기 위해 재구축 모듈 (212)을 트레이닝 시키도록 구성된다. 시스템 (200) 및 재구축 모듈 (212)을 위한 프레임워크는 미가공 데이터 및/또는 저-품질 입력 이미지들로부터 더 높은 품질 출력 이미지들로의 데이터-주도적 (data-driven) 관계를 부분적으로 확립하기 위한 것이다. 이론에 얽매이기를 바라지 않으면서,
Figure pct00001
를 잡음 및 안티팩트들을 가진 입력 이미지들이라고 하며, 그리고
Figure pct00002
은 대응하는 그라운드 실제 이미지라고 하면, 그 관계는 수학식 1처럼 공식화된다.
Figure pct00003
여기에서
Figure pct00004
는 트레이닝 데이터 세트 (222) 또는 더 일반적으로는 종래 지식 라이브러리를 통해 재구축 모듈 (212)을 사용하여 학습될 매핑을 나타낸다. 몇몇 실시예들에서, 이 프로세스는 다음처럼 공식화된다.
Figure pct00005
재구축 모듈 (212)은 수학식 2를 (오류 제곱의 관점에서 예시의 손실 함수를 구비한) 일 예로서 실현하기 위해 설계되며, 이는 아래에서 아주 더 상세하게 설명될 것이다.
몇몇 실시예들에서, 네트워크 트레이닝 모듈 (224)은 검사나 검진을 받는 개인을 진단을 통해 검사하기 위해서 단층촬영 이미지들에서 특징들을 추출하기 위해 라디오믹스 모듈 (218)을 트레이닝시키도록 구성된다. 몇몇 실시예들에서, 재구축 모듈 (212) 및 라디오믹스 모듈 (218)이 말단-대-말단 네트워크로서 통합될 때에, 네트워크 트레이닝 모듈 (224)은 개인에 대한 검사 및/또는 진단에 관련된 검진, 진단, 또는 다른 이미지-기반 분석 작업들을 수행하기 위해 상기 말단-대-말단 네트워크를 미가공 데이터부터 최종 진단까지 트레이닝 시키도록 구성되며, 이는 아래에서 아주 더 상세하게 설명될 것이다.
도 2b를 이제 참조하면, 몇몇 실시예들에서, 재구축 모듈 (212)은 단층촬영 데이터, 예를 들면, CT 주사 데이터의 세트로부터의 하나 이상의 대략적인 이미지들을 재구축하기 위해 트레이닝된 제1 네트워크 (214A)를 포함한다. 몇몇 실시예들에서, 제1 네트워크 (214A)는, 적어도 컨볼루션 신경 네트워크 (convolutional neural network (CNN)) 및 역투영 (backprojection) 레이어를 포함하는 네트워크-기반 필터링된 역-투영 (filtered back-projection (FBP))를 포함한다. 본원에서 사용되었듯이, CNN들은 적어도 하나의 컨볼루션 레이어를 포함한다. 몇몇 실시예들에서, 상기 CNN 레이어는 하나 이상의 필터들을 포함한다. 몇몇 실시예들에서, 재구축 모듈 (212)은 상기 대략적인 이미지를 정련 (refine)하여 단층촬영 이미지를 출력하기 위해 트레이닝된 제2 네트워크를 포함한다. 몇몇 실시예들에서, 네트워크들 (214A 및 214B)은 이미지들을 직접적으로 재구축하기 위해 연합 네트워크로 결합된다. 예를 들면, H. Chen 등의, "LEARN: Learned Experts' Assessment-Based Reconstruction Network for Sparse-Data CT," in IEEE Transactions on Medical Imaging, vol. 37, no. 6, pp. 1333-1347, June 2018를 참조하며, 이 문헌은 마치 본원에서 개시된 것처럼 그 전체가 본원에 참조로서 편입된다. 몇몇 실시예들에서, 제2 네트워크 (214B)는 CNN 레이어처럼 성기게-연결된 (sparsely-connected) 레이어를 적어도 포함한다. 몇몇 실시예들에서, 상기 CNN 레이어는 하나 이상의 필터들을 포함한다. 몇몇 실시예들에서, 제2 네트워크 (214B)는 적어도 적대적 생성 네트워크 (generative adversarial network (GAN))를 포함한다. 이론에 얽매이기를 바라지 않으면서, GAN은 두 개의 컴포넌트들을 포함한다: 생성기 및 판별기 (discriminator). 상기 생성기는 출력, 예를 들면, 재구축된 이미지를 제공하는 것이 목표이며, 상기 판별기는 생성기 출력들 및 그 출력의 현실/실제 대응물들을 구별하는 것을, 즉, 판단을 하기 위해 그것들 사이에서의 불일치를 측정하는 것을 목표로 한다. 상기 GAN의 트레이닝에 있어서, 상기 생성기 및 판별기는, 상기 판별기가 상기 생성기로부터의 인공적인 출력과 실제의 대응물 사이에서의 차이를 알 수 없을 때까지 서로 맞선다. 몇몇 실시예들에서, 상기 제2 네트워크 (214B) GAN은 적어도 하나의 실제 단층촬영 샘플 이미지로 트레이닝된 판별기를 가진다. 상기 제2 네트워크 (214B) GAN은 단층촬영 이미지들, 예를 들면, 네트워크들 (214A 및/또는 214B)에 의해 재구축된 이미지들 그리고 실제의 단층촬영 샘플 이미지들 사이에서 불일치를 구별하기 위해, 예를 들면, 판별하기 위해 트레이닝된다.
도 2c를 이제 참조하면, 몇몇 실시예들에서, 라디오믹스 모듈 (218)은 단층촬영 이미지들에서, 예를 들면, 폐결절, 간 매스 (liver mass), 또는 다른 종양 주위의 관심 영역들을 식별하고, 그리고 상기 관심 영역들이 상기 이미지의 배경으로부터 분할된 이미지를, 예컨데, 관심 영역 세그먼트화 출력 이미지로서 출력하기 위해 트레이닝된 제3 네트워크 (220A)를 포함한다. 몇몇 실시예에서, 제3 네트워크 (220A)는 CNN 레이어와 같은 성기게-연결된 레이어를 적어도 포함한다. 몇몇 실시예들에서, 상기 CNN 레이어는 하나 이상의 필터들을 포함한다. 몇몇 실시예들에서, 제3 네트워크 (220A)는 적어도 하나의 인간 주석 달린 (annotated) 관심 영역 세그먼트화 트레이닝 이미지를 이용하여 트레이닝된 판별자를 구비한 GAN을 적어도 포함한다. 상기 제3 네트워크 (220A)는, 관심 영역 세그먼트화 출력 이미지들 및 인간의 주석 달린 관심 영역 세그먼트화 트레이닝 이미지들 사이를 구별하기 위해, 예를 들면, 불일치를 판별하기 위해 트레이닝된다.
몇몇 실시예들에서, 라디오믹스 모듈 (218)은, 관심 영역 세그먼트화 이미지들, 연관된 진단 데이터, 또는 그것들의 조합으로부터 관심 영역 내 특징들을 추출하며, 그리고 특징-추출된 단층촬영 이미지 및/또는 단층촬영 데이터의 세트에 대해 식별된 잠재적인 진단을 출력하기 위해 트레이닝된, 제4 네트워크 (220B)를 포함한다. 몇몇 실시예들에서, 제4 네트워크 (220B)는 CNN 레이어처럼 성기게-연결된 레이어를 적어도 포함한다. 몇몇 실시예들에서, 상기 CNN 레이어는 하나 이상의 필터들을 포함한다. 몇몇 실시예들에서, 제4 네트워크 (220B)는 판별기를 구비한 GAN을 적어도 포함한다. 상기 제4 네트워크 (220B)는 특징-추출 단층촬영 이미지들 및 특징-라벨 부여된 관심 영역 트레이밍 이미지들 사이를 구별하기 위해, 예를 들면, 불일치를 판별하기 위해 트레이닝된다. 몇몇 실시예들에서, 상기 제4 네트워크 (220B)는 잡음 및/또는 아티팩트들을 제거하기 위해서, 그리고 추출된 특징들에 기반하여 학습하기 위해서, 제3 네트워크 (220A)로부터의 관심 영역 세그먼트화 출력 이미지들을 이용하여 비지도 (unsupervised) 방식으로 트레이닝된다. 몇몇 실시예들에서, 상기 제4 네트워크 (220B)는 관심 영역으로부터 특징들을 추출하기 위해서, 특징-라벨 부여된 관심 영역 트레이닝 이미지들, 진단 트레이닝 데이터, 또는 그것들의 조합을 이용하여 지도 (supervised) 방식으로 트레이닝된다. 몇몇 실시예들에서, 상기 제4 네트워크 (220B)는 전이-학습 (transfer-learning)으로 트레이닝된다. 몇몇 실시예들에서, 상기 제4 네트워크의 트레이닝은 비지도받으며, 지도받으며, 전이 학습을 경유하며, 또는 그것들의 조합이다. 몇몇 실시예들에서, 네트워크들 (220A 및/또는 220B)은 비지도 방식으로 먼저 트레이닝되며 그리고 이어서 지도 방식으로 미세-조정된다. 몇몇 실시예들에서, 네트워크들 (220A 및 220B)은 단일의 네트워크로 결합되어 함께 트레이닝될 수 있다.
도 1, 도 3a 및 도 3b를 참조하면, 본 발명 개시는 개인의 검사 및/또는 진단에 관련된 이미지-기반 분석 작업들의 종래 기술의 방법을 유리하게도 개선한다. 특히, 도 3b를 참조하면, 본 발명 개시의 몇몇 모습들은 검진, 진단 또는 다른 이미지-기반 분석 작업들, 예를 들면, CT 검진을 수행하는 방법 (300)에 관한 것이다. 방법 (300)의 몇몇 실시예들 내, 302에서, 타깃인 개인들로부터의 단층촬영 트레이닝 데이터의 세트 및 연관된 트레이닝 진단 데이터가 제공된다. 위에서 설명되었듯이, 몇몇 실시예들에서, 단층촬영 트레이닝 데이터의 상기 세트는 CT 투영 데이터, MRI 데이터, 핵의학 이미징 데이터, 초음파 신호들, 광학 데이터 등 또는 그것들의 조합의 트레이닝 세트를 포함한다. 몇몇 실시예들 내, 304A에서, 단층촬영 트레이닝 데이터의 세트로부터 단층촬영 이미지들을 재구축하기 위해 하나 이상의 재구축 네트워크들이 트레이닝된다. 몇몇 실시예에서, 304B에서, 단층촬영 트레이닝 데이터의 세트로부터 단층촬영 이미지들을 재구축하기 위해 하나 이상의 재구축 알고리즘들이 사용된다. 몇몇 실시에들에서, 방법 (300)은 재구축 네트워크들 트레이닝 (304A) 및 알고리즘들 사용 (304B) 둘 모두를 포함한다.
306에서, 타깃인 개인들을 진단을 통해 검사하기 위해, 단층촬영 이미지들, 연관된 트레이닝 진단 데이터, 또는 그것들의 조합으로부터 특징들을 추출하기 위해서 하나 이상의 라디오믹스 네트워크들이 트레이닝된다. 308에서, 상기 하나 이상의 재구축 네트워크들/알고리즘들 및 상기 하나 이상의 라디오믹스 네트워크들이 말단-대-말단 네트워크로 통합된다. 몇몇 실시예에서, 310에서, 상기 말단-대-말단 네트워크 그 자체가 (함께 동시에 또는 교번하는 방식으로), 예를 들면, 동일한 세트의 단층촬영 트레이닝 데이터 및 연관된 트레이닝 진단 데이터, 또는 상이한 세트의 단층촬영 트레이닝 데이터 및 연관된 트레이닝 진단 데이터, 또는 그것들의 조합에 관하여 트레이닝된다.
312에서, 개인으로부터의 단층촬영 데이터, 예를 들면, CT 투영 데이터의 세트가 상기 트레이닝된 말단-대-말단 네트워크로 입력된다. 314에서, 상기 트레이닝된 말단-대-말단 네트워크에 의해 추출된 특징들에 기반하여 상기 개인을 위한 잠재 진단이 출력된다.
이제 도 4를 참조하면, 몇몇 실시예들에서, 개인을 검진하거나 진단하기 위한 위에서 설명된 상기 시스템 (200)은 특징들을 추출하고 상기 단층촬영 데이터로부터 직접적으로 진단을 식별하며, 명백한 단층촬영 이미지 재구축은 우회한다. 이 실시예에서, 시스템 (400), 하나 이상의 프로세서들 (406)을 포함하는 컴퓨팅 디바이스 (404)와 결합된 비-일시적 컴퓨터 저장 매체 (402)가 언급된다. 상기 하나 이상의 프로세서들 (406)은 비-일시적 컴퓨터 저장 매체 (402) 상에 부호화된 하나 이상의 컴퓨터 프로그램 (408)을 실행하도록 구성된다.
위에서 설명된 시스템 (200)에서처럼, 시스템 (400)에서, 상기 하나 이상의 컴퓨터 프로그램들 (408)은 단독으로 또는 몇몇 결합하여, 예를 들면, 하나 이상의 질병, 건강 상태들 등을 위해서, 트레이닝된 단일화된 말단-대-말단 네트워크 (410)를 경유하여 개인을 검사하고 진단을 돕도록 구성된다. 몇몇 실시예들에서, 상기 트레이닝된 단일화된 말단-대-말단 네트워크 (410)는, 하나 이상의 네트워크들 (414), 이미지 프로세싱/분석 알고리즘들 (416), 또는 그것들의 조합을 포함하는 라이오믹스 모듈 (412)을 포함한다. 네트워크들 (214A, 214B 등)에 관하여 위에서 설명된 것과 동일한 방식으로, 시스템 (400)에서, 상기 하나 이상의 네트워크들 (414)은 구조화되며 그리고 상기 라디오믹스 모듈 (412)은 타깃인 개인을 진단을 통해 검사하기 위해서, 그 개인으로부터의 단층촬영 트레이닝 데이터 및 연관된 트레이닝 진단 데이터로부터 직접적으로 특징들을 추출하기 위해 트레이닝된다.
몇몇 실시예들에서, 상기 네트워크 (410)는 네트워크 트레이닝 모듈 (224)에 관하여 위에서 설명되었듯이, 트레이닝 데이터 세트 (420)에 관하여 상기 네트워크 (410)를 트레이닝하기 위해 네트워크 트레이닝 모듈 (418)을 포함한다. 몇몇 실시예들에서, 상기 트레이닝 데이터 세트 (420)는 타깃인 개인들의 집단으로부터의 단층촬영 트레이닝 데이터 및 연관된 트레이닝 진단 데이터를 포함하지만, 그것들로 한정되지는 않는다. 몇몇 실시예들에서, 상기 단층촬영 트레이닝 데이터는 CT 투영 데이터, MRI 데이터, 핵의학 이미징 데이터, 초음파 신호들, 광학 데이터, 또는 그것들의 조합을 포함한다. 몇몇 실시예들에서, 상기 연관된 트레이닝 진단 데이터는 병리학적 결과들, 조직학적 발견들, 임상 기록들, 실험실 테스트들, 유전학적 프로파일링, 게놈 분석들, 단백체학 (proteomic) 분석들 등, 또는 그것들의 조합들을 포함하지만, 그것들로 한정되지는 않는다.
도 1, 도 5a 및 도 5b를 참조하면, 본 발명 개시의 몇몇 모습들은, "로우디오믹스 (rawdiomics)", 즉, 미가공 (raw) 데이터를 진단 특징들/발견들로 직접적으로 말단-대-말단 매핑하는 것을 수행하기 위해 단층촬영 이미지 재구축을 우회하는 검진, 진단, 또는 다른 이미지-기반 분석 작업을 수행하는 방법 (500)에 관한 것이다. 특히, 도 5b를 참조하면, 502에서, 예를 들면, 타깃인 개인들로부터의 단층촬영 트레이닝 데이터의 세트 및 연관된 트레이닝 진단 데이터가 제공된다. 504에서, 타깃인 모집단 내 타깃인 개인들로부터의 단층촬영 트레이닝 데이터 및 연관된 트레이닝 진단 데이터로부터 특징들을 추출하기 위해 하나 이상의 네트워크들이 트레이닝된다. 506에서, 상기 하나 이상의 네트워크들을 단일화된 말단-대-말단 네트워크로 통합된다. 508에서, 상기 단일화된 네트워크가 타깃인 개인들로부터의 단층촬영 트레이닝 데이터 및 연관된 트레이닝 진단 데이터를 이용하여 트레이닝된다. 510에서, 개인, 예를 들면, 환자로부터의 단층촬영 데이터의 세트가 상기 단일화된 말단-대-말단 네트워크로 입력된다. 512에서, 상기 단일화된 말단-대-말단 네트워크에 의해 추출된 특징들에 기반하여 상기 개인을 위한 잠재 진단이 식별되어 출력된다.
본 발명 개시의 방법들 및 시스템들은 개인에 대한 검사에 관련된 검진, 진단, 다른 이미지-기반 분석 작업들을 위한 최적화된, 총체적인 작업흐름을 유리하게도 제공한다. 이것은 단층촬영 재구축 및 라디오믹스의 상호 의존적인 단일화라는 특징을 가지며, 그래서 미가공 데이터 내 고유의 정보가 머신 러닝 (learning) 프레임워크에서 완전하게 활용될 수 있도록 한다. 딥 러닝 (deep learning) 및 관련된 기술들을 적용함으로써, 상기 시스템은 표준의 분석적인 그리고/또는 반복적인 방법론에 비해 상대적으로 포괄적인 단층촬영 재구축 및 자극이 되는 진단 관련된 특징들의 큰 탐색 공간을 제공한다. 본 발명 개시의 상기 시스템들 및 방법들은, 전통적인 기술들을 사용하여 지루하며, 비싸고, 상대적으로 신뢰성이 없을 수 있는 관심 영역 세그먼트화 및 특징 추출과 같은 라디오믹스 관련된 작업들의 수행을 크게 개선한다. 특히, 전통적인 수작업 특징들은 형상-기반 및 텍스처-기반 특징들로 종종 한정되지만, 본 발명 개시의 네트워크들은 크게 향상된 분류 및 검진 능력을 위해 수백만 또는 심지어 수십억의 특징들을 추출할 수 있다. 마지막으로, 본원에서 설명된 상기 통합된 프레임워크는 심지어는 이용 가능한 데이터가 미가공 단층촬영 데이터일 뿐인 경우에도, 즉, 이미지 재구축이 효과적인 진단을 위해 명시적으로 결부되거나 결부되지 않을 수 있는 경우에도 개인에 대한 아주 더 빠르며, 더 신뢰성있는 검사 및 진단을 가능하게 한다. 그래서, 통상적으로 모집단의 모든 멤버들이 일반적으로는 동일하게 치료받는 경우에 오퍼레이터 불일치들을 줄이고 정말로 위험한 환자들, 예를 들면, 대장암, 간암, 및 폐암의 이력을 가진 환자를 넓게 한정된 환자 모집단 등 내에서 낮은-위험 환자들로부터 더 양호하게 구별하기 위해서, 의료 급여의 전반적인 비용들 그리고 환자들 치료 및 시험에 향하는 편견이 본 발명 개시의 시스템을 사용함으로써 최소화될 수 있다.
실례
환자 단층촬영 데이터의 단층촬영 이미지 재구축 및 상기 재구축된 이미지들의 라디오믹스 분석 둘 모두가 수행되었다. 이제 도 6a를 참조하면, 미가공 환자 데이터로부터의 CT 이미지들이, 세 가지 대표적인 이미지 재구축 알고리즘들 각각을 상이한 유형의 강조된 특징들에 사용하여 재구축되었다: (a) 풍부한 용법 주의들 (rich signatures)을 드러내는 우리가 새롭게 개발했던 저 차원적 다양성 (low-dimensional manifold (LDM)) 기반의 방법을 사용; (b) 정밀 셰이딩 (shading) 차이들을 위한 SART-TV 알고리즘들 사용, 그리고 (c) 높은 공간 해상도를 위한 FBP 알고리즘 사용. 예를 들면, Cong, W., Wang, G., Yang, Q., Hsieh, J., Li, J., & Lai, R. (2017). CT Image Reconstruction in a Low Dimensional Manifold. CoRR, abs/1704.04825 를 참조하며, 이는 마치 본원에서 개시된 것처럼 그 전체가 본원에 참조로서 편입된다. 이제 도 6b를 참조하여, 폐결절들의 CNN-기반 분류를 묘사한다: (a) 미세-조정 및 특징 선택 이후에 사전-트레이닝된 AlexNet로부터 특징 추출을 위한 네트워크 구조, (b)
악성 샘플 (적색) 및 양성 샘플 (청색)을 구별하기 위해 처음의 두 주성분들 (PCs)을 위한 수평축 및 수직축을 구비한 2D 공간에서 시각화된 학습된 특징들, 그리고 (c) 우리가 제안한 방법 FTCov4 는 종래 기술 텍스처 서술자들, 예를 들면, HOG (histogram of oriented gradients) 및 로컬 이진 패턴들 (local binary patterns (LBP))보다 더 양호한 성능을 달성한다. 예를 들면, Shan H, Wang G, Kalra MK, de Souza R, Zhang J: Enhancing Transferability of Features from Pretrained Deep Neural Networks for Lung Nodule Classification. In: The Proceedings of the 2017 International Conference on Fully Three-Dimensional Image Reconstruction in Radiology and Nuclear Medicine (Fully3D), Xi'an, China; 2017을 참조하며, 이것은 마치 본원에서 개시된 것처럼 그 전체가 본원에 참조로서 편입된다. 이 예는 본 발명 개시에서 설명된 라디오믹스 시스템들 및 방법들의 잠재력 및 능력을 보여주며, 즉, 이전에는, 예를 들면, 동일한 빈도의 검진들, 예방 검진들 등의 획일적인 치료를 받았을 환자 모집단이 이제는 더 양호하게 분할될 수 있으며, 그래서 전이의 위험이 더 낮은 환자들이 아마 틀림없이 불필요한 치료를 받지 않게 하면서도, 전이 (metastasis)에 대해 위험한 환자들에게 비례하여 시간과 자원들이 충당될 수 있도록 한다.
비록 본 개시된 특허 대상이 상기 실시예들에 관하여 설명되고 예시되었지만, 본 발명이 속한 기술 분야에서의 통상의 지식을 가진 자들은, 상기 개시된 실시예들의 특징들이 본 발명의 범위 내에서 추가의 실시예들을 산출하기 위해 결합되고, 재배치될 수 있으며, 그리고 본 발명의 사상 및 범위로부터 벗어나지 않으면서 다양한 다른 변화들, 삭제들, 및 추가들이 본 발명에서 그리고 본 발명에 대해 만들어질 수 있을 것이라는 것을 이해해야 한다.

Claims (20)

  1. 컴퓨터 단층촬영 (CT) 검진, 진단, 또는 다른 CT-기반 이미지 분석 작업들을 수행하는 방법으로, 상기 방법은:
    타깃인 개인들로부터의 CT 투영 (projection) 데이터의 트레이닝 세트 및 연관된 트레이닝 진단 데이터를 제공하는 단계;
    상기 CT 투영 데이터의 트레이닝 세트로부터 단층촬영 이미지들을 재구축하기 위해 하나 이상의 재구축 네트워크들을 트레이닝시키는 단계;
    상기 타깃인 개인들을 진단을 통해 검사하기 위해 상기 단층촬영 이미지들 및 상기 연관된 트레이닝 진단 데이터로부터 특징들을 추출하기 위해서 하나 이상의 라디오믹스 (radiomics) 네트워크들을 트레이닝시키는 단계;
    상기 하나 이상의 재구축 네트워크들 및 상기 하나 이상의 라디오믹스 네트워크들을 말단-대-말단 네트워크로 통합하는 단계;
    상기 말단-대-말단 네트워크를 트레이닝시키는 단계;
    개인으로부터의 적어도 CT 투영 데이터의 세트를 상기 말단-대-말단 네트워크로 입력하는 단계; 그리고
    상기 말단-대-말단 네트워크에 의해 추출된 특징들에 기반하여 상기 개인을 위한 잠재적인 진단을 산출하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 하나 이상의 재구축 네트워크들은:
    상기 CT 투영 데이터의 세트를 대략적인 이미지로서 재구축하기 위해 트레이닝된 제1 네트워크; 그리고
    상기 대략적인 이미지를 정련 (refine)하여 단층촬영 이미지를 출력하기 위해 트레이닝된 제2 네트워크를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 제1 네트워크는, 적어도 컨볼루션 신경 네트워크 (convolutional neural network (CNN)) 및 역투영 (backprojection) 레이어를 포함하는 네트워크-기반 필터링된 역-투영 (filtered back-projection (FBP))이며, 상기 CNN 레이어는 하나 이상의 필터들을 포함하는, 방법.
  4. 제2항에 있어서,
    상기 제2 네트워크는, 하나 이상의 필터들을 포함하는 CNN 레이어 그리고 재구축된 단층촬영 이미지 및 실제 단층촬영 샘플 이미지 사이의 손실을 판별하는 판별기를 구비한, 제1 적대적 생성 네트워크 (generative adversarial network (GAN))를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 하나 이상의 라디오믹스 네트워크들은:
    상기 단층촬영 이미지 내 관심 영역들을 식별하고 관심 영역 세그먼트화 출력 이미지를 출력하기 위해 트레이닝된 제3 네트워크; 그리고
    특징-추출 단층촬영 이미지를 출력하기 위해 상기 관심 영역들 및 연관된 진단 데이터 내 특징들을 추출하며 그리고 CT 투영 데이터의 세트로부터 잠재적인 진단을 식별하기 위해 트레이닝된 제4 네트워크를 포함하는, 방법.
  6. 제5항에 있어서,
    상기 제3 네트워크는, 적어도 CNN 그리고 관심 영역 세그먼트화 출력 이미지 및 인간의 주석 달린 (annotated) 관심 영역 세그먼트화 트레이닝 이미지 사이의 손실을 판별하는 판별기를 구비한 제2 GAN을 포함하는, 방법.
  7. 제5항에 있어서,
    상기 제4 네트워크는, 하나 이상의 필터들을 포함하는 CNN 레이어, 그리고 상기 특징-추출된 단층촬영 이미지 및 특징-라벨 부여된 관심 영역 트레이닝 이미지 사이의 손실을 판별하는 판별기를 구비한 제3 GAN을 포함하는, 방법.
  8. 제7항에 있어서,
    상기 제4 네트워크는, 잡음 및/또는 아티팩트들을 제거하기 위해서, 그리고 추출된 특징들에 기반하여, 전이 학습 (transfer learning)을 경유하여, 또는 그것들의 조합들을 통해 분류하기 위해 학습하기 위해서, 관심 영역 세그먼트화 출력 이미지들을 이용하여 비지도 (unsupervised) 방식으로 트레이닝되는, 방법.
  9. 제8항에 있어서,
    상기 제4 네트워크는 상기 비지도 트레이닝, 전이 학습, 또는 그것들의 조합들 이후에 지도 (supervised) 방식으로 미세-조정되는, 방법.
  10. 제1항에 있어서,
    상기 연관된 트레이닝 진단 데이터는 병리학적 결과들, 조직학적 발견들, 임상 기록들, 실험실 테스트들, 유전학적 프로파일링, 게놈 분석들, 단백체학 (proteomic) 분석들, 또는 그것들의 조합들을 포함하는, 방법.
  11. 검진, 진단, 또는 다른 이미지-기반 분석 작업들을 수행하기 위한 시스템으로, 상기 시스템은:
    하나 이상의 프로세서들과 결합된 비-일시적 컴퓨터 저장 매체로서, 상기 하나 이상의 프로세서들은 개인을 검사하기 위해 상기 비-일시적 컴퓨터 저장 매체 상에 부호화된 하나 이상의 컴퓨터 프로그램을 실행하도록 구성되며, 상기 하나 이상의 컴퓨터 프로그램들은:
    트레이닝된 말단-대-말단 네트워크를 포함하며, 이 네트워크는:
    상기 개인으로부터의 단층촬영 데이터의 세트로부터 단층촬영 이미지들을 재구축하기 위해 트레이닝된 하나 이상의 재구축 알고리즘들 및/또는 네트워크들을 포함하는 재구축 모듈; 그리고
    상기 재구축 모듈과 통합된 라디오믹스 모듈을 포함하며,
    상기 라디오믹스 모듈은 상기 개인을 진단을 통해 검사하기 위해 상기 단층촬영 이미지들 내 특징들을 추출하기 위해 트레이닝된 하나 이상의 라디오믹스 네트워크들을 포함하는, 시스템.
  12. 제11항에 있어서, 상기 시스템은,
    단층촬영 트레이닝 데이터, 연관된 트레이닝 진단 데이터, 실제 단층촬영 샘플 이미지들, 인간의 주석 달린 관심 영역 세그먼트화 트레이닝 이미지들, 및 특징-라벨 부여된 관심 영역 트레이닝 이미지들을 포함한 네트워크 트레이닝 모듈을 더 포함하는, 시스템.
  13. 제12항에 있어서,
    상기 하나 이상의 재구축 네트워크들은:
    상기 단층촬영 데이터를 대략적인 이미지로서 재구축하기 위해 트레이닝된 제1 네트워크로, 상기 제1 네트워크는, 적어도 CNN 레이어 및 역투영 레이어를 포함하는 네트워크-기반 FBP를 포함하는, 제1 네트워크; 그리고
    상기 대략적인 이미지를 정련하여 단층촬영 이미지를 출력하도록 트레이닝된 제2 네트워크로서, 상기 제2 네트워크는 적어도 CNN 레이어 또는 성기게-연결된 (sparsely-connected) 레이어를 포함하는, 제2 네트워크를 포함하는, 시스템.
  14. 제12항에 있어서,
    상기 하나 이상의 라디오믹스 네트워크들은:
    상기 단층촬영 이미지 내 관심 영역들을 식별하며 그리고 관심영역 세그먼트화 출력 이미지를 출력하기 위해 트레이닝된 제3 네트워크로, 상기 제3 네트워크는 적어도 CNN 레이어 또는 성기게-결합된 레이어를 포함하는, 제3 네트워크; 그리고
    특징-추출 단층촬영 이미지를 출력하기 위해 상기 관심 영역들 및 연관된 진단 데이터 내 특징들을 추출하며 그리고 CT 투영 데이터의 세트로부터 잠재적 진단을 식별하기 위해 트레이닝된 제4 네트워크로, 상기 제4 네트워크는 적어도 CNN 레이어 또는 성기게-결합된 레이어를 포함하는, 시스템.
  15. 제13항에 있어서,
    상기 제2 네트워크는 적어도 몇몇의 실제 단층촬영 샘플 이미지들로 트레이닝된 GAN을 포함하는, 시스템.
  16. 제14항에 있어서,
    상기 제3 네트워크는 적어도 몇몇의 인간의 주석 달린 관심 영역 세그먼트화 트레이닝 이미지들로 트레이닝된 GAN을 포함하는, 시스템
  17. 제14항에 있어서,
    상기 제4 네트워크는,
    잡음 및/또는 아티팩트들을 제거하기 위해서, 그리고 추출된 특징들에 기반하여 분류하기 위해 학습하기 위해서, 관심 영역 세그먼트화 출력 이미지들을 이용하여 비지도 방식으로 먼저 트레이닝되고, 그리고 관심 영역들로부터 특징들을 추출하기 위해 특징-라벨 부여된 관심 영역 트레이닝 이미지들, 진단 트레이닝 데이터, 또는 그것들의 조합을 이용하여 지도 방식으로 이어서 트레이닝된, GAN을 포함하는, 시스템.
  18. 제12항에 있어서,
    상기 단층촬영 트레이닝 데이터는 CT 투영 데이터, MRI 데이터, 핵의학 이미징 데이터, 초음파 신호들, 광학 데이터, 또는 그것들의 조합을 포함하는, 시스템.
  19. 검진, 진단, 또는 다른 이미지-기반 분석 작업들을 수행하기 위한 방법으로, 상기 방법은:
    타깃인 개인들로부터의 단층촬영 트레이닝 데이터의 세트 및 연관된 트레이닝 진단 데이터를 제공하는 단계;
    타깃인 개인들로부터의 상기 단층촬영 트레이닝 데이터 및 연관된 트레이닝 진단 데이터로부터 특징들을 추출하기 위해 하나 이상의 네트워크들을 트레이닝시키는 단계;
    상기 하나 이상의 네트워크들을 단일화된 말단-대-말단 네트워크로 통합하는 단계;
    상기 단일화된 네트워크를 타깃인 개인들로부터의 상기 단층촬영 트레이닝 데이터 및 상기 연관된 트레이닝 진단 데이터로 트레이닝시키는 단계;
    개인으로부터의 단층촬영 데이터의 세트를 상기 단일화된 말단-대-말단 네트워크로 입력하는 단계; 그리고
    상기 단일화된 말단-대-말단 네트워크에 의해 추출된 특징들에 기반하여 상기 개인을 위한 잠재적인 진단을 산출하는 단계를 포함하는, 방법.
  20. 제19항에 있어서,
    상기 단층촬영 데이터는 CT 투영 데이터, MRI 데이터, 핵의학 이미징 데이터, 초음파 신호들, 광학 데이터, 또는 그것들의 조합을 포함하는, 방법.
KR1020207001590A 2017-06-16 2018-06-18 신경 네트워크들을 이용하여 단층촬영 이미지 재구축 및 라디오믹스를 통합하기 위한 시스템 및 방법 Active KR102645120B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762520682P 2017-06-16 2017-06-16
US62/520,682 2017-06-16
PCT/US2018/038040 WO2018232388A1 (en) 2017-06-16 2018-06-18 Systems and methods for integrating tomographic image reconstruction and radiomics using neural networks

Publications (2)

Publication Number Publication Date
KR20200021082A true KR20200021082A (ko) 2020-02-27
KR102645120B1 KR102645120B1 (ko) 2024-03-08

Family

ID=64659550

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207001590A Active KR102645120B1 (ko) 2017-06-16 2018-06-18 신경 네트워크들을 이용하여 단층촬영 이미지 재구축 및 라디오믹스를 통합하기 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US11049244B2 (ko)
EP (1) EP3638115B1 (ko)
JP (1) JP7123983B2 (ko)
KR (1) KR102645120B1 (ko)
CN (1) CN110996789B (ko)
WO (1) WO2018232388A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210135039A (ko) * 2020-05-04 2021-11-12 재단법인대구경북과학기술원 조건부 생성 적대적 네트워크를 이용한 의료 영상의 예측을 위한 방법 및 장치
WO2021230687A1 (ko) * 2020-05-13 2021-11-18 주식회사 루닛 의학 데이터로부터 바이오마커와 관련된 의학적 예측을 생성하는 방법 및 시스템
KR20220082137A (ko) * 2020-12-09 2022-06-17 한국과학기술원 비지도 학습 기반 단일 뉴럴 네트워크를 이용한 다중 초음파 영상 처리 방법 및 그 장치
KR20220099126A (ko) * 2020-12-24 2022-07-12 연세대학교 산학협력단 골절 위험 예측 방법 및 장치
KR20220110913A (ko) * 2021-02-01 2022-08-09 한국과학기술원 메탈 아티팩트를 제거하기 위한 비지도 학습 기반 뉴럴 네트워크를 이용한 단층촬영영상 처리 방법 및 그 장치
KR102466061B1 (ko) * 2021-07-02 2022-11-10 가천대학교 산학협력단 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법
KR20230094855A (ko) * 2021-12-21 2023-06-28 조상욱 딥러닝 기반 의료영상 요로 결석 자동 검출 및 분할 방법
US11810312B2 (en) 2020-04-21 2023-11-07 Daegu Gyeongbuk Institute Of Science And Technology Multiple instance learning method

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12118455B2 (en) 2017-04-27 2024-10-15 Arizona Board Of Regents On Behalf Of Arizona State University Systems, methods, and/or media, for selecting candidates for annotation for use in training a classifier
EP3769284A4 (en) * 2018-03-23 2021-12-22 Memorial Sloan-Kettering Cancer Center DEEP ENCODER-DECODER MODELS FOR THE RECONSTRUCTION OF BIOMEDICAL IMAGES
US10956785B2 (en) 2018-04-27 2021-03-23 Arizona Board Of Regents On Behalf Of Arizona State University Methods, systems, and media for selecting candidates for annotation for use in training classifiers
US12182720B2 (en) * 2018-06-29 2024-12-31 Nec Corporation Pattern recognition apparatus, pattern recognition method, and computer-readable recording medium
KR102175923B1 (ko) * 2018-12-27 2020-11-06 건양대학교 산학협력단 초음파 진단 영상의 스페클 패턴 축소 시스템
JP7086878B2 (ja) * 2019-02-20 2022-06-20 株式会社東芝 学習装置、学習方法、プログラムおよび認識装置
WO2020176762A1 (en) * 2019-02-27 2020-09-03 University Of Iowa Research Foundation Methods and systems for image segmentation and analysis
KR102039138B1 (ko) * 2019-04-02 2019-10-31 주식회사 루닛 적대적 학습에 기반한 도메인 어댑테이션 방법 및 그 장치
JP7334900B2 (ja) * 2019-05-20 2023-08-29 国立研究開発法人理化学研究所 判別装置、学習装置、方法、プログラム、学習済みモデルおよび記憶媒体
US12136473B2 (en) * 2019-06-03 2024-11-05 The Board Of Trustees Of The Leland Stanford Junior University Methods of predicting disorder progression for control arms within an experimental trial
EP3864577B1 (en) 2019-06-25 2023-12-13 Owkin, Inc. Systems and methods for image preprocessing
CN110534192B (zh) * 2019-07-24 2023-12-26 大连理工大学 一种基于深度学习的肺结节良恶性识别方法
US11783476B2 (en) * 2019-10-25 2023-10-10 DeepHealth, Inc. System and method for analyzing three-dimensional image data
JP7394588B2 (ja) * 2019-11-07 2023-12-08 キヤノン株式会社 情報処理装置、情報処理方法、および撮像システム
US11139072B2 (en) 2019-12-04 2021-10-05 International Business Machines Corporation Three-dimensional medical image generation
WO2021184389A1 (zh) * 2020-03-20 2021-09-23 深圳先进技术研究院 一种图像重建方法、图像处理装置及具有存储功能的装置
CN111388000B (zh) * 2020-03-27 2023-08-25 上海杏脉信息科技有限公司 虚拟肺部空气潴留图像预测方法及系统、存储介质及终端
US11250240B1 (en) * 2020-07-27 2022-02-15 Pony Ai Inc. Instance segmentation using sensor data having different dimensionalities
US12387392B2 (en) * 2020-08-04 2025-08-12 Rensselaer Polytechnic Institute Hybrid image reconstruction system
CN112488996B (zh) * 2020-11-18 2024-11-01 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 非齐次三维食管癌能谱ct弱监督自动标注方法与系统
GB2605459A (en) * 2021-04-01 2022-10-05 Bates Tomographic Imaging Ltd Method of non-invasive medical tomographic imaging with uncertainty estimation
NL2028271B1 (en) * 2021-05-21 2022-12-06 Acad Ziekenhuis Maastricht Method of performing radiomics analysis on image data.
CN113421176B (zh) * 2021-07-16 2022-11-01 昆明学院 一种学生成绩分数中异常数据智能筛选方法
KR102389628B1 (ko) * 2021-07-22 2022-04-26 주식회사 클라리파이 의료영상의 병변 특징에 따른 영상처리 장치 및 방법
CN114241407B (zh) * 2021-12-10 2023-05-23 电子科技大学 一种基于深度学习的近距离屏幕监控方法
DE102021214741B3 (de) * 2021-12-20 2023-02-23 Siemens Healthcare Gmbh Verfahren zum Generieren von synthetischen Röntgenbildern, Steuereinheit und Computerprogramm
US12475564B2 (en) 2022-02-16 2025-11-18 Proscia Inc. Digital pathology artificial intelligence quality check
US12400327B2 (en) * 2022-02-18 2025-08-26 Case Western Resereve University Hybrid convolutional wavelet networks for predicting treatment response via radiological images of bowel disease
US12514461B2 (en) * 2023-08-23 2026-01-06 Wisconsin Alumni Research Foundation System and method for analyzing gene expression using diffusion weighted magnetic resonance imaging (MRI)
CN117372556B (zh) * 2023-09-20 2024-07-02 深圳市元甪科技有限公司 肺部成像方法、装置、计算机设备和计算机可读存储介质
CN118918211B (zh) * 2024-10-10 2024-12-03 大连理工大学 一种基于投影与断层双域监督的双视角ct重建方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170035381A1 (en) * 2015-08-06 2017-02-09 Case Western Reserve University Characterizing disease and treatment response with quantitative vessel tortuosity radiomics
US20170103532A1 (en) * 2015-09-16 2017-04-13 Siemens Healthcare Gmbh Intelligent Medical Image Landmark Detection

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577700B1 (en) * 2001-06-22 2003-06-10 Liang-Shih Fan Neural network based multi-criteria optimization image reconstruction technique for imaging two- and three-phase flow systems using electrical capacitance tomography
US6748044B2 (en) * 2002-09-13 2004-06-08 Ge Medical Systems Global Technology Company, Llc Computer assisted analysis of tomographic mammography data
US7912528B2 (en) * 2003-06-25 2011-03-22 Siemens Medical Solutions Usa, Inc. Systems and methods for automated diagnosis and decision support for heart related diseases and conditions
EP1636731A2 (en) * 2003-06-25 2006-03-22 Siemens Medical Solutions USA, Inc. Systems and methods for automated diagnosis and decision support for breast imaging
CN1820274A (zh) * 2003-06-27 2006-08-16 美国西门子医疗解决公司 使用机器学习来利用cad系统的常规使用期间所收集到的知识适配cad过程以对医学成像提供cad(计算机辅助决策 )支持
JP4480508B2 (ja) 2004-08-02 2010-06-16 富士通株式会社 診断支援プログラムおよび診断支援装置
CN101061490A (zh) * 2004-11-19 2007-10-24 皇家飞利浦电子股份有限公司 利用支持向量机（svm）在计算机辅助检测（cad）中进行假阳性降低的系统和方法
EP1815392A1 (en) 2004-11-23 2007-08-08 Eastman Kodak Company Automated radiograph classification using anatomy information
US9370316B2 (en) * 2007-05-18 2016-06-21 Henry Ford Health System MRI estimation of contrast agent concentration using a neural network approach
WO2013028762A1 (en) * 2011-08-22 2013-02-28 Siemens Corporation Method and system for integrated radiological and pathological information for diagnosis, therapy selection, and monitoring
US9721340B2 (en) * 2013-08-13 2017-08-01 H. Lee Moffitt Cancer Center And Research Institute, Inc. Systems, methods and devices for analyzing quantitative information obtained from radiological images
CN103646410B (zh) * 2013-11-27 2016-06-08 中国科学院深圳先进技术研究院 磁共振快速参数成像方法和系统
WO2015134665A1 (en) * 2014-03-04 2015-09-11 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
WO2016040784A2 (en) * 2014-09-11 2016-03-17 The Medical College Of Wisconsin, Inc. Systems and methods for estimating histological features from medical images using a trained model
US9687199B2 (en) * 2014-09-15 2017-06-27 Wisconsin Alumni Research Foundation Medical imaging system providing disease prognosis
US10235606B2 (en) 2015-07-22 2019-03-19 Siemens Healthcare Gmbh Method and system for convolutional neural network regression based 2D/3D image registration
CN106530366B (zh) * 2015-09-09 2019-04-16 清华大学 能谱ct图像重建方法及能谱ct成像系统
CN106096616A (zh) * 2016-06-08 2016-11-09 四川大学华西医院 一种基于深度学习的磁共振影像特征提取及分类方法
US20170362585A1 (en) * 2016-06-15 2017-12-21 Rensselaer Polytechnic Institute Methods and apparatus for x-genetics
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
KR101768812B1 (ko) 2016-07-05 2017-08-17 고려대학교 산학협력단 흉부 단층영상에서 검색된 폐결절의 암 진단 보조 시스템 및 프로그램
CN106372390B (zh) 2016-08-25 2019-04-02 汤一平 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN106780460B (zh) 2016-12-13 2019-11-08 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
US11039805B2 (en) * 2017-01-05 2021-06-22 General Electric Company Deep learning based estimation of data for use in tomographic reconstruction
US11315221B2 (en) * 2019-04-01 2022-04-26 Canon Medical Systems Corporation Apparatus and method for image reconstruction using feature-aware deep learning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170035381A1 (en) * 2015-08-06 2017-02-09 Case Western Reserve University Characterizing disease and treatment response with quantitative vessel tortuosity radiomics
US20170103532A1 (en) * 2015-09-16 2017-04-13 Siemens Healthcare Gmbh Intelligent Medical Image Landmark Detection

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
G. Wang, "A Perspective on Deep Imaging," in IEEE Access, vol. 4, pp. 8914-8924, 2016, 2016년 11월 3일 공개* *
Litjens, Geert, et al. "A survey on deep learning in medical image analysis." Medical image analysis 42 (2017): 60-88. 2017년 6월 4일 공개* *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11810312B2 (en) 2020-04-21 2023-11-07 Daegu Gyeongbuk Institute Of Science And Technology Multiple instance learning method
KR20210135039A (ko) * 2020-05-04 2021-11-12 재단법인대구경북과학기술원 조건부 생성 적대적 네트워크를 이용한 의료 영상의 예측을 위한 방법 및 장치
WO2021230687A1 (ko) * 2020-05-13 2021-11-18 주식회사 루닛 의학 데이터로부터 바이오마커와 관련된 의학적 예측을 생성하는 방법 및 시스템
US12266447B2 (en) 2020-05-13 2025-04-01 Lunit Inc. Method and system for generating medical prediction related to biomarker from medical data
KR20220082137A (ko) * 2020-12-09 2022-06-17 한국과학기술원 비지도 학습 기반 단일 뉴럴 네트워크를 이용한 다중 초음파 영상 처리 방법 및 그 장치
KR20220099126A (ko) * 2020-12-24 2022-07-12 연세대학교 산학협력단 골절 위험 예측 방법 및 장치
KR20220110913A (ko) * 2021-02-01 2022-08-09 한국과학기술원 메탈 아티팩트를 제거하기 위한 비지도 학습 기반 뉴럴 네트워크를 이용한 단층촬영영상 처리 방법 및 그 장치
KR102466061B1 (ko) * 2021-07-02 2022-11-10 가천대학교 산학협력단 계층적 생성 적대 네트워크를 이용한 노이즈 제거 장치 및 그 방법
KR20230094855A (ko) * 2021-12-21 2023-06-28 조상욱 딥러닝 기반 의료영상 요로 결석 자동 검출 및 분할 방법

Also Published As

Publication number Publication date
US20200380673A1 (en) 2020-12-03
JP2020524018A (ja) 2020-08-13
JP7123983B2 (ja) 2022-08-23
EP3638115A1 (en) 2020-04-22
CN110996789A (zh) 2020-04-10
US11049244B2 (en) 2021-06-29
CN110996789B (zh) 2024-04-16
EP3638115A4 (en) 2021-03-10
KR102645120B1 (ko) 2024-03-08
EP3638115B1 (en) 2025-10-15
WO2018232388A1 (en) 2018-12-20

Similar Documents

Publication Publication Date Title
KR102645120B1 (ko) 신경 네트워크들을 이용하여 단층촬영 이미지 재구축 및 라디오믹스를 통합하기 위한 시스템 및 방법
Mridha et al. A comprehensive survey on the progress, process, and challenges of lung cancer detection and classification
Oladimeji et al. Mutual information-based radiomic feature selection with SHAP explainability for breast cancer diagnosis
Sreenivasu et al. [Retracted] Dense Convolutional Neural Network for Detection of Cancer from CT Images
US20080021301A1 (en) Methods and Apparatus for Volume Computer Assisted Reading Management and Review
Rani et al. Radon transform-based improved single seeded region growing segmentation for lung cancer detection using AMPWSVM classification approach
Kaur et al. Computer-aided diagnosis of renal lesions in CT images: a comprehensive survey and future prospects
Kim et al. Automated detection and segmentation of bone metastases on spine MRI using U-Net: a multicenter study
Armand et al. Transformers effectiveness in medical image segmentation: a comparative analysis of unet-based architectures
CN115100156B (zh) 一种深度学习级联ct肺结节检测方法及装置
Gupta et al. A novel diagnostic framework for breast cancer: Combining deep learning with mammogram-DBT feature fusion
Pandey et al. Morphological active contour based SVM model for lung cancer image segmentation
Venkatesan et al. Hybrid deep learning framework for lung cancer detection using CT images and clinical data
Xie et al. A novel two-step classification approach for differentiating bone metastases from benign bone lesions in SPECT/CT imaging
Marimont et al. Achieving state-of-the-art performance in the Medical Out-of-Distribution (MOOD) challenge using plausible synthetic anomalies
Kuppusamy et al. Detection of lung nodule using novel deep learning algorithm based on computed tomographic images
Judice et al. A novel assessment of various bio-imaging methods for lung tumor detection and treatment by using 4-D and 2-D CT images
Wahengbam et al. Deep learning-based early lung cancer detection using multi-model image fusion technique
Thanoon et al. A Review of Deep Learning Techniques for Lung Cancer Screening and Diagnosis Based on CT Images. Diagnostics 2023, 13, 2617
Amritha et al. Liver tumor segmentation and classification using deep learning
Hithesh et al. From pixels to prognosis: exploring from UNet to segment anything in mammogram image processing for tumor segmentation
Jabbar et al. Investigating Deep Learning Methods for Detecting Lung Adenocarcinoma on the TCIA Dataset
Matharasi et al. Enhancing Breast Cancer Detection with AI: Ensuring Image Security and Diagnostic Precision Through Deep Learning Techniques
Anitha et al. Contouring the Images of Lung Cancer Detection using CNN
Prabu Shankar et al. RETRACTED: Medical image segmentation using hybrid Contrast Limited Adaptive Histogram Equalization (CLAHE) and expectation maximization algorithm

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000