KR20200044183A - 병리 이미지 검색을 위한 시스템 및 방법 - Google Patents

병리 이미지 검색을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20200044183A
KR20200044183A KR1020180119348A KR20180119348A KR20200044183A KR 20200044183 A KR20200044183 A KR 20200044183A KR 1020180119348 A KR1020180119348 A KR 1020180119348A KR 20180119348 A KR20180119348 A KR 20180119348A KR 20200044183 A KR20200044183 A KR 20200044183A
Authority
KR
South Korea
Prior art keywords
image
pathology
pathological
autoencoder
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180119348A
Other languages
English (en)
Other versions
KR102246318B1 (ko
Inventor
곽태영
이상훈
김선우
Original Assignee
주식회사 딥바이오
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥바이오 filed Critical 주식회사 딥바이오
Priority to KR1020180119348A priority Critical patent/KR102246318B1/ko
Priority to CN201980065671.7A priority patent/CN112889116B/zh
Priority to PCT/KR2019/013083 priority patent/WO2020071877A1/ko
Priority to EP19868253.6A priority patent/EP3846175A4/en
Priority to US17/282,775 priority patent/US11798686B2/en
Priority to JP2021517291A priority patent/JP7157492B2/ja
Publication of KR20200044183A publication Critical patent/KR20200044183A/ko
Application granted granted Critical
Publication of KR102246318B1 publication Critical patent/KR102246318B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

진단자가 기존의 진단 히스토리를 참고하여 생체조직의 이미지로부터 질병에 대한 진단을 정확히 할 수 있도록 지원하는 생체 이미지 진단 시스템 및 그 방법이 개시된다. 본 발명의 일 측면에 따르면, 기 진단된 복수의 생체 이미지 및 상기 기 진단된 복수의 생체 이미지에 대한 진단 결과를 저장하는 DB로부터 소정의 진단 대상 생체 이미지와 유사 특징을 가지는 적어도 하나의 유사 생체 이미지를 검색하는 제1검색모듈, 상기 DB로부터 소정의 진단자에 의해 기 진단된 적어도 하나의 기 진단 생체 이미지를 검색하는 제2검색모듈, 상기 적어도 하나의 유사 생체 이미지 및 상기 적어도 하나의 기 진단 생체 이미지를 상기 진단자의 단말로 전송하는 통신모듈 및 상기 진단자의 단말로부터 수신한 상기 진단 대상 생체 이미지에 대한 질병 진단 결과를 상기 DB에 저장하는 저장모듈을 포함하되, 상기 진단자의 단말은, 상기 진단 대상 생체 이미지, 상기 적어도 하나의 유사 생체 이미지 및 상기 적어도 하나의 기 진단 생체 이미지를 디스플레이하는 생체 이미지 진단 시스템이 제공된다.

Description

병리 이미지 검색을 위한 시스템 및 방법{System and method for searching pathological image}
본 발명은 병리 이미지 검색을 위한 시스템 및 방법에 관한 것이다. 보다 상세하게는 병리 이미지 기반의 질병 진단에 유효한 특징이 학습에 반영된 오토인코더를 활용함으로써, 질병 진단에 유효한 특징 관점에서 유사한 다른 병리 이미지를 검색할 수 있는 시스템 및 방법에 관한 것이다.
병리학 또는 병리과에서 수행하는 주요한 업무 중 하나는 환자의 생체 이미지(예를 들어, 환자인 생체 조직 슬라이드)를 판독하여 특정 질병에 대한 상태 또는 징후를 판단하는 진단을 수행하는 일이다. 이러한 진단은 오랜 기간 숙련된 의료인의 경험과 지식에 의해 의존되는 방식이다. 최근의 추세는 생체 조직 슬라이드 대신 이를 디지털 이미징하여 생성된 슬라이드 이미지를 판독하는 방식이 점차 증가하고 있다.
한편, 최근에는 기계학습의 발달로 인해 이미지를 인식하거나 분류하는 등의 업무를 컴퓨터 시스템에 의해 자동화하고자 하는 시도가 활발히 이루어지고 있다. 특히 기계학습의 일종인 뉴럴 네트워크(예컨대, 컨벌루션 뉴럴 네트워크(Convolution Neural Network, CNN)를 이용한 딥러닝 방식)를 이용하여 숙련된 의료인이 수행하던 진단을 자동화하기 위한 시도가 이루어지고 있으며, 뉴럴 네트워크(예컨대, CNN)를 이용한 딥러닝을 통한 이미지 기반의 질병 진단을 대표적으로 예로 들 수 있다. 이 외에도 진단자가 이미지를 기반으로 질병을 진단할 시에 해당 이미지와 유사한 특징을 가지는 이미지를 검색하는 기법 등 보조적인 수단 역시 질병 진단에 매우 유용할 수 있다.
한편, 본 발명의 배경 기술 중 하나인 오토인코더(Autoencoder)에 관하여 설명하고자 한다. 오토인코더는 비지도 학습 방법론에서 주로 사용되는 뉴럴 네트워크 구조로서, 효율적인 데이터 코딩을 위한 비지도 학습에 이용되는 뉴럴 네트워크 구조이다. 오토 인코더는 출력 값을 입력 값에 근사하도록 하는 함수를 학습하며, 인코더를 통해 입력 데이터에 대한 피쳐를 추출하고, 디코더를 통해 원본 데이터를 재구성한다.
도 1은 이미지를 입력받을 수 있는 오토인코더의 구조를 개략적으로 도시한 도면이다. 도 1을 참조하면, 오토인코더(1)는 컨볼루셔널 레이어를 포함하는 인코더 파트(2) 및 디컨볼루셔널 레이어를 포함하는 디코더 파트(3)를 포함할 수 있다. 인코더(1)로 원본 이미지(x)가 입력되면 인코더 파트(2)에서 원본 이미지(x)에 대한 인코딩이 수행되어 원본 이미지(x)의 피쳐(z=E(x))가 생성될 수 있다. 생성된 피쳐(z)는 디코더 파트(3)에서 디코딩되어 원본 이미지(x)에 상응하는 복원 이미지(x'=D(z))가 생성될 수 있다.
오토인코더 역시 뉴럴 네트워크의 일종이므로 다수의 훈련 데이터에 의한 학습이 선행되는데, 오토 인코도의 학습 단계에서는 각각의 학습 데이터 x에 대해 다음과 같은 과정이 수행된다.
1) 학습 데이터 x가 오토 인코더에 입력되어 인코딩 및 디코딩 과정을 거쳐 학습 데이터 x에 상응하는 복원 데이터 x'이 생성된다.
2) 학습 데이터 x와 복원 데이터 x' 간의 차이인 오차 e=L(x, x')가 산출된다(L은 손실함수).
3) 오차 역전파(error backpropagation) 방법에 따라 오토인코더 내의 가중치가 갱신된다.
본 발명이 이루고자 하는 기술적인 과제는 오토인코더를 활용하여 특정한 병리 이미지와 유사한 특징을 가지는 다른 병리 이미지를 검색할 수 있는 병리 이미지 검색 시스템 및 방법을 제공하는 것이다.
또한 오토인코더의 학습 시에 병리 이미지 기반의 질병 진단에 유효한 특징이 반영될 수 있도록 하고, 이렇게 학습된 오토인코더를 활용함으로써 질병 진단에 유효한 특징 관점에서 유사한 다른 병리 이미지를 검색할 수 있는 병리 이미지 검색 시스템 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출하는 인코더 파트, 및 상기 인코더 파트에 의해 추출된 상기 원본 병리 이미지의 피쳐를 입력받아 상기 원본 병리 이미지에 상응하는 복원 병리 이미지를 생성하는 디코더 파트를 포함하는 오토인코더, 상기 원본 병리 이미지를 입력 받은 상기 오토인코더의 의해 생성된 복원 병리 이미지를 입력받아 소정의 질병에 대한 진단 결과를 출력하는 진단용 뉴럴 네트워크 및 진단 결과가 각각 라벨링된 복수의 훈련용 병리 이미지를 상기 오토인코더에 입력하여 상기 오토인코더 및 상기 진단용 뉴럴 네트워크를 학습하는 학습모듈을 포함하되, 상기 오토인코더는, 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과가 반영되어 학습되는 것을 특징으로 하는 병리 이미지 검색을 위한 시스템이 제공된다.
일 실시예에서, 상기 오토인코더의 손실함수는, 상기 원본 병리 이미지와 상기 복원 병리 이미지 간의 차이, 및 상기 원본 병리 이미지의 라벨과 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과 간의 차이에 의해 정의되는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 병리 이미지 검색을 위한 시스템은, 복수의 검색용 병리 이미지 각각에 대하여, 학습된 상기 오토인코더에 상기 검색용 병리 이미지를 입력하여 상기 인코더 파트에 의해 상기 검색용 병리 이미지의 피쳐가 생성되도록 하고, 생성된 상기 검색용 이미지의 피쳐를 DB에 저장하는 피쳐생성모듈을 더 포함할 수 있다.
일 실시예에서, 상기 병리 이미지 검색을 위한 시스템은, 학습된 상기 오토인코더에 질의 병리 이미지를 입력하여 상기 인코더 파트에 의해 상기 질의 병리 이미지의 피쳐가 생성되도록 하고, 생성된 상기 질의 병리 이미지의 피쳐에 기초하여 상기 DB에서 상기 질의 병리 이미지와 유사한 유사 병리 이미지의 피쳐를 검색하는 검색모듈을 더 포함할 수 있다.
본 발명의 일 실시예에 따르면, 상기 질병은, 전립선 암인 것을 특징으로 할 수 있다.
본 발명의 다른 일 측면에 따르면, 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출하는 학습된 오토인코더의 인코더 파트, 복수의 검색용 병리 이미지 각각의 피쳐를 포함하도록 구축된 DB 및 질의 병리 이미지를 상기 오토인코더에 입력하여 상기 인코더 파트에 의해 상기 질의 병리 이미지의 피쳐가 생성되도록 하고, 생성된 상기 질의 병리 이미지의 피쳐에 기초하여 상기 DB에서 상기 질의 병리 이미지와 유사한 유사 병리 이미지의 피쳐를 검색하는 검색모듈을 포함하되, 상기 오토인코더는, 상술한 시스템에 의해 학습되며, 상기 DB는, 상술한 시스템에 의해 구축되는 것을 특징으로 하는 병리 이미지 검색을 위한 시스템이 제공될 수 있다.
본 발명의 다른 일 측면에 따르면, 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출하는 인코더 파트, 및 상기 인코더 파트에 의해 추출된 상기 원본 병리 이미지의 피쳐를 입력받아 상기 원본 병리 이미지에 상응하는 복원 병리 이미지를 생성하는 디코더 파트를 포함하는 오토인코더, 상기 원본 병리 이미지를 입력 받은 상기 오토인코더의 의해 생성된 복원 병리 이미지를 입력받아 소정의 질병에 대한 진단 결과를 출력하는 진단용 뉴럴 네트워크 및 진단 결과가 각각 라벨링된 복수의 훈련용 병리 이미지를 상기 오토인코더에 입력하여 상기 오토인코더를 학습하고, 진단 결과가 각각 라벨링된 복수의 추가 훈련용 병리 이미지를 상기 진단용 뉴럴 네트워크에 입력하여 상기 진단용 뉴럴 네트워크를 학습하는 학습모듈을 포함하되, 상기 오토인코더는, 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과가 반영되어 학습되는 것을 특징으로 하는 병리 이미지 검색을 위한 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출하는 인코더 파트, 및 상기 인코더 파트에 의해 추출된 상기 원본 병리 이미지의 피쳐를 입력받아 상기 원본 병리 이미지에 상응하는 복원 병리 이미지를 생성하는 디코더 파트를 포함하는 오토인코더 및 상기 원본 병리 이미지를 입력 받은 상기 오토인코더의 의해 생성된 복원 병리 이미지를 입력받아 소정의 질병에 대한 진단 결과를 출력하는 진단용 뉴럴 네트워크를 포함하는 시스템에 의해 수행되는 병리 이미지 검색을 위한 방법으로서, 진단 결과가 각각 라벨링된 복수의 훈련용 병리 이미지를 상기 오토인코더에 입력하여 상기 오토인코더 및 상기 진단용 뉴럴 네트워크를 학습하는 학습단계를 포함하되, 상기 오토인코더는, 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과가 반영되어 학습되는 것을 특징으로 하는 병리 이미지 검색을 위한 방법이 제공된다.
일 실시예에서, 상기 오토인코더의 손실함수는, 상기 원본 병리 이미지와 상기 복원 병리 이미지 간의 차이, 및 상기 원본 병리 이미지의 라벨과 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과 간의 차이에 의해 정의되는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 병리 이미지 검색을 위한 방법은, 복수의 검색용 병리 이미지 각각에 대하여, 학습된 상기 오토인코더에 상기 검색용 병리 이미지를 입력하여 상기 인코더 파트에 의해 상기 검색용 병리 이미지의 피쳐가 생성되도록 하고, 생성된 상기 검색용 이미지의 피쳐를 DB에 저장하는 피쳐생성단계를 더 포함할 수 있다.
일 실시예에서, 상기 병리 이미지 검색을 위한 방법은, 학습된 상기 오토인코더에 질의 병리 이미지를 입력하여 상기 인코더 파트에 의해 상기 질의 병리 이미지의 피쳐가 생성되도록 하고, 생성된 상기 질의 병리 이미지의 피쳐에 기초하여 상기 DB에서 상기 질의 병리 이미지와 유사한 유사 병리 이미지의 피쳐를 검색하는 검색단계를 더 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출하는 학습된 오토인코더의 인코더 파트 및 복수의 검색용 병리 이미지 각각의 피쳐를 포함하도록 구축된 DB를 포함하는 시스템에 의해 수행되는 병리 이미지를 검색하기 위한 방법으로서, 질의 병리 이미지를 상기 오토인코더에 입력하여 상기 인코더 파트에 의해 상기 질의 병리 이미지의 피쳐가 생성되도록 하는 단계 및 생성된 상기 질의 병리 이미지의 피쳐에 기초하여 상기 DB에서 상기 질의 병리 이미지와 유사한 유사 병리 이미지의 피쳐를 검색하는 단계를 포함하되, 상기 오토인코더는, 상술한 방법에 의해 학습되며, 상기 DB는, 상술한 방법에 의해 구축되는 것을 특징으로 하는 병리 이미지 검색을 위한 방법이 제공된다.
본 발명의 다른 일 측면에 따르면, 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출하는 인코더 파트, 및 상기 인코더 파트에 의해 추출된 상기 원본 병리 이미지의 피쳐를 입력받아 상기 원본 병리 이미지에 상응하는 복원 병리 이미지를 생성하는 디코더 파트를 포함하는 오토인코더 및 상기 원본 병리 이미지를 입력 받은 상기 오토인코더의 의해 생성된 복원 병리 이미지를 입력받아 소정의 질병에 대한 진단 결과를 출력하는 진단용 뉴럴 네트워크를 포함하는 시스템에 의해 수행되는 병리 이미지 검색을 위한 방법으로서, 진단 결과가 각각 라벨링된 복수의 훈련용 병리 이미지를 상기 오토인코더에 입력하여 상기 오토인코더를 학습하는 단계 및 진단 결과가 각각 라벨링된 복수의 추가 훈련용 병리 이미지를 상기 진단용 뉴럴 네트워크에 입력하여 상기 진단용 뉴럴 네트워크를 학습하는 단계를 포함하되, 상기 오토인코더는, 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과가 반영되어 학습되는 것을 특징으로 하는 병리 이미지 검색을 위한 방법이 제공된다.
본 발명의 다른 일 측면에 따르면, 데이터 처리장치에 설치되며 상술한 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램이 제공된다.
본 발명의 기술적 사상에 의하면, 오토인코더를 활용하여 특정한 병리 이미지와 유사한 특징을 가지는 다른 병리 이미지를 검색할 수 있는 병리 이미지 검색 시스템 및 방법을 제공하는 것이다.
또한 오토인코더의 학습 시에 병리 이미지 기반의 질병 진단에 유효한 특징이 반영될 수 있도록 하고, 이렇게 학습된 오토인코더를 활용함으로써 질병 진단에 유효한 특징 관점에서 유사한 다른 병리 이미지를 검색할 수 있는 병리 이미지 검색 시스템 및 방법을 제공할 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 오토인코더의 구조를 간략하게 도시한 도면이다.
도 2는 본 발명의 기술적 사상에 따른 병리 이미지 검색을 위한 방법의 동작 환경을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 병리 이미지 검색을 위한 시스템의 개략적인 구성을 나타내는 도면이다.
도 4a 내지 도 4c는 각각 본 발명의 서로 다른 일 실시예에 따른 병리 이미지 검색을 위한 시스템에서 오토인코더를 학습하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 병리 이미지 검색을 위한 시스템에서 검색용 이미지의 피쳐를 추출하여 DB를 구축하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 병리 이미지 검색을 위한 시스템에서 병리 이미지를 검색하는 방법을 설명하기 위한 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 2는 본 발명의 기술적 사상에 따른 병리 이미지 검색을 위한 방법의 동작 환경을 도시한 도면이다. 도 2를 참조하면, 본 발명의 기술적 사상에 따른 병리 이미지 검색을 위한 방법은 병리 이미지 검색을 위한 시스템(100)에 의해 수행될 수 있다.
본 발명의 기술적 사상에 병리 이미지 검색을 위한 시스템(100)은 소정의 서버(10)에 설치되어 본 발명의 기술적 사상을 구현할 수 있다. 상기 서버(10)는 본 발명의 기술적 사상을 구현하기 위한 연산능력을 가진 데이터 처리장치를 의미하며, 일반적으로 네트워크를 통해 클라이언트(단말; 20 내지 20-1)가 접속 가능한 데이터 처리장치뿐만 아니라 개인용 컴퓨터, 휴대 단말 등과 같이 특정 서비스를 수행할 수 있는 어떠한 장치도 서버로 정의될 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
상기 서버(10)는 프로세서 및 저장장치를 포함할 수 있다. 상기 프로세서는 본 발명의 기술적 사상을 구현하기 위한 프로그램을 구동시킬 수 있는 연산장치를 의미할 수 있으며, 상기 프로그램과 본 발명의 기술적 사상에 의해 정의되는 오토인코더를 이용하여 병리 이미지 검색을 수행할 수 있다. 상기 저장장치는 본 발명의 기술적 사상을 구현하는데 필요한 프로그램 및 각종 데이터를 저장할 수 있는 데이터 저장수단을 의미할 수 있으며, 구현 예에 따라 복수의 저장수단으로 구현될 수도 있다. 또한 상기 저장장치는 상기 서버(10)에 포함된 주 기억장치뿐만 아니라, 상기 프로세서에 포함될 수 있는 임시 저장장치 또는 메모리 등을 포함하는 의미일 수도 있다.
상기 병리 이미지 검색을 위한 시스템(100)은 도 2에서는 어느 하나의 물리적 장치로 구현된 것으로 도시하였지만, 필요에 따라 복수의 물리적 장치가 유기적으로 결합되어 본 발명의 기술적 사상에 따른 진단 시스템(100)을 구현할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
도 3은 본 발명의 일 실시예에 따른 병리 이미지 검색을 위한 시스템(100)의 개략적인 구성을 나타내는 도면이다.
도 2를 참조하면, 상기 시스템(100)은 오토인코더(110), 진단용 뉴럴 네트워크(120), 학습모듈(130), 피쳐생성모듈(140), 검색모듈(150)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 진단 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다. 예를 들어 상기 시스템(100)은 상기 시스템(100)의 다른 구성(예를 들면, 학습모듈(130), 피쳐생성모듈(140), 검색모듈(150) 등)의 기능 및/또는 리소스를 제어하기 위한 제어모듈(미도시)을 더 포함할 수도 있다. 또한 실시예에 따라 상기 시스템(100)은 본 발명의 기술적 사상을 구현하는데 필요한 각종 정보 및/또는 데이터를 저장하기 위한 데이터베이스(Database; DB; 200)를 더 포함할 수도 있다. 또는 실시예에 따라 상기 시스템(100)은 학습모듈(130) 및/또는 피쳐생성모듈(140)을 포함하지 않을 수도 있다.
상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비한 논리적인 구성을 의미할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 예컨대, 오토인코더(110), 진단용 뉴럴 네트워크(120), 학습모듈(130), 피쳐생성모듈(140), 검색모듈(150) 각각은 서로 다른 물리적 장치에 위치할 수도 있고, 동일한 물리적 장치에 위치할 수도 있다. 또한, 구현 예에 따라서는 상기 오토인코더(110), 진단용 뉴럴 네트워크(120), 학습모듈(130), 피쳐생성모듈(140), 검색모듈(150) 각각을 구성하는 소프트웨어 및/또는 하드웨어의 결합 역시 서로 다른 물리적 장치에 위치하고, 서로 다른 물리적 장치에 위치한 구성들이 서로 유기적으로 결합되어 각각의 상기 모듈들을 구현할 수도 있다.
또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 모듈은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스(resource)의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
상기 DB(200)는 복수의 병리 이미지를 저장할 수 있다. 병리 이미지는 조직 이미지를 비롯한 다양한 생체 이미지일 수 있다.
실시예에 따라 상기 DB(200) 는 후술하는 오토인코더(110) 및 진단용 뉴럴 네트워크(120)를 학습하기 위한 복수의 훈련용 병리 이미지를 포함할 수 있다. 또한 실시예에 따라 상기 DB(200)는 복수의 검색용 병리 이미지를 포함할 수도 있다. 훈련용 병리 이미지에는 그에 대한 진단 결과가 미리 라벨링되어 있을 수 있으며, 라벨링된 진단결과 역시 그에 상응하는 훈련용 병리 데이터와 연계되어 상기 DB(200)에 저장되어 있을 수 있다.
상기 오토인코더(110)는 인코더 파트(111) 및 디코더 파트(112)를 포함할 수 있다.
인코더 파트(111)는 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출할 수 있다.
디코더 파트(112)눈 상기 인코더 파트(111)에 의해 추출된 상기 원본 병리 이미지의 피쳐를 입력받아 상기 원본 병리 이미지에 상응하는 복원 병리 이미지를 생성할 수 있다.
상기 진단용 뉴럴 네트워크(120)는 이미지 기반의 질병 진단을 위한 뉴럴 네트워크일 수 있다. 특히 상기 진단용 뉴럴 네트워크(120)는 상기 원본 병리 이미지를 입력 받은 상기 오토인코더의 의해 생성된 복원 병리 이미지를 입력받아 소정의 질병에 대한 진단 결과를 출력할 수 있다.
예를 들어 상기 질병은 전립선 암일 수 있으며, 이하에서는 전립선 암을 중심으로 설명하지만 본 발명의 기술적 사상이 전립선 암에 국한되는 것이 아님은 본 발명이 속하는 분야에서 통상의 기술자라면 용이하게 이해할 수 있을 것이다.
본 명세서에서 진단을 수행한다고 함은 생체조직이 표현된 생체 이미지인 슬라이드 또는 그 일부(예를 들면, 패치 혹은 타일)를 기반으로 특정 질병에 관한 판단을 내리는 것을 의미할 수 있다. 따라서, 생체 이미지에 대한 진단 결과는 특정 질병의 발현여부뿐만 아니라, 특정 질병의 진행 정도(또는 진행 정도에 해당할 확률)를 포함할 수 있다. 예를 들어, 본 발명의 기술적 사상이 전립선 암의 진단에 이용되는 경우, 전립선 암의 진행 정도를 나타내는 지표인 글리슨 패턴(Gleason Pattern) 또는 글리슨 스코어(Gleason Score)가 진단 결과에 포함될 수 있다. 예컨대, 글리슨 스코어는 2 내지 10의 값을 가지며, 통상적으로는 6 내지 10의 값을 암으로 볼 수 있으며, 숫자가 클수록 전립선 암이 발현된 정도가 심한 것을 나타낸다. 글리슨 패턴은 1 내지 5까지의 부류로 구분될 수 있다. 한편 진단 결과에는 질병이 발현한 부위를 포함할 수도 있다.
실시예에 따라 상기 진단용 뉴럴 네트워크(120)가 출력하는 진단 결과는 다양할 수 있다. 예를 들어, 상기 진단용 뉴럴 네트워크(120)는 특정 병증(예를 들어, 전립선암)의 유무를 판별하는 클래시피케이션을 수행할 수 있다. 또는 실시예에 따라 상기 진단용 뉴럴 네트워크(120)는 특정 병증(예를 들어, 전립선암)의 중증도를 판별하는 다중 분류 혹은 회귀 추정을 수행할 수도 있다. 또는 상기 진단용 뉴럴 네트워크(120)는 특정 병증의 병변 위치를 검출하기 위한 다준 분류, 회귀 추정 또는 의미기반 이미지 분할을 수행할 수도 있다.
본 명세서에서 뉴럴 네트워크는 뉴럴 네트워크를 정의하는 일련의 설계사항들을 표현하는 정보의 집합을 의미할 수 있다. 본 명세서에서 상기 뉴럴 네트워크는 컨볼루션 뉴렬 네트워크일 수 있다.
상기 컨볼루션 뉴렬 네트워크는 잘 알려진 바와 같이, 입력 레이어, 복수의 히든 레이어들, 및 출력 레이어를 포함할 수 있다. 복수의 히든 레이어들 각각은 컨볼루션 레이어 및 풀링 레이어(또는 서브 샘플링 레이어)를 포함할 수 있다.
컨볼루션 뉴렬 네트워크는 이러한 각각의 레이어들을 정의하기 위한 함수, 필터, 스트라이드(stride), 웨이트 팩터 등에 의해 정의될 수 있다. 또한, 출력 레이어는 풀리 커넥티드(fully connected)된 전방향 레이어(FeedForward layer)로 정의될 수 있다.
컨볼루션 뉴렬 네트워크를 구성하는 각각의 레이어별 설계 사항은 널리 알려져 있다. 예컨대, 복수의 레이어들에 포함될 레이어의 개수, 상기 복수의 레이어들을 정의하기 위한 컨볼루션 함수, 풀링 함수, 활성화 함수 각각에 대해서는 공지된 함수들이 이용될 수도 있고, 본 발명의 기술적 사상을 구현하기 위해 별도로 정의된 함수들이 이용될 수도 있다.
컨볼루션 함수의 일 예로는 이산 컨볼류션 합 등이 있다. 풀링 함수의 일 예로는 맥스 풀링(max pooling), 에버리지 풀링(average pooling) 등이 이용될 수 있다. 활성화 함수의 일 예로는 시그모이드 (sigmoid), 탄젠트 하이퍼볼릭 (tanh), ReLU (rectified linear unit)등일 수 있다.
이러한 컨볼루션 뉴렬 네트워크의 설계 사항이 정의되면 설계사항이 정의된 컨볼루션 뉴럴 네트워크가 저장장치에 저장될 수 있다. 그리고 상기 컨볼류션 뉴럴 네트워크가 학습되면, 각각의 레이어들에 해당하는 웨이트 팩터가 특정될 수 있다.
즉, 컨볼루션 뉴렬 네트워크의 학습은 각각의 레이어들의 웨이트 팩터들이 결정되는 프로세스를 의미할 수 있다. 그리고 컨볼루션 뉴렬 네트워크가 학습되면, 학습된 컨볼루션 뉴렬 네트워크는 입력 레이어에 입력 데이터를 입력받고 미리 정의된 출력 레이어를 통해 출력 데이터를 출력할 수 있다.
본 발명의 실시 예에 따른 뉴럴 네트워크는 상기와 같이 널리 알려진 설계 사항들 중 어느 하나 또는 복수 개를 선택하여 정의될 수도 있고, 독자적인 설계 사항이 상기 뉴럴 네트워크를 위해 정의될 수도 있다.
상기 학습모듈(130)은 진단 결과가 각각 라벨링된 복수의 훈련용 병리 이미지를 상기 오토인코더에 입력하여 상기 오토인코더 및 상기 진단용 뉴럴 네트워크를 학습할 수 있다.
특히, 상기 오토인코더는 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과가 반영되어 학습되는 것을 특징으로 할 수 있다.
일 실시예에서, 상기 오토인코더(110)의 손실함수(loss function)는 상기 원본 병리 이미지와 상기 복원 병리 이미지 간의 차이, 및 상기 원본 병리 이미지의 라벨과 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과 간의 차이를 포함하는 형태로 정의될 수 있다.
예를 들어 상기 오토인코더(110)의 손실함수는 다음 수식과 같은 형태일 수 있다.
[수식]
L = w1L1(x, x') + w2L2(y, y')
여기서 w1, w2는 소정의 가중치, L1(a, b) 및 L2(a, b)는 각각 a와 b간의 거리를 나타내는 함수, x는 원본 병리 이미지, x'는 x에 상응하는 복원 병리 이미지, y는 x의 라벨, y'은 x'을 진단용 뉴럴 네트워크(120)에서 진단한 진단 결과이다.
거리 함수 L1 및/또는 L2는 평균 제곱 오차(mean squared error; MSE), 교차 엔트로피 오차(cross entropy error; CEE)를 비롯한 손실함수 또는 두 벡터 간의 거리(예를 들면, 유클리드 거리, n-노름 거리, 맨해튼 거리 등)를 나타내는 함수를 포함할 수 있다. 또한 상기 두 거리 함수 L1 및 L2는 동일한 형태의 함수 또는 서로 다른 형태의 함수일 수 있다.다른 일 실시예에서, 거리함수 L은 추가적인 항 R()을 더 포함하는 다음 [수식]의 형태일 수 있다.
[수식]
L = w1L1(x, x') + w2L2(y, y') + R()
여기서, R()은 뉴럴 네트워크의 각종 파라미터들, 인코딩 결과(z) 등의 추가적인 인자에 의해 정의되는 함수일 수 있다.
도 4a는 상기 오토인코더(110) 및 상기 진단용 뉴럴 네트워크(120)가 훈련용 원본 병리 이미지에 의해 학습되는 과정을 설명하기 위한 도면이다.
도 4a를 참조하면, 피드 포워드 과정은 다음과 같다.
진단 결과 y가 라벨링된 원본 병리 이미지 x가 오토인코더에 입력되면 인코더 파트(111)에서 원본 병리 이미지 x의 피쳐 z가 생성되며, 피쳐 z가 디코더 파트로 입력되어 복원 병리 이미지 x'이 생성된다. 이후, 복원 병리 이미지 x'은 진단용 뉴럴 네트워크(120)로 입력되어 진단 결과 y'이 출력된다.
또한 도 4a를 참조하면, 오류 역전파(backpropagation) 과정은 다음과 같이 이루어진다.
먼저 진단용 뉴럴 네트워크(120)에서 출력한 진단 결과 y'과 원본 병리 이미지 x의 라벨 y과의 차이 L(y, y')이 산출되고, 산출된 L(y, y')는 진단용 뉴럴 네트워크(120)에 역전파 방법에 의해 반영된다. 한편, 진단용 뉴럴 네트워크(120)에서 출력한 진단 결과 y'은 상기 오토인코더(110)의 학습에 반영된다. 예를 들어, 원본 병리 이미지 x와 그에 상응하는 복원 이미지 x'의 차이 L1(x, x') 및 진단용 뉴럴 네트워크(120)에서 출력한 진단 결과 y'과 원본 병리 이미지 x의 라벨 y과의 차이 L2(y, y')가 모두 상기 오토인코더(110)에 역전파 방법에 의해 반영됨으로써 상기 오토인코더(110)가 학습된다.
한편, 실시예에 따라서는 상기 오토인코더(110)를 거치지 않은 복수의 추가 훈련용 병리 이미지가 상기 진단용 뉴럴 네트워크(120)에 더 입력되어 상기 진단용 뉴럴 네트워크의 학습이 이루어질 수도 있다. 즉, 본 실시예에서 상기 학습모듈(130)은 상기 진단용 뉴럴 네트워크(120)의 학습을 위하여, 1차적으로 복수의 훈련용 병리 이미지가 상기 오토인코더(110)를 거쳐 상기 진단용 뉴럴 네트워크(120)에 입력되도록 하며, 2차적으로 복수의 추가 훈련용 병리 이미지를 상기 오토인코더(110)를 거치지 않고 직접 상기 진단용 뉴럴 네트워크(120)로 입력함으로써 상기 진단용 뉴럴 네트워크(120)가 학습되도록 할 수 있다.
도 4b는 위의 실시예에 따라 상기 오토인코더(110) 및 상기 진단용 뉴럴 네트워크(120)가 학습되는 과정을 설명하기 위한 도면이다.
도 4b를 참조하면, 피드 포워드 과정은 다음과 같다.
진단 결과 y가 라벨링된 원본 병리 이미지 x가 오토인코더(110)에 입력되면 인코더 파트(111)에서 원본 병리 이미지 x의 피쳐 z가 생성되며, 피쳐 z가 디코더 파트로 입력되어 복원 병리 이미지 x'이 생성된다. 이후, 복원 병리 이미지 x'은 진단용 뉴럴 네트워크(120)로 입력되어 진단 결과 y'이 출력된다. 또한 진단 결과 v가 라벨링된 추가 원본 병리 이미지 u가 오토 인코더(110)가 아닌 진단용 뉴럴 네트워크(120)에 입력되어 진단 결과 v'이 출력된다.
도 4b를 참조하면, 오류 역전파 과정은 다음과 같이 이루어진다.
오토인코더(110)로 입력되는 원본 병리 이미지 x에 의한 학습의 경우, 진단용 뉴럴 네트워크(120)에서 출력한 복원 병리 이미지 x'의 진단 결과 y'과 원본 병리 이미지 x의 라벨 y과의 차이 L(y, y')이 산출되고, 산출된 L(y, y')는 진단용 뉴럴 네트워크(120)에 역전파 방법에 의해 반영된다. 또한, 진단용 뉴럴 네트워크(120)에서 출력한 진단 결과 y'은 상기 오토인코더(110)의 학습에 반영된다. 예를 들어, 원본 병리 이미지 x와 그에 상응하는 복원 이미지 x'의 차이 L1(x, x') 및 진단용 뉴럴 네트워크(120)에서 출력한 진단 결과 y'과 원본 병리 이미지 x의 라벨 y과의 차이 L2(y, y')가 모두 상기 오토인코더(110)에 역전파 방법에 의해 반영됨으로써 상기 오토인코더(110)가 학습된다.
진단용 뉴럴 네트워크(120)로 직접 입력되는 추가 원본 병리 이미지 u에 의한 학습의 경우, 진단용 뉴럴 네트워크(120)에서 출력한 진단 결과 v'과 추가 원본 병리 이미지 u의 라벨 v과의 차이 L(v, v')이 산출되고, 산출된 L(v, v')는 진단용 뉴럴 네트워크(120)에 역전파 방법에 의해 반영된다.
본 명세서에서 추가 훈련용 병리 이미지 또는 추가 원본 병리 이미지는, 앞서 설명한 훈련용 병리 이미지 또는 원본 병리 이미지(즉, 상기 오토인코더(110)에 입력되어 상기 오토인코더(110) 및 상기 진단용 뉴럴 네트워크(120)의 학습에 이용되는 병리 이미지)와 구분하기 위한 용어를 의미하며, 따라서, 상기 오토인코더(110)에 입력되어 상기 오토인코더(110) 및 상기 진단용 뉴럴 네트워크(120)의 학습에 이용되는 병리 이미지를 제1훈련용 병리 이미지로, 상기 오토인코더(110)를 거치지 않고 상기 진단용 뉴럴 네트워크(120)에 직접 입력되어 상기 진단용 뉴럴 네트워크(120)를 학습하는데 이용되는 병리 이미지를 제2훈련용 병리 이미지로 칭할 수도 있다.
한편, 실시예에 따라 상기 학습모듈(130)은 복수의 제1훈련용 병리 이미지를 상기 오토인코더(110)에 입력하여 상기 오토인코더(110) 및 상기 진단용 뉴럴 네트워크(120)를 학습하기에 앞서, 1차적으로 상기 오토인코더(110)를 거치지 않은 복수의 제2훈련용 병리 이미지를 상기 상기 진단용 뉴럴 네트워크(120)에 입력하여 상기 진단용 뉴럴 네트워크(120)를 학습할 수도 있다.
또한 경우에 따라서는 상기 진단용 뉴럴 네트워크(120)의 학습 시 상기 오토 인코더(110)를 거치지 않고 상기 진단용 뉴럴 네트워크(120)로 직접 입력되는 복수의 훈련용 병리 이미지만으로 상기 진단용 뉴럴 네트워크(120)가 학습되는 실시예도 있을 수 있다.
도 4c는 위의 실시예에 따라 상기 오토인코더(110) 및 상기 진단용 뉴럴 네트워크(120)가 학습되는 과정을 설명하기 위한 도면이다.
도 4c를 참조하면, 피드 포워드 과정은 다음과 같다.
진단 결과 y가 라벨링된 원본 병리 이미지 x가 오토인코더(110)에 입력되면 인코더 파트(111)에서 원본 병리 이미지 x의 피쳐 z가 생성되며, 피쳐 z가 디코더 파트로 입력되어 복원 병리 이미지 x'이 생성된다. 이후, 복원 병리 이미지 x'은 진단용 뉴럴 네트워크(120)로 입력되어 진단 결과 y'이 출력된다. 또한 진단 결과 v가 라벨링된 추가 원본 병리 이미지 u가 오토 인코더(110)가 아닌 진단용 뉴럴 네트워크(120)에 입력되어 진단 결과 v'이 출력된다.
도 4c를 참조하면, 오류 역전파 과정은 다음과 같이 이루어진다.
오토인코더(110)로 입력되는 원본 병리 이미지 x에 의한 학습의 경우, 진단용 뉴럴 네트워크(120)에서 출력한 복원 병리 이미지 x'의 진단 결과 y'과 원본 병리 이미지 x의 라벨 y과의 차이 L(y, y')이 산출되고, 산출된 L(y, y')는 상기 오토인코더(110)의 학습에 반영된다. 예를 들어, 원본 병리 이미지 x와 그에 상응하는 복원 이미지 x'의 차이 L1(x, x') 및 진단용 뉴럴 네트워크(120)에서 출력한 진단 결과 y'과 원본 병리 이미지 x의 라벨 y과의 차이 L2(y, y')가 모두 상기 오토인코더(110)에 역전파 방법에 의해 반영됨으로써 상기 오토인코더(110)가 학습된다.
진단용 뉴럴 네트워크(120)로 직접 입력되는 추가 원본 병리 이미지 u에 의한 학습의 경우, 진단용 뉴럴 네트워크(120)에서 출력한 진단 결과 v'과 추가 원본 병리 이미지 u의 라벨 v과의 차이 L(v, v')이 산출되고, 산출된 L(v, v')는 진단용 뉴럴 네트워크(120)에 역전파 방법에 의해 반영된다.
다시 도 3을 참조하면 상기 피쳐생성모듈(140)은 상기 오토인코더(110)에 대한 학습이 완료된 후 복수의 검색용 병리 이미지 각각에 대한 피쳐 값이 생성되도록 하고 이들을 저장하는 DB(200)를 구축할 수 있다.
즉, 상기 피쳐생성모듈(140)은 복수의 검색용 병리 이미지 각각에 대하여, 학습된 상기 오토인코더(110)에 상기 검색용 병리 이미지를 입력하여 상기 인코더 파트에 의해 상기 검색용 병리 이미지의 피쳐가 생성되도록 하고, 생성된 상기 검색용 이미지의 피쳐를 DB(200)에 저장할 수 있다.
도 6은 상기 피쳐생성모듈(140)에 의해 복수의 검색용 병리 이미지 각각의 피쳐가 추출되어 DB(200)가 구축되는 과정을 설명하기 위한 도면이다.
도 6을 참조하면, 상기 DB(200)는 병리 이미지 데이터 DB(210) 및 병리 이미지 색인 DB(220)를 포함할 수 있다. 검색용 병리 이미지는 병리 이미지 데이터 DB(210)에 인덱스와 함께 저장되어 있을 수 있다. 각각의 검색용 병리 이미지 x에 대하여, 상기 피쳐생성모듈(140)은 상기 검색용 병리 이미지 x를 학습된 상기 오토인코더(110)에 입력할 수 있다. 그러면 학습된 상기 오토 인코더(110)의 인코더 파트(111)에서 상기 검색용 병리 이미지 x의 피쳐 z를 추출할 수 있다. 그러면 상기 피쳐생성모듈(140)은 상기 검색용 병리 이미지 x의 피쳐 z와 상기 검색용 병리 이미지 x의 인덱스 id를 연계하여 병리 이미지 색인 DB(220)에 저장할 수 있다.
한편 다시 도 3을 참조하면, 상기 검색모듈(150)은 상기 복수의 검색용 병리 이미지 각각에 대한 피쳐가 추출된 후에, 소정의 질의 병리 이미지와 유사한 이미지를 검색할 수 있다.
이에 대하여 도 6을 참조하여 설명하면, 상기 검색모듈(150)은 학습된 상기 오토인코더(110)에 질의 병리 이미지 q를 입력하여 상기 인코더 파트(111)에 의해 상기 질의 병리 이미지 q의 피쳐 w가 생성되도록 할 수 있다.
이후 상기 검색모듈(150)은 상기 질의 병리 이미지 q의 피쳐 w에 기초하여 상기 DB(200)에서 상기 질의 병리 이미지와 유사한 유사 병리 이미지의 피쳐를 검색할 수 있다. 예를 들어, 상기 검색모듈(150)은 병리 이미지 색인 DB(220)에 저장된 복수의 검색용 병리 이미지 각각의 피쳐와 상기 질의 병리 이미지 q의 피쳐 w간에 유사도 기반의 탐색을 수행할 수 있다. 유사도 기반의 탐색 시 두 벡터간의 유사도를 구하는 다양한 기법이 적용될 수 있다. 예를 들어, 두 벡터간의 유사도는 벡터간의 거리 혹은 코사인 유사도에 의해 표현될 수 있으며, 이 외에도 알려진 다양한 방법이 적용될 수 있다. 한편, 상기 질의 병리 이미지 q와 유사한 유사 이미지의 인덱스 id가 검색되면, 이를 통해 상기 검색모듈(150)은 병리 이미지 데이터 DB(210)로부터 유사 이미지를 검색할 수 있다.
한편, 실시예에 따라 상기 오토 인코더(110)는 변분 오토인코더(Variational AutoEncoder; VAE)를 포함할 수 있다.
또한 본 명세서에서는 전립선 암에 대해 본 발명의 기술적 사상이 적용된 일 예를 주로 설명하였지만, 특정 조직뿐만 아니라 해당 조직이 주변조직의 상태까지 고려하여 상기 특정 조직의 진단을 수행할 필요가 있는 다른 암이나 질병에 대해서도 본 발명의 기술적 사상이 적용될 경우 정확한 진단이 가능할 수 있음을 본 발명의 기술분야의 평균적 전문가는 용이하게 추론할 수 있을 것이다.
한편, 본 발명의 기술적 사상에 따른 병리 이미지 검색을 위한 방법은 생체 이미지를 이용하여 질병을 진단하기 위한 기계를 학습하는데 이용되는 학습 데이터를 보다 효과적으로 제작하는데도 이용될 수 있다.
또한 본 발명의 기술적 사상에 따른 병리 이미지 검색을 위한 방법은 유사 이미지 검색을 통한 병리 진단 방법을 구현하는데 이용될 수도 있다. 예를 들어, 진단 대상이 되는 특정한 입력 슬라이드 이미지를 하나 이상의 검색 가능한 이미지 혹은 이미지들로 변환하고, 변환된 검색 가능한 이미지들 각각에 대해 유사 이미지 검색을 수행한 후 이들에 대한 진단 결과를 종합하여 상기 입력 슬라이드 이미지에 대한 진단 결과를 생성하는 시스템 및 방법을 구현할 수 있다.
한편, 구현 예에 따라서, 상기 병리 이미지 검색을 위한 시스템(100) 및/또는 단말(20)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 상기 프로세서는 싱글 코어 CPU혹은 멀티 코어 CPU를 포함할 수 있다. 메모리는 고속 랜덤 액세스 메모리를 포함할 수 있고 하나 이상의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 기타 비휘발성 고체상태 메모리 장치와 같은 비휘발성 메모리를 포함할 수도 있다. 프로세서 및 기타 구성 요소에 의한 메모리로의 액세스는 메모리 컨트롤러에 의해 제어될 수 있다.
한편, 본 발명의 실시예에 따른 병리 이미지 검색을 위한 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 형태로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (16)

  1. 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출하는 인코더 파트, 및 상기 인코더 파트에 의해 추출된 상기 원본 병리 이미지의 피쳐를 입력받아 상기 원본 병리 이미지에 상응하는 복원 병리 이미지를 생성하는 디코더 파트를 포함하는 오토인코더;
    상기 원본 병리 이미지를 입력 받은 상기 오토인코더의 의해 생성된 복원 병리 이미지를 입력받아 소정의 질병에 대한 진단 결과를 출력하는 진단용 뉴럴 네트워크; 및
    진단 결과가 각각 라벨링된 복수의 훈련용 병리 이미지를 상기 오토인코더에 입력하여 상기 오토인코더 및 상기 진단용 뉴럴 네트워크를 학습하는 학습모듈을 포함하되,
    상기 오토인코더는, 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과가 반영되어 학습되는 것을 특징으로 하는 병리 이미지 검색을 위한 시스템.
  2. 제1항에 있어서,
    상기 오토인코더의 손실함수는,
    상기 원본 병리 이미지와 상기 복원 병리 이미지 간의 차이, 및 상기 원본 병리 이미지의 라벨과 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과 간의 차이를 포함하는 것을 특징으로 하는 병리 이미지 검색을 위한 시스템.
  3. 제1항에 있어서, 상기 병리 이미지 검색을 위한 시스템은,
    복수의 검색용 병리 이미지 각각에 대하여,
    학습된 상기 오토인코더에 상기 검색용 병리 이미지를 입력하여 상기 인코더 파트에 의해 상기 검색용 병리 이미지의 피쳐가 생성되도록 하고, 생성된 상기 검색용 이미지의 피쳐를 DB에 저장하는 피쳐생성모듈을 더 포함하는 병리 이미지 검색을 위한 시스템.
  4. 제3항에 있어서, 상기 병리 이미지 검색을 위한 시스템은,
    학습된 상기 오토인코더에 질의 병리 이미지를 입력하여 상기 인코더 파트에 의해 상기 질의 병리 이미지의 피쳐가 생성되도록 하고, 생성된 상기 질의 병리 이미지의 피쳐에 기초하여 상기 DB에서 상기 질의 병리 이미지와 유사한 유사 병리 이미지의 피쳐를 검색하는 검색모듈을 더 포함하는 병리 이미지 검색을 위한 시스템.
  5. 제1항에 있어서, 상기 질병은,
    전립선 암인 것을 특징으로 하는 병리 이미지 검색을 위한 시스템.
  6. 제1항에 있어서, 상기 학습모듈은,
    진단 결과가 각각 라벨링된 복수의 추가 훈련용 병리 이미지를 상기 진단용 뉴럴 네트워크에 더 입력하여 상기 진단용 뉴럴 네트워크를 학습하는 병리 이미지 검색을 위한 시스템.
  7. 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출하는 학습된 오토인코더의 인코더 파트;
    복수의 검색용 병리 이미지 각각의 피쳐를 포함하도록 구축된 DB; 및
    질의 병리 이미지를 상기 오토인코더에 입력하여 상기 인코더 파트에 의해 상기 질의 병리 이미지의 피쳐가 생성되도록 하고, 생성된 상기 질의 병리 이미지의 피쳐에 기초하여 상기 DB에서 상기 질의 병리 이미지와 유사한 유사 병리 이미지의 피쳐를 검색하는 검색모듈을 포함하되,
    상기 오토인코더는, 제3항에 기재된 시스템에 의해 학습되며,
    상기 DB는, 제3항에 기재된 시스템에 의해 구축되는 것을 특징으로 하는 병리 이미지 검색을 위한 시스템.
  8. 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출하는 인코더 파트, 및 상기 인코더 파트에 의해 추출된 상기 원본 병리 이미지의 피쳐를 입력받아 상기 원본 병리 이미지에 상응하는 복원 병리 이미지를 생성하는 디코더 파트를 포함하는 오토인코더;
    상기 원본 병리 이미지를 입력 받은 상기 오토인코더의 의해 생성된 복원 병리 이미지를 입력받아 소정의 질병에 대한 진단 결과를 출력하는 진단용 뉴럴 네트워크; 및
    진단 결과가 각각 라벨링된 복수의 훈련용 병리 이미지를 상기 오토인코더에 입력하여 상기 오토인코더를 학습하고, 진단 결과가 각각 라벨링된 복수의 추가 훈련용 병리 이미지를 상기 진단용 뉴럴 네트워크에 입력하여 상기 진단용 뉴럴 네트워크를 학습하는 학습모듈을 포함하되,
    상기 오토인코더는, 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과가 반영되어 학습되는 것을 특징으로 하는 병리 이미지 검색을 위한 시스템.
  9. 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출하는 인코더 파트, 및 상기 인코더 파트에 의해 추출된 상기 원본 병리 이미지의 피쳐를 입력받아 상기 원본 병리 이미지에 상응하는 복원 병리 이미지를 생성하는 디코더 파트를 포함하는 오토인코더; 및
    상기 원본 병리 이미지를 입력 받은 상기 오토인코더의 의해 생성된 복원 병리 이미지를 입력받아 소정의 질병에 대한 진단 결과를 출력하는 진단용 뉴럴 네트워크를 포함하는 시스템에 의해 수행되는 병리 이미지 검색을 위한 방법으로서,
    진단 결과가 각각 라벨링된 복수의 훈련용 병리 이미지를 상기 오토인코더에 입력하여 상기 오토인코더 및 상기 진단용 뉴럴 네트워크를 학습하는 학습단계를 포함하되,
    상기 오토인코더는, 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과가 반영되어 학습되는 것을 특징으로 하는 병리 이미지 검색을 위한 방법.
  10. 제9항에 있어서,
    상기 오토인코더의 손실함수는,
    상기 원본 병리 이미지와 상기 복원 병리 이미지 간의 차이, 및 상기 원본 병리 이미지의 라벨과 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과 간의 차이를 포함하는 것을 특징으로 하는 병리 이미지 검색을 위한 방법.
  11. 제9항에 있어서, 상기 병리 이미지 검색을 위한 방법은,
    복수의 검색용 병리 이미지 각각에 대하여,
    학습된 상기 오토인코더에 상기 검색용 병리 이미지를 입력하여 상기 인코더 파트에 의해 상기 검색용 병리 이미지의 피쳐가 생성되도록 하고, 생성된 상기 검색용 이미지의 피쳐를 DB에 저장하는 피쳐생성단계를 더 포함하는 병리 이미지 검색을 위한 방법.
  12. 제11항에 있어서, 상기 병리 이미지 검색을 위한 방법은,
    학습된 상기 오토인코더에 질의 병리 이미지를 입력하여 상기 인코더 파트에 의해 상기 질의 병리 이미지의 피쳐가 생성되도록 하고, 생성된 상기 질의 병리 이미지의 피쳐에 기초하여 상기 DB에서 상기 질의 병리 이미지와 유사한 유사 병리 이미지의 피쳐를 검색하는 검색단계를 더 포함하는 병리 이미지 검색을 위한 방법.
  13. 제10항에 있어서, 상기 학습단계는,
    진단 결과가 각각 라벨링된 복수의 추가 훈련용 병리 이미지를 상기 진단용 뉴럴 네트워크에 더 입력하여 상기 진단용 뉴럴 네트워크를 학습하는 단계를 포함하는 병리 이미지 검색을 위한 방법.
  14. 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출하는 학습된 오토인코더의 인코더 파트; 및
    복수의 검색용 병리 이미지 각각의 피쳐를 포함하도록 구축된 DB를 포함하는 시스템에 의해 수행되는 병리 이미지를 검색하기 위한 방법으로서,
    질의 병리 이미지를 상기 오토인코더에 입력하여 상기 인코더 파트에 의해 상기 질의 병리 이미지의 피쳐가 생성되도록 하는 단계; 및
    생성된 상기 질의 병리 이미지의 피쳐에 기초하여 상기 DB에서 상기 질의 병리 이미지와 유사한 유사 병리 이미지의 피쳐를 검색하는 단계를 포함하되,
    상기 오토인코더는, 제10항에 기재된 방법에 의해 학습되며,
    상기 DB는, 제10항에 기재된 방법에 의해 구축되는 것을 특징으로 하는 병리 이미지 검색을 위한 방법.
  15. 원본 병리 이미지를 입력받아 상기 원본 병리 이미지의 피쳐를 추출하는 인코더 파트, 및 상기 인코더 파트에 의해 추출된 상기 원본 병리 이미지의 피쳐를 입력받아 상기 원본 병리 이미지에 상응하는 복원 병리 이미지를 생성하는 디코더 파트를 포함하는 오토인코더; 및
    상기 원본 병리 이미지를 입력 받은 상기 오토인코더의 의해 생성된 복원 병리 이미지를 입력받아 소정의 질병에 대한 진단 결과를 출력하는 진단용 뉴럴 네트워크를 포함하는 시스템에 의해 수행되는 병리 이미지 검색을 위한 방법으로서,
    진단 결과가 각각 라벨링된 복수의 훈련용 병리 이미지를 상기 오토인코더에 입력하여 상기 오토인코더를 학습하는 단계; 및
    진단 결과가 각각 라벨링된 복수의 추가 훈련용 병리 이미지를 상기 진단용 뉴럴 네트워크에 입력하여 상기 진단용 뉴럴 네트워크를 학습하는 단계를 포함하되,
    상기 오토인코더는, 상기 진단용 뉴럴 네트워크에 의해 출력되는 상기 복원 병리 이미지에 대한 진단 결과가 반영되어 학습되는 것을 특징으로 하는 병리 이미지 검색을 위한 방법.
  16. 데이터 처리장치에 설치되며 제9항 내지 제15항 중 어느 한 항에 기재된 방법을 수행하기 위한 매체에 기록된 컴퓨터 프로그램.
KR1020180119348A 2018-10-05 2018-10-05 병리 이미지 검색을 위한 시스템 및 방법 Active KR102246318B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020180119348A KR102246318B1 (ko) 2018-10-05 2018-10-05 병리 이미지 검색을 위한 시스템 및 방법
CN201980065671.7A CN112889116B (zh) 2018-10-05 2019-10-04 检索病理图像的系统及方法
PCT/KR2019/013083 WO2020071877A1 (ko) 2018-10-05 2019-10-04 병리 이미지 검색을 위한 시스템 및 방법
EP19868253.6A EP3846175A4 (en) 2018-10-05 2019-10-04 SYSTEM AND METHOD OF SEARCHING FOR A PATHOLOGICAL IMAGE
US17/282,775 US11798686B2 (en) 2018-10-05 2019-10-04 System and method for searching for pathological image
JP2021517291A JP7157492B2 (ja) 2018-10-05 2019-10-04 病理画像の検索のためのシステム及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180119348A KR102246318B1 (ko) 2018-10-05 2018-10-05 병리 이미지 검색을 위한 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20200044183A true KR20200044183A (ko) 2020-04-29
KR102246318B1 KR102246318B1 (ko) 2021-04-30

Family

ID=70054498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180119348A Active KR102246318B1 (ko) 2018-10-05 2018-10-05 병리 이미지 검색을 위한 시스템 및 방법

Country Status (6)

Country Link
US (1) US11798686B2 (ko)
EP (1) EP3846175A4 (ko)
JP (1) JP7157492B2 (ko)
KR (1) KR102246318B1 (ko)
CN (1) CN112889116B (ko)
WO (1) WO2020071877A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163519B1 (ko) * 2020-06-05 2020-10-07 주식회사 딥바이오 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
KR102196874B1 (ko) * 2020-08-07 2020-12-31 주식회사 환경과학기술 위성 이미지 생성 학습 장치, 위성 이미지 생성 학습 방법, 위성 이미지 생성 장치 및 위성 이미지 생성 방법
KR102246319B1 (ko) * 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
KR102261475B1 (ko) * 2020-06-05 2021-06-07 주식회사 딥바이오 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
WO2022164133A1 (ko) * 2021-01-26 2022-08-04 주식회사 뷰노 의료 영상의 병변 평가 방법
KR20250138383A (ko) 2024-03-13 2025-09-22 사회복지법인 삼성생명공익재단 딥러닝을 이용하여 식도절제술 후 폐합병증을 예측하는 방법, 장치 및 컴퓨터프로그램

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102329546B1 (ko) * 2019-07-13 2021-11-23 주식회사 딥바이오 뉴럴 네트워크 및 비국소적 블록을 이용하여 세그멘테이션을 수행하는 질병 진단 시스템 및 방법
US20210100530A1 (en) * 2019-10-04 2021-04-08 GE Precision Healthcare LLC Methods and systems for diagnosing tendon damage via ultrasound imaging
KR102415572B1 (ko) * 2020-04-23 2022-07-04 한국전력공사 오토인코더 기반의 전력설비 진단 장치 및 그 학습 방법
CN112802012B (zh) * 2021-03-09 2024-09-13 中南大学湘雅医院 病理图像检测方法、装置、计算机设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101849072B1 (ko) * 2017-08-29 2018-04-16 주식회사 뷰노 콘텐츠 기반 의료 영상 검색 방법 및 시스템
US20180144465A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for medical procedures

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4799251B2 (ja) * 2006-04-05 2011-10-26 富士フイルム株式会社 類似症例検索装置、類似症例検索方法およびそのプログラム
JP2010200881A (ja) * 2009-03-02 2010-09-16 Shigenari Hozawa 膵嚢胞性疾患診断装置
BR202014030558Y1 (pt) 2014-12-05 2020-01-14 Souza Cruz Ltda transbordo agrícola
DE102015217429A1 (de) * 2015-09-11 2017-03-16 Siemens Healthcare Gmbh Diagnosesystem und Diagnoseverfahren
US20170249739A1 (en) * 2016-02-26 2017-08-31 Biomediq A/S Computer analysis of mammograms
CN105975793A (zh) * 2016-05-23 2016-09-28 麦克奥迪（厦门）医疗诊断系统有限公司 一种基于数字病理图像的癌症辅助诊断方法
US11706895B2 (en) 2016-07-19 2023-07-18 Pure Storage, Inc. Independent scaling of compute resources and storage resources in a storage system
GB201615051D0 (en) * 2016-09-05 2016-10-19 Kheiron Medical Tech Ltd Multi-modal medical image procesing
KR101880678B1 (ko) * 2016-10-12 2018-07-20 (주)헬스허브 기계학습을 통한 의료영상 판독 및 진단 통합 시스템
US10339651B2 (en) * 2016-10-28 2019-07-02 International Business Machines Corporation Simultaneous feature extraction and dictionary learning using deep learning architectures for characterization of images of heterogeneous tissue samples
US20180144241A1 (en) * 2016-11-22 2018-05-24 Mitsubishi Electric Research Laboratories, Inc. Active Learning Method for Training Artificial Neural Networks
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
US11301509B2 (en) * 2017-01-20 2022-04-12 Rakuten Group, Inc. Image search system, image search method, and program
US10176575B2 (en) * 2017-03-24 2019-01-08 Pie Medical Imaging B.V. Method and system for assessing vessel obstruction based on machine learning
US11257259B2 (en) * 2017-08-15 2022-02-22 Siemens Healthcare Gmbh Topogram prediction from surface data in medical imaging
CN108231201B (zh) * 2018-01-25 2020-12-18 华中科技大学 一种疾病数据分析处理模型的构建方法、系统及应用方法
US10595727B2 (en) * 2018-01-25 2020-03-24 Siemens Healthcare Gmbh Machine learning-based segmentation for cardiac medical imaging

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180144465A1 (en) * 2016-11-23 2018-05-24 General Electric Company Deep learning medical systems and methods for medical procedures
KR101849072B1 (ko) * 2017-08-29 2018-04-16 주식회사 뷰노 콘텐츠 기반 의료 영상 검색 방법 및 시스템

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102163519B1 (ko) * 2020-06-05 2020-10-07 주식회사 딥바이오 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
KR102261475B1 (ko) * 2020-06-05 2021-06-07 주식회사 딥바이오 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
WO2021246811A1 (ko) * 2020-06-05 2021-12-09 주식회사 딥바이오 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
WO2021246810A1 (ko) * 2020-06-05 2021-12-09 주식회사 딥바이오 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
JP2023529585A (ja) * 2020-06-05 2023-07-11 ディープ バイオ インク オートエンコーダ及びマルチインスタンス学習を通じたニューラルネットワーク学習方法並びにこれを実行するコンピューティングシステム
KR102196874B1 (ko) * 2020-08-07 2020-12-31 주식회사 환경과학기술 위성 이미지 생성 학습 장치, 위성 이미지 생성 학습 방법, 위성 이미지 생성 장치 및 위성 이미지 생성 방법
KR102246319B1 (ko) * 2021-01-07 2021-05-03 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2022149894A1 (ko) * 2021-01-07 2022-07-14 주식회사 딥바이오 병리 검체에 대한 판단 결과를 제공하는 인공 뉴럴 네트워크의 학습 방법, 및 이를 수행하는 컴퓨팅 시스템
WO2022164133A1 (ko) * 2021-01-26 2022-08-04 주식회사 뷰노 의료 영상의 병변 평가 방법
US12236585B2 (en) 2021-01-26 2025-02-25 Vuno Inc. Method for measuring lesion of medical image
KR20250138383A (ko) 2024-03-13 2025-09-22 사회복지법인 삼성생명공익재단 딥러닝을 이용하여 식도절제술 후 폐합병증을 예측하는 방법, 장치 및 컴퓨터프로그램

Also Published As

Publication number Publication date
JP7157492B2 (ja) 2022-10-20
KR102246318B1 (ko) 2021-04-30
WO2020071877A1 (ko) 2020-04-09
US20210391076A1 (en) 2021-12-16
EP3846175A4 (en) 2022-05-25
EP3846175A1 (en) 2021-07-07
JP2022502772A (ja) 2022-01-11
CN112889116B (zh) 2024-08-20
CN112889116A (zh) 2021-06-01
US11798686B2 (en) 2023-10-24

Similar Documents

Publication Publication Date Title
KR102246318B1 (ko) 병리 이미지 검색을 위한 시스템 및 방법
KR102843906B1 (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
Li et al. CANet: cross-disease attention network for joint diabetic retinopathy and diabetic macular edema grading
KR102236948B1 (ko) 준-지도학습을 이용하여 질병의 발병 영역에 대한 어노테이션을 수행하기 위한 방법 및 이를 수행하는 진단 시스템
KR102163519B1 (ko) 오토인코더 및 다중 인스턴스 학습을 통한 뉴럴 네트워크 학습 방법 및 이를 수행하는 컴퓨팅 시스템
KR102261475B1 (ko) 중증도 판단용 뉴럴 네트워크 학습 방법 및 시스템
KR20210036840A (ko) 인공지능 모델을 사용 기관에 특화시키는 학습 방법, 이를 수행하는 장치
Si et al. Hard exudate segmentation in retinal image with attention mechanism
CN119049638A (zh) 基于大语言模型的脑肿瘤诊断及报告生成方法及系统
US20250217653A1 (en) Discovering Novel Artificial Neural Network Architectures
Carannante et al. Trustworthy medical segmentation with uncertainty estimation
CN115760797A (zh) 一种基于混合注意力网络对胰腺图像进行分类的方法
Li et al. Lijie at ImageCLEFmed VQA-Med 2021: Attention Model-based Efficient Interaction between Multimodality.
Saha et al. Knowledge distillation approach for skin cancer classification on lightweight deep learning model
CN119810623B (zh) 医学图像分割模型训练方法、装置、介质及设备
Butta et al. Ensemble deep learning approach for early diagnosis of Alzheimer's disease
CN118132736B (zh) 用户画像识别系统的训练方法、控制装置以及存储介质
CN114925178A (zh) 问答模型的训练方法、问答方法及装置
Mohamed et al. ImageCLEF 2020: An approach for Visual Question Answering using VGG-LSTM for Different Datasets.
EP4170678A1 (en) Method for annotating pathogenic site of disease by means of semi-supervised learning, and diagnosis system for performing same
Khan A Novel Deep Learning-Based Framework for Context-Aware Semantic Segmentation in Medical Imaging
Srinivasan et al. Enhancing brain tumor diagnosis with substructure aware graph neural networks and fuzzy linguistic segmentation
KR102226897B1 (ko) 다중 페이즈 생체 이미지를 이용하여 학습된 뉴럴 네트워크를 이용한 질병 진단 방법 및 이를 수행하는 질병 진단 시스템
CN113673566A (zh) 一种基于ct图像的新冠肺炎诊断系统、介质及设备
US20260066117A1 (en) Artificial intelligence (AI) for survival prediction of cancer patients

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181005

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200924

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210322

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210423

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210423

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240307

Start annual number: 4

End annual number: 4