KR20170113251A - 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치 - Google Patents

딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치 Download PDF

Info

Publication number
KR20170113251A
KR20170113251A KR1020170037755A KR20170037755A KR20170113251A KR 20170113251 A KR20170113251 A KR 20170113251A KR 1020170037755 A KR1020170037755 A KR 1020170037755A KR 20170037755 A KR20170037755 A KR 20170037755A KR 20170113251 A KR20170113251 A KR 20170113251A
Authority
KR
South Korea
Prior art keywords
image
neural network
ivus
weight
division
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020170037755A
Other languages
English (en)
Other versions
KR101937018B1 (ko
Inventor
김영학
이준구
권지훈
Original Assignee
재단법인 아산사회복지재단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인 아산사회복지재단 filed Critical 재단법인 아산사회복지재단
Publication of KR20170113251A publication Critical patent/KR20170113251A/ko
Application granted granted Critical
Publication of KR101937018B1 publication Critical patent/KR101937018B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G06F17/3002—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0891—Clinical applications for diagnosis of blood vessels
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F17/30247—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

딥러닝을 이용한 혈관내외경 자동 분리 방법 및 장치를 개시한다. 일 실시 예에 따른 딥러닝을 이용한 혈관내외경 자동 분리 방법은, IVUS 원영상 및 상기 원영상의 샘플 분할 영상을 포함하는 데이터베이스를 구축하는 단계; IVUS 영상의 특징을 추출하기 위한 컨볼루션 신경망의 초기 가중치를 획득하는 단계; 상기 초기 가중치를 통한 미세 조정(fine-tuning)을 통해, 상기 데이터베이스를 기반으로 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 결정하는 단계; 및 상기 결정된 컨볼루션 신경망의 가중치 및 디컨볼루션 신경망의 가중치를 이용하여, 입력된 IVUS 영상의 자동 분할 결과를 획득하는 단계를 포함할 수 있다.

Description

딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치 {METHOD AND DEVICE FOR AUTOMATIC INNER AND OUTER VESSEL WALL SEGMENTATION IN INTRAVASCULAR ULTRASOUND IMAGES USING DEEP LEARNING}
아래의 실시예는 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치에 관한 것이다.
딥러닝(DEEP LEARNING)은 머신러닝의 한 분야로 데이터를 컴퓨터가 처리 가능한 형태인 행렬 형태로 변환하고 이를 인공신경망으로 학습하는 모델을 구축하는 연구를 포함한다.
사물이나 얼굴 등을 인식하는 특정 학습 목표에 대해, 딥러닝은 기존의 머신러닝 기법들보다 인식률에서 더 좋은 성능을 보임이 알려져 있다. 이러한 딥러닝은 뉴런과 같은 신경과학에서 영감을 얻어 만들어진 인공신경망에 기반을 두고 있으며, 인간의 인식방식과 유사하게 여러 층의 계층적 구조로 이루어져 있다.
1. Krizhevsky A, Sutskever I, Hilton GE. ImageNet Classification with Deep Convolutional Neural Networks. In: Pereira F, Burges CJC, Bottou L, Weinberger KQ, editors. Adv Neural Inf Process Syst 25. Curran Associates, Inc.; 2012. 2. Russakovsky O, Deng J, Su H, et al. ImageNet Large Scale Visual Recognition Challenge. Int J Comput Vis. 2015.
일 실시 예에 따른 목적은, 딥러닝을 통해 컨볼루션 신경망과 디컨볼루션 신경망으로 이루어진 fully convolutional network (FCN)을 이용하여, 혈관내 초음파 (Intravascular Ultrasound; IVUS) 영상 내의 혈관 영역을 인식하여 분할하는 방법을 제공하기 위한 것이다.
일 실시 예에 따른 목적은, 사전학습을 통해 결정된 초기 가중치를 이용하여 FCN을 구성하고 분할된 결과가 있는 영상데이터베이스로 미세조정을 수행하여, 한정된 데이터베이스에서 효과적으로 FCN의 가중치를 획득하는 IVUS 영상에서의 혈관내외경 분할 방법을 제공하기 위한 것이다.
일 실시 예에 따른 딥러닝을 이용한 혈관내외경 분할 방법은, IVUS 원영상 및 상기 원영상의 샘플 분할 영상을 포함하는 데이터베이스를 구축하는 단계; IVUS 영상의 특징을 추출하기 위한 컨볼루션 신경망의 초기 가중치를 획득하는 단계; 상기 초기 가중치를 통한 미세 조정(fine-tuning)을 통해, 상기 데이터베이스를 기반으로 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 결정하는 단계; 및 상기 결정된 컨볼루션 신경망의 가중치 및 디컨볼루션 신경망의 가중치를 이용하여 입력된 IVUS 영상의 자동 분할 결과를 획득하는 단계를 포함할 수 있다.
일 측에 있어서, 상기 데이터베이스를 구축하는 단계는, 상기 원영상에서 혈관영역(혈관의 내외경)을 수작업으로 분할하여 샘플 분할 영상을 생성하는 단계를 포함할 수 있다.
일 측에 있어서, 상기 초기 가중치를 획득하는 단계는, 비지도학습을 기반으로 뉴럴 네트워크의 사전훈련(pre-training)을 수행하여, 상기 초기 가중치를 획득할 수 있다.
일 측에 있어서, 상기 가중치를 결정하는 단계는, 상기 초기 가중치를 이용하여, 상기 디컨볼루션 신경망으로부터 상기 원영상의 결정 분할 영상을 획득하는 단계; 및 상기 결정 분할 영상 및 상기 샘플 분할 영상을 통해, 상기 컨볼루션 신경망 및 상기 디컨볼루션 신경망의 가중치를 획득하는 단계를 포함할 수 있다.
일 측에 있어서, 상기 가중치를 획득하는 단계는, 상기 결정 분할 영상 및 상기 샘플 분할 영상을 비교하는 단계; 및 상기 결정 분할 영상 및 상기 샘플 분할 영상의 차이를 최소화하도록, 상기 컨볼루션 신경망 및 상기 디컨볼루션 신경망의 가중치를 조절하는 단계를 포함할 수 있다.
일 측에 있어서, 상기 딥러닝을 이용한 혈관내외경 분할 방법은, 상기 결정된 가중치를 통해, 입력된 IVUS 영상의 자동 분할 결과를 획득하고, 상기 획득된 자동 분할 결과를 상기 IVUS 영상의 수동 분할과 비교하여 유사도를 판단하는 단계를 더 포함할 수 있다.
일 측에 있어서, 상기 가중치를 결정하는 단계는, 영상의 위치 정보를 고려하는 FCN(fully convolutional network) 모델을 통해 수행될 수 있다.
일 실시 예에 따른 딥러닝을 이용한 혈관내외경 분할 방법은, IVUS 영상에서 혈관영역을 수작업으로 분할한 샘플 분할 영상을 포함하는 데이터베이스로부터, DBN (Deep Belief Network)를 통해 상기 영상을 압축적으로 표현하는 인덱스 벡터를 결정하는 단계; 분할하고자 하는 IVUS 영상이 입력되면, 상기 입력된 IVUS 영상의 인덱스 벡터를 획득하는 단계; 상기 입력된 IVUS 영상의 인덱스 벡터와 거리차가 작은 샘플 분할 영상을 상기 데이터베이스로부터 추출하여 다중템플릿을 구성하는 단계; 및 상기 다중템플릿으로부터 지역적 특징값을 기반으로 분할 정보를 융합하여, 상기 입력된 IVUS 영상의 분할 영상을 얻는 단계를 포함할 수 있다.
일 실시 예에 따른 딥러닝을 이용한 딥러닝을 이용한 혈관 내외경 분할 장치는, IVUS 영상의 특징을 추출하기 위한 컨볼루션 신경망에서 획득된 초기 가중치에 의한 미세 조정을 통해, IVUS 원영상 및 상기 원영상의 샘플 분할 영상을 포함하는 데이터베이스로부터 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 결정하는 기계학습부; 및 상기 기계학습부에서 결정된 가중치를 통해, 입력된 IVUS 영상의 자동 분할 결과를 결정하는 분할 영상 결정부를 포함할 수 있다.
일 측에 있어서, 상기 혈관 영상 분리 장치는, IVUS 영상을 입력받아 상기 분할 영상 결정부에 제공하는 입력부; 및 상기 분할 영상 결정부에서 결정된 자동 분할 결과를 출력하는 출력부를 더 포함할 수 있다.
일 실시 예에 따른 딥러닝을 이용한 영상 내의 혈관 영상 분리 방법은, 딥러닝을 통해 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 결정할 수 있다.
일 실시 예에 따른 딥러닝을 이용한 영상 내의 혈관 영상 분리 방법은, 사전학습을 통해 결정된 초기 가중치로 미세 조정을 함으로써, 한정된 데이터베이스에서 효과적으로 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 획득할 수 있다.
일 실시예에 따른 일 실시 예에 따른 딥러닝을 이용한 영상 내의 혈관 영상 분리 방법 및 장치의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 일 실시예를 예시하는 것이며, 발명의 상세한 설명과 함께 본 발명의 기술적 사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석 되어서는 아니 된다.
도 1은 일 실시 예에 따른, 혈관 영상 분리 장치의 블록도이다.
도 2는 일 실시 예에 따른 IVUS의 입력 영상 및 입력 영상의 자동 분할 결과를 도시하는 도면이다.
도 3은 일 실시 예에 따른 혈관 영상 분리 장치의 구성을 도시하는 블록도이다.
도 4는 일 실시 예에 따른 혈관 영상 분리 방법의 순서도이다.
도 5는 일 실시 예에 따른 가중치 결정 단계에 대한 순서도이다.
도 6은 일 실시 예에 따른 데이터베이스에 입력된 IVUS 원영상 및 샘플 분할 영상의 예시도이다.
도 7은 일 실시 예에 따른 컨볼루션 신경망의 IVUS 영상의 다운 샘플링 과정을 도시하는 도면이다.
도 8은 일 실시 예에 따른 디컨볼루션 신경망을 통한 업 샘플링 과정을 도시하는 도면이다.
도 9는, 일 실시 예에 따른 혈관 영상 분리 방법의 성능을 평가하기 위한 도면이다.
도 10은 일 실시 예에 따른 혈관 영상 분리 방법의 단계를 도시하는 블록도이다.
도 11은 일 실시 예에 따른 혈관 영상 분리 방법의 수행 단계의 개략적으로 도시하는 도면이다.
도 12는 일 실시 예에 따른 혈관 영상 분리 장치를 개략적으로 도시하는 도면이다.
이하, 실시 예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 실시 예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
도 1은 일 실시 예에 따른, 혈관 영상 분리 장치의 블록도이며, 도 2는 일 실시 예에 따른 IVUS의 입력 영상 및 입력 영상의 자동 분할 결과를 도시하는 도면이며, 도 3은 일 실시 예에 따른 혈관 영상 분리 장치의 구성을 도시하는 블록도이다.
도 1을 및 도 2를 참조하면, 혈관 영상 분리 장치(120)는, 입력된 IVUS(Intra-Vascular Ultrasound;) 영상의 자동 분할 결과를 결정할 수 있다. 혈관 영상 분리 장치(120)는, 입력부(110)를 통해 IVUS 영상(210)을 입력받고, 입력된 IVUS영상의 자동 분할 결과(220)를 출력부(130)를 통해 출력할 수 있다. 혈관 영상 분리는 혈관 영역에 대한 객체 인식(recognition) 과정을 통해 수행될 수 있다. 객체 인식은, 임의의 영상 내에서 객체로 인식된 영역을 기 설정된 복수의 분류(class) 중 하나로 인식하는 것을 의미할 수 있다. 객체란 영상 내의 특정한 물체를 의미할 수 있다. 예를 들어, IVUS 영상 내의 혈관의 외경 및 내경이 객체의 대상이 될 수 있다.
IVUS 영상에서의 혈관 영역 인식 과정은, 학습(learning)을 통해 수행될 수 있다. 학습에 의하여 혈관 영역을 인식하는 과정은, 특정 벡터를 포함하는 학습 집합을 이용하여 분류기를 학습시킨 후, 특정 벡터를 포함하는 IVUS 영상을 학습이 완료된 분류기에 입력하면 분류기는 객체로 인식된 영역을 기설정된 복수의 집단 중 어디에 속하는지 판단하여 해당 집단을 출력할 수 있다.
혈관 영상 분리 장치(120)의 학습은, 데이터 베이스(140)를 통해 수행될 수 있다. 데이터 베이스(140)는, IVUS 원영상과, IVUS 원영상에서 혈관 영역을 수작업으로 분할한 샘플 분할 영상을 포함하여 구축될 수 있다.
혈관 영상 분리 장치(120)는, 신경망(network)을 이용할 수 있다. 신경망을 이용하는 경우에, 혈관 영상 분리 장치(1)는, 데이터베이스(140)의 정보를 기반으로 자기 학습이 가능하고, 정보를 일반화하여 병렬 처리를 할 수 있다. 신경망은 객체 인식, 예측, 평가, 합성 및 제어에 사용될 수 있다.
혈관 영상 분리에 사용되는 신경망은, 영상에서의 객체 인식과 더불어 객체의 위치정보를 고려하는 FCN(fully convolutional Netwrok)기법일 수 있다. FCN 기법은, 입력 영상의 특징 추출에 따른 다운샘플링에서 발생하는 fully connected layer를 fully convolutional layer로 변환함으로써 영상에서의 위치 정보 소실을 방지할 수 있다.
도 3을 참조하면, 혈관 영상 분리 장치(120)는 딥러닝(deep-learning)을 통해 IVUS영상에서 혈관 영역의 인식 과정을 수행하는 기계학습부(310)와, 기계학습부(310)에서 수행된 혈관 인식 과정을 통해 입력된 IVUS 영상(210)으로부터 혈관 영역을 분리한 자동 분할 결과(220)를 결정하는 분할 영상 결정부(320)를 포함할 수 있다. 자동 분할 결과(220)는 예를 들어, 혈관의 외경(221) 및 내경(222)을 분리할 수 있다.
기계학습부(310)는, 컨볼루션 신경망(convolution network, 312), 디컨볼루션 신경망(deconvolution network, 313) 및 가중치 결정부(311)를 포함할 수 있다.
컨볼루션 신경망(312)은 데이터베이스(140)에 입력된 IVUS 원영상 및 샘플 분할 영상으로부터 IVUS 원영상의 이미지 특징 벡터를 결정할 수 있다. 컨볼루션 신경망(312)은 IVUS 원영상에 대한 컨볼루션을 수행하여 적어도 하나 이상의 특징 맵을 추출하기 위한 복수의 컨볼루션 층(convolution layer) 및 복수의 컨볼루션 층 사이에서 특징 맵을 다운샘플링(downsampling) 하기 위한 풀링 층(pooling layer)을 포함할 수 있다. 예를 들어, 풀링 층은 맥스 풀링 층(max pooling layer)일 수 있다.
디컨볼루션 신경망(313)은 컨볼루션 신경망(312)에서 결정된 이미지 특징 벡터를 이용하여 IVUS 원영상에 대한 결정 분할 영상을 획득할 수 있다. 디컨볼루션 신경망(313)은 디컨볼루션을 수행하여 적어도 하나 이상의 중간(intermediate) 분할 맵을 생성하기 위한 복수의 디컨볼루션 층(deconvolution layer) 및 디컨볼루션 층 사이에서 중간 분할 맵을 업샘플링(upsampling)하기 위한 복수의 언풀링 층(unspooling layer)을 포함할 수 있다. 예를 들어, 업풀링 층은 맥스 풀링 층에 대응될 수 있다.
컨볼루션 신경망(312)은 IVUS 영상의 특징 추출을 수행하여, 특징 추출과정에서 결정된 초기 가중치를 획득할 수 있다. 예를 들어, IVUS 영상의 특징 추출은 비지도학습(unsupervised-learning)을 기반으로 뉴럴 네트워크(neural network)의 사전훈련(pre-training)을 통해 수행될 수 있다. 뉴럴 네트워크는, 예를 들어, VGG16 네트워크일 수 있다. 비지도학습을 통한 초기 가중치 추출과정은, 대량의 영상데이터를 요구하기 때문에, imageNet과 같은 대량의 영상 데이터에 구비된 IVUS 영상를 통해 수행될 수 있다.
컨볼루션 신경망(312) 및 디컨볼루션 신경망(313)의 가중치(weight)는 초기 가중치를 통한 미세 조정(fine-tuning)을 통해, 데이터베이스(140)를 기반으로 재 결정될 수 있다.
다시 말하면, 기계학습부(310)는, 데이터베이스(140)에 입력된 IVUS 원영상 및 샘플 분할 영상을 통해 지도 학습(supervised-learning)을 수행하면서, 사전훈련을 통해 획득한 컨볼루션 신경망(312)의 초기 가중치를 재활용함으로써, 데이터베이스를 통한 지도 학습에서의 학습 효율을 증가시킬 수 있다. 즉, 지도 학습에는 많은 량의 영상 데이터가 요구되기 때문에, 사전훈련을 통해 획득한 초기 가중치를 사용하여, 제한된 IVUS영상을 포함하는 데이터베이스(140)로부터 효과적으로 컨볼루션 신경망(312) 및 디컨볼루션 신경망(313)의 가중치를 획득할 수 있다.
디컨볼루션 신경망(313)은 데이터베이스(140)의 IVUS 원영상의 결정 분할 영상을 획득할 수 있다. 디컨볼루션 신경망(313)은, 초기에는 컨볼루션 신경망(312)의 초기 가중치를 통하여 결정 분할 영상을 획득하고, 가중치의 변경에 따라 변경된 결정 분할 영상을 획득할 수 있다.
가중치 결정부(311)는 IVUS 원영상의 샘플 분할 영상 및 디컨볼루션 신경망(313)에서 결정된 결정 분할 영상을 이용하여, 컨볼루션 신경망(312)의 가중치 및 디컨볼루션 신경망(313)의 가중치를 결정할 수 있다. 예를 들어, 가중치 결정부(311)는, 디컨볼루션 신경망(313)에서 획득한 결정 분할 영상과, 동일한 IVUS 원영상에 대한 샘플 분할 영상을 비교하고, 결정 분할 영상 및 샘플 분할 영상의 차이가 최소화되도록, 컨볼루션 신경망(312) 및 디컨볼루션 신경망(313)의 가중치를 조절할 수 있다. 예를 들어, 가중치 결정부(311)는 내리막 경사법(gradient descent)을 이용하여 컨볼루션 신경망(312) 및 디컨볼루션 신경망(313)의 가중치를 결정할 수 있다. 또한, 가중치 결정부(311)는 나쁜 국소 최적해(poor local optimum)를 방지하기 위해 배치 정규화법(batch normalization)을 이용할 수도 있다.
분할 영상 결정부(320)는, 기계학습부(310)에서 결정된 컨볼루션 신경망(312) 및 디컨볼루션 신경망(313)의 가중치를 통해, 입력된 IVUS 영상(210)의 자동 분할 결과(220)를 결정할 수 있다. IVUS 영상 분할에 대한 학습이 완료되면, 컨볼루션 신경망(312) 및 디컨볼루션 신경망(313)의 가중치가 결정될 수 있다.
컨볼루션 신경망(312)은 IVUS영상에 컨볼루션을 수행하여 적어도 하나 이상의 특징 맵을 생성하기 위한 복수의 컨볼루션 층과 복수의 컨볼루션 층 사이에서 특징 맵을 다운샘플링 하기 위한 풀링 층을 포함할 수 있다. 풀링 층은 복수의 컨볼루션 층 사이에서 특징 맵을 다운샘플링할 수 있다. 다운샘플링을 통해 IVUS 영상의 이동, 회전, 크기 변화등에 대한 불변성을 확보할 수 있다. 결과적으로, 풀링 층은 다운샘플링을 통해 IVUS 영상의 크기가 줄어든 출력 영상을 생성할 수 있다.
디컨볼루션 신경망(313)은 입력영상에 대한 디컨볼루션을 수행하여 적어도 하나 이상의 중간 맵을 생성하기 위한 복수의 디컨볼루션 층과 복수의 디컨볼루션 층 사이에서 중간 맵을 업샘플링 하기 위한 언풀링 층을 포함할 수 있다. 언풀링 층은 복수의 디컨볼루션 층 사이에서 중간 맵을 업샘플링 할 수 있다. 결과적으로, 언풀링 층은 업샘플링을 통해 IVUS 원영상에 대응하는 크기를 가지는 출력 영상을 생성할 수 있다.
분할 영상 결정부(320)는, 컨볼루션 신경망(312)의 가중치 및 디컨볼루션 신경망(313)의 가중치가 결정되었기 때문에, 입력된 IVUS 영상(210)에 대하여 전방 계산 한번으로 자동 분할 결과(220)를 생성할 수 있다.
이하, 일 실시 예에 따른 혈관 영상 분리 방법에 대하여 설명하도록 한다. 혈관 영상 분리 방법을 설명함에 있어서, 앞서 설명한 기재와 중복되는 내용은 생략하도록 한다.
도 4는 일 실시 예에 따른 혈관 영상 분리 방법의 순서도이고, 도 5는 일 실시 예에 따른 가중치 결정 단계에 대한 순서도이며, 도 6은 일 실시 예에 따른 데이터베이스에 입력된 IVUS 원영상 및 샘플 분할 영상의 예시도이고, 도 7은 일 실시 예에 따른 컨볼루션 신경망의 IVUS 영상의 다운 샘플링 과정을 도시하는 도면이며, 도 8은 일 실시 예에 따른 디컨볼루션 신경망을 통한 업 샘플링 과정을 도시하는 도면이다.
도 4 내지 도 8을 참조하면, 혈관 영상 분리 방법은, 딥러닝을 통해 IVUS 영상으로부터 혈관영역을 인식함으로써, IVUS 영상으로부터 혈관영역을 분리한 자동 분할 결과를 획득할 수 있다. 혈관 영상 분리 방법은 뉴럴 네트워크를 통해 수행될 수 있다. 이 경우, 뉴럴 네트워크는 영상에서의 객체 인식과 더불어 객체의 위치정보를 고려하는 FCN(fully convolutional Netwrok)기법일 수 있다. FCN 기법은, 입력 영상의 특징 추출에 따른 다운샘플링에서 발생하는 fully connected layer를 fully convolutional layer로 변환함으로써 영상에서의 위치 정보 소실을 방지할 수 있다.
혈관 영상 분리 방법은, 데이터베이스를 구축하는 단계(410), 컨볼루션 신경망의 초기 가중치를 획득하는 단계(420), 미세 조정을 통해, 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 결정하는 단계(430) 및 입력된 IVUS 영상의 자동 분할 결과를 획득하는 단계(440)를 포함할 수 있다.
단계 410은, IVUS 원영상(610) 및 원영상에 대한 샘플 분할 영상(620)을 통해 데이터베이스를 구축할 수 있다. 샘플 분할 영상(620)은 원영상(610)에서 혈관의 내경 및 외경에 대한 혈관영역을 수작업으로 분할하여 생성될 수 있다. 샘플 분할 영상(520)의 생성과정은 수동의 영상처리 작업을 통해 수행될 수 있다. 그러나, 데이터베이스의 구축 방법이 이에 제한되는 것은 아니다.
단계 420은, IVUS 영상의 특징을 추출하기 위한 컨볼루션 신경망의 초기 가중치를 획득할 수 있다. 초기 가중치는, 비지도 학습을 기반으로 하는 뉴럴 네트워크의 사전훈련을 통해 획득될 수 있다. 사전훈련은 imageNet과 같은 대량의 영상 데이터에 구비된 IVUS영상을 통해 수행될 수 있다. 사전훈련을 통해, 컨볼루션 신경망은 IVUS영상의 특징을 추출하기 위한 다운샘플링 과정의 초기 가중치를 획득할 수 있다.
단계 430은, 획득한 초기 가중치를 통해 미세 조정을 통해, 구축된 데이터베이스를 기반의 지도학습을 수행할 수 있다. 다시 말하면, 데이터베이스에 구비된 IVUS 원영상 및 샘플 분할 영상을 통해 지도학습을 수행하여, 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 결정하는 과정에서, 단계 420에서 획득한 초기 가중치를 초기값으로 설정함으로써, 가중치 결정과정의 효율성을 높일 수 있다.
단계 430은, IVUS 원영상의 결정 분할 영상을 획득하는 단계(510), 결정 분할 영상 및 샘플 분할 영상을 비교하는 단계(520) 및, 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 조절하는 단계(530)를 포함할 수 있다.
단계 510은, 디컨볼루션 신경망으로부터 IVUS 원영상의 결정 분할 영상을 획득할 수 있다. 이 경우, 디컨볼루션 신경망의 가중치의 초기값은 단계 420에서 획득한 초기 가중치를 통해 설정될 수 있다. 디컨볼루션 신경망의 가중치 변경에 따라 결정 분할 영상이 변경될 수 있다.
단계 520은, IVUS 원영상에 대한 결정 분할 영상 및 샘플 분할 영상을 비교함으로써, 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치의 적합여부를 판별할 수 있다.
단계 530은, 결정 분할 영상 및 샘플 분할 영상의 차이를 최소화하도록, 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 조절할 수 있다. 예를 들어, 내리막 경사법(gradient descent)을 이용하여 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 조절할 수 있다. 또한, 가중치 조절은 나쁜 국소 최적해(poor local optimum)를 방지하기 위해 배치 정규화법(batch normalization)을 통해 수행될 수도 있다.
단계 440은 결정된 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 통해, 입력된 IVUS 영상의 자동 분할 결과를 획득할 수 있다. 이 경우, IVUS 영상 분할에 대한 학습이 완료되면, 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치가 결정되었기에, 입력된 IVUS영상에 대하여 전방 계산 한번으로 자동 분할 결과를 생성할 수 있다.
도 9는, 일 실시 예에 따른 혈관 영상 분리 방법의 성능을 평가하기 위한 도면이다.
혈관 영상 분리 방법은, 결정된 가중치를 통해, 입력된 IVUS 영상의 자동 분할 결과를 획득하고, 획득한 자동 분할 결과를 IVUS 영상의 수동 분할 영상과 비교하여 유사도를 판단하는 단계를 더 포함할 수 있다.
참고적으로, 도 9에서 좌측은 IVUS의 원영상(910), 가운데는 수동 분할 영상(920), 우측은 자동 분할 결과(930)에 해당한다. 일 실시 예에 따른 혈관 영상 분리 방법을 통해 획득한 자동 분할 결과(930)는, 수동 분할 영상(920)과 비교하여 DSC(dice similarity coefficient)값이 90% 이상 일치하는 것을 확인할 수 있었다.
Figure pat00001
수동 분할 영상(920) 및 자동 분할 결과(930)의 유사도를 판단하는 단계에서는, 도 9와 같이, 성능평가용 IVUS영상을 통해 자동 분할 결과(930)의 정확도를 판단하고, 자동 분할 결과(930)가 수동 분할 영상(920)과 차이가 있는 경우에는, 입력된 IVUS 원영상(910)을 전처리 함으로써, 자동 분할 결과(930)의 정확도를 향상시킬 수 있다.
도 10은 일 실시 예에 따른 혈관 영상 분리 방법의 단계를 도시하는 블록도이고, 도 11은 일 실시 예에 따른 혈관 영상 분리 방법의 수행 단계의 개략적으로 도시하는 도면이며, 도 12는 일 실시 예에 따른 혈관 영상 분리 장치를 개략적으로 도시하는 도면이다.
도 10 내지 도 12를 참조하면, 일 실시 예에 따른 혈관 영상 분리 방법은 IVUS 영상이 입력되면, 뉴럴 네트워크를 통해 인덱스 벡트를 결정하고, 데이터베이스에서 이와 유사한 샘플 분할 영상을 추출하여, 다중템플릿을 구성하고, 지역적 특징값을 기반으로 분할 정보를 융합하여 IVUS 영상의 분할 영상을 얻을 수 있다.
혈관 영상 분리 방법은, 데이터베이스 구축단계(S10), 유사 증례 탐색 단계(S20), 다중 템플릿 구성 단계(S30) 및 분할 정보 융합 단계(S40)를 포함할 수 있다.
단계 S10에서는, IVUS영상의 데이터 베이스가 구축될 수 있다. 데이터베이스는 IVUS 영상에서 혈관영역을 수작업으로 분할한 샘플 분할 영상을 통해 구축될 수 있다. 이 경우, DBN (Deep Belief Network)를 통해 데이터베이스에 구축된 샘플 분할 영상을 압축적으로 표현하는 인덱스벡터가 결정될 수 있다.
단계 S20에서는 분할하고자 하는 IVUS 영상이 입력되면, 딥 러닝을 이용하여 유사증례를 탐색할 수 있다. 이 경우, 입력된 IVUS 영상을 압축적으로 표현하는 인덱스벡터가 획득될 수 있다. 인덱스벡터는 예를 들어, 뉴럴 네트워크를 통하여 결정될 수 있다.
단계 S30에서는, 영상정합을 통해 다중탬플릿을 구성할 수 있다. 예를 들어, 입력된 IVUS 영상의 인덱스벡터와 거리차가 작은 인덱스벡터를 가지는 샘플 분할 영상을 데이터베이스로부터 추출하여 다중템플릿을 구성할 수 있다. 다시 말하면, 인덱스벡터를 사용하여 분할하고자 하는 IVUS 영상과 유사한 소수의 샘플 분할 영상을 획득할 수 있다.
단계 S40에서는 다중템플릿에서 지역적 특징값을 기반으로 분할 정보를 융합하여, 입력된 IVUS 영상의 분할 영상을 얻을 수 있다. 다중템플릿 기반의 영상분할기법은 신호대비잡음비(Signal-toNoise Ratio; SNR)이 낮은 영상에도 적용 가능하다는 장점이 있으나, 유사한 영상데이터를 찾는데 영상정합기법을 사용함으로써 느리다는 단점이 있다.
다중템플릿 기반 기법은 대부분의 수행시간을 이러한 유사증례검색 (content-based image retrieval; CBIR)에 소요한다. 따라서, 데이터베이스의 크기가 커질수록 이러한 소요시간은 비례해서 증가하게 된다.
반면, 일 실시 예에 따른 딥러닝을 이용한 영상 내의 혈관 영상 분리 방법은, 뉴럴 네트워크를 기반으로 하는 딥러닝을 통해 유사 증례를 추출함으로써, 수행이 빠르다는 장점이 있다.
이상 설명한, 일 실시 예에 따른 혈관 영상 분리 방법은, 딥러닝을 통해 IVUS영상의 혈관 영역의 분리를 학습하고, 이를 통해 IVUS 영상에 대한 자동 분할 결과를 획득함으로써, IVUS 영상에서 혈관 영역을 수동 분할하는데 소요되는 시간과 노력을 절감할 수 있다. 또한, 결정된 가중치를 통해 IVUS 데이터의 자동 분할 결과를 전처리 함으로써, 동맥경화질환의 정량적 분석의 효율을 도모할 수 있다.
이상과 같이 비록 한정된 도면에 의해 실시 예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 구조, 장치 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시 예들 및 청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
120: 혈관 영상 분리 장치
140: 데이터베이스
210: 입력된 IVUS 영상
220: 자동 분할 결과
310: 기계학습부
320: 분할 영상 결정부

Claims (10)

  1. IVUS 원영상 및 상기 원영상의 샘플 분할 영상을 포함하는 데이터베이스를 구축하는 단계;
    IVUS 영상의 특징을 추출하기 위한 컨볼루션 신경망의 초기 가중치를 획득하는 단계;
    상기 초기 가중치를 통한 미세 조정(fine-tuning)을 통해, 상기 데이터베이스를 기반으로 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 결정하는 단계; 및
    상기 결정된 컨볼루션 신경망의 가중치 및 디컨볼루션 신경망의 가중치를 이용하여, 입력된 IVUS 영상의 자동 분할 결과을 획득하는 단계를 포함하는, 딥러닝을 이용한 혈관 내외경 분할 방법.
  2. 제1항에 있어서,
    상기 데이터베이스를 구축하는 단계는,
    상기 원영상에서 혈관영역(혈관의 내외경)을 수작업으로 분할하여 샘플 분할 영상을 생성하는 단계를 포함하는, 딥러닝을 이용한 영상 내의 혈관 영상 분리 방법.
  3. 제1항에 있어서,
    상기 초기 가중치를 획득하는 단계는,
    비지도학습을 기반으로 뉴럴 네트워크의 사전훈련(pre-training)을 수행하여, 상기 초기 가중치를 획득하는, 딥러닝을 이용한 혈관 내외경 분할 방법.
  4. 제1항에 있어서,
    상기 가중치를 결정하는 단계는,
    상기 초기 가중치를 이용하여, 상기 디컨볼루션 신경망으로부터 상기 원영상의 결정 분할 영상을 획득하는 단계; 및
    상기 결정 분할 영상 및 상기 샘플 분할 영상을 통해, 상기 컨볼루션 신경망 및 상기 디컨볼루션 신경망의 가중치를 획득하는 단계를 포함하는, 딥러닝을 이용한 혈관 내외경 분할 방법.
  5. 제5항에 있어서,
    상기 가중치를 획득하는 단계는,
    상기 결정 분할 영상 및 상기 샘플 분할 영상을 비교하는 단계; 및
    상기 결정 분할 영상 및 상기 샘플 분할 영상의 차이를 최소화하도록, 상기 컨볼루션 신경망 및 상기 디컨볼루션 신경망의 가중치를 조절하는 단계를 포함하는, 딥러닝을 이용한 혈관 내외경 분할 방법.
  6. 제1항에 있어서,
    상기 결정된 가중치를 통해, 입력된 IVUS 영상의 자동 분할 결과를 획득하고,
    상기 획득된 자동 분할 결과를 상기 IVUS 영상의 수동 분할과 비교하여 유사도를 판단하는 단계를 더 포함하는, 딥러닝을 이용한 혈관 내외경 분할 방법.
  7. 제1항에 있어서,
    상기 가중치를 결정하는 단계는,
    영상의 위치 정보를 고려하는 FCN(fully convolutional network) 모델을 통해 수행되는, 딥러닝을 이용한 혈관 내외경 분할 방법.
  8. IVUS 영상에서 혈관영역을 수작업으로 분할한 샘플 분할 영상을 포함하는 데이터베이스로부터, DBN (Deep Belief Network) 를 통해 상기 영상을 압축적으로 표현하는 인덱스 벡터를 결정하는 단계;
    분할하고자 하는 IVUS 영상이 입력되면, 상기 입력된 IVUS 영상의 인덱스 벡터를 획득하는 단계;
    상기 입력된 IVUS 영상의 인덱스 벡터와 거리차가 작은 샘플 분할 영상을 상기 데이터베이스로부터 추출하여 다중템플릿을 구성하는 단계;
    상기 다중템플릿으로부터 지역적 특징값을 기반으로 분할 정보를 융합하여, 상기 입력된 IVUS 영상의 분할 영상을 얻는 단계를 포함하는, 딥러닝을 이용한 혈관 내외경 분할 방법.
  9. IVUS 영상의 특징을 추출하기 위한 컨볼루션 신경망에서 획득된 초기 가중치에 의한 미세 조정을 통해, IVUS 원영상 및 상기 원영상의 샘플 분할 영상을 포함하는 데이터베이스로부터 컨볼루션 신경망 및 디컨볼루션 신경망의 가중치를 결정하는 기계학습부;
    상기 기계학습부에서 결정된 가중치를 통해, 입력된 IVUS 영상의 자동 분할 결과를 결정하는 분할 영상 결정부를 포함하는, 딥러닝을 이용한 영상 내의 혈관 영상 분리 장치.
  10. 제9항에 있어서,
    IVUS 영상을 입력받아 상기 분할 영상 결정부에 제공하는 입력부; 및
    상기 분할 영상 결정부에서 결정된 자동 분할 결과를 출력하는 출력부를 더 포함하는, 딥러닝을 이용한 혈관 내외경 분할 장치.
KR1020170037755A 2016-03-24 2017-03-24 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치 Expired - Fee Related KR101937018B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160035423 2016-03-24
KR1020160035423 2016-03-24

Publications (2)

Publication Number Publication Date
KR20170113251A true KR20170113251A (ko) 2017-10-12
KR101937018B1 KR101937018B1 (ko) 2019-01-09

Family

ID=60141222

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170037755A Expired - Fee Related KR101937018B1 (ko) 2016-03-24 2017-03-24 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101937018B1 (ko)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107909585A (zh) * 2017-11-14 2018-04-13 华南理工大学 一种血管内超声影像的血管中内膜分割方法
CN109472791A (zh) * 2018-10-31 2019-03-15 深圳大学 超声图像分割方法和计算机设备
CN109584223A (zh) * 2018-11-20 2019-04-05 北京中科研究院 Ct图像中肺部血管分割方法
WO2019074339A1 (ko) * 2017-10-15 2019-04-18 알레시오 주식회사 신호 변환 시스템 및 신호 변환 방법
KR20190042429A (ko) * 2017-10-15 2019-04-24 알레시오 주식회사 이미지 처리 방법
KR20190053807A (ko) * 2017-11-10 2019-05-20 지멘스 메디컬 솔루션즈 유에스에이, 인크. 초음파 이미징에서의 기계-보조 작업흐름
KR20190067680A (ko) * 2017-12-07 2019-06-17 한양대학교 산학협력단 심층 학습을 이용하는 의미적 영상 분할 방법
WO2019125026A1 (ko) * 2017-12-20 2019-06-27 주식회사 메디웨일 심혈관 질병 진단 보조 방법 및 장치
KR20190095901A (ko) * 2018-02-07 2019-08-16 울산과학기술원 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치
KR102025113B1 (ko) * 2018-08-27 2019-09-25 영남대학교 산학협력단 LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치
CN110297483A (zh) * 2018-03-21 2019-10-01 广州极飞科技有限公司 待作业区域边界获取方法、装置，作业航线规划方法
KR20190115713A (ko) 2018-04-03 2019-10-14 고려대학교 산학협력단 다기능 신경망을 활용한 혈관탐지 및 망막부종진단 장치 및 그 방법
CN110490843A (zh) * 2019-07-23 2019-11-22 苏州国科视清医疗科技有限公司 一种眼底图像血管分割方法
KR20200022640A (ko) * 2018-08-23 2020-03-04 버스킹티비 주식회사 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법
CN111091573A (zh) * 2019-12-20 2020-05-01 广州柏视医疗科技有限公司 基于深度学习的ct影像肺血管的分割方法及系统
CN111354005A (zh) * 2020-02-28 2020-06-30 浙江德尚韵兴医疗科技有限公司 基于卷积神经网络的全自动胎儿心超影像三血管分割方法
CN112132850A (zh) * 2020-09-18 2020-12-25 中山大学 一种基于模态学习的血管边界检测方法、系统及装置
WO2021062006A1 (en) * 2019-09-26 2021-04-01 Boston Scientific Scimed, Inc. Intravascular ultrasound imaging and calcium detection methods
CN113066091A (zh) * 2021-03-29 2021-07-02 昆明同心医联科技有限公司 基于黑血管壁曲面重建的脑血管分割方法、装置及存储介质
KR102304339B1 (ko) * 2020-11-27 2021-09-23 두에이아이(주) 인공 신경망을 활용하여 혈관 초음파 영상에 대한 분석 정보를 제공하기 위한 방법 및 컴퓨팅 장치
US11164313B2 (en) 2017-12-20 2021-11-02 Medi Whale Inc. Method and device for assisting heart disease diagnosis
US20220061802A1 (en) * 2019-01-15 2022-03-03 Koninklijke Philips N.V. Systems and methods for identifying features sensed by a vascular device
CN114897911A (zh) * 2022-04-12 2022-08-12 五邑大学 一种视网膜血管分割方法、装置、电子设备及存储介质
US11610309B2 (en) 2020-02-10 2023-03-21 Medipixel, Inc. Method and device for extracting major vessel region on basis of vessel image
CN116091519A (zh) * 2022-12-20 2023-05-09 苏州大学 一种脉络膜新生血管生长预测方法、装置及存储介质
CN116266355A (zh) * 2021-12-15 2023-06-20 佳能医疗系统株式会社 管状结构的图像分割分类装置、方法及记录介质
KR20230104083A (ko) * 2018-12-06 2023-07-07 주식회사 메디웨일 안구 이미지 기반의 진단 보조 이미지 제공 장치
CN117036771A (zh) * 2023-06-25 2023-11-10 常州大学 一种基于全卷积神经网络的示功图特征提取方法及系统
US12150810B2 (en) 2021-08-17 2024-11-26 Boston Scientific Scimed, Inc. Intravascular imaging system with automated calcium analysis and treatment guidance
US12254985B2 (en) 2017-12-20 2025-03-18 Medi Whale Inc. Diagnosis assistance method and cardiovascular disease diagnosis assistance method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210017195A (ko) 2019-08-07 2021-02-17 우이준 딥러닝 기반 뇌파신호를 이용한 특정 산업분야 동향정보 예측 시스템 및 그 운용방법
KR102375776B1 (ko) 2020-02-10 2022-03-21 주식회사 메디픽셀 혈관 영상으로부터 혈관 영역 및 의료도구 선단부 영역을 구분하여 추출하는 방법 및 장치
KR102399510B1 (ko) 2020-06-02 2022-05-19 주식회사 메디픽셀 사용자 입력에 기초하여 혈관 영상을 처리하는 방법 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110015058A (ko) * 2009-08-07 2011-02-15 주식회사 메디슨 혈관 세그먼테이션을 수행하는 초음파 시스템 및 방법
JP4733107B2 (ja) * 2004-03-04 2011-07-27 ザ クリーブランド クリニック ファウンデーション 血管の境界検出システムおよび方法
KR20130093861A (ko) * 2012-02-15 2013-08-23 계명대학교 산학협력단 비모수적 확률 모델과 스무딩 함수를 이용한 혈관 내 초음파 영상에서 내강 경계면 자동 분할 방법
KR20160012537A (ko) * 2014-07-24 2016-02-03 삼성전자주식회사 신경망 학습 방법 및 장치, 데이터 처리 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4733107B2 (ja) * 2004-03-04 2011-07-27 ザ クリーブランド クリニック ファウンデーション 血管の境界検出システムおよび方法
KR20110015058A (ko) * 2009-08-07 2011-02-15 주식회사 메디슨 혈관 세그먼테이션을 수행하는 초음파 시스템 및 방법
KR20130093861A (ko) * 2012-02-15 2013-08-23 계명대학교 산학협력단 비모수적 확률 모델과 스무딩 함수를 이용한 혈관 내 초음파 영상에서 내강 경계면 자동 분할 방법
KR20160012537A (ko) * 2014-07-24 2016-02-03 삼성전자주식회사 신경망 학습 방법 및 장치, 데이터 처리 장치

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11694083B2 (en) 2017-10-15 2023-07-04 Alethio Co. Signal translation system and signal translation method
WO2019074339A1 (ko) * 2017-10-15 2019-04-18 알레시오 주식회사 신호 변환 시스템 및 신호 변환 방법
KR20190042429A (ko) * 2017-10-15 2019-04-24 알레시오 주식회사 이미지 처리 방법
KR20190042455A (ko) * 2017-10-15 2019-04-24 알레시오 주식회사 신호 변환 시스템 및 신호 변환 방법
KR20190053807A (ko) * 2017-11-10 2019-05-20 지멘스 메디컬 솔루션즈 유에스에이, 인크. 초음파 이미징에서의 기계-보조 작업흐름
CN107909585A (zh) * 2017-11-14 2018-04-13 华南理工大学 一种血管内超声影像的血管中内膜分割方法
CN107909585B (zh) * 2017-11-14 2020-02-18 华南理工大学 一种血管内超声影像的血管中内膜分割方法
KR20190067680A (ko) * 2017-12-07 2019-06-17 한양대학교 산학협력단 심층 학습을 이용하는 의미적 영상 분할 방법
WO2019125026A1 (ko) * 2017-12-20 2019-06-27 주식회사 메디웨일 심혈관 질병 진단 보조 방법 및 장치
US11869184B2 (en) 2017-12-20 2024-01-09 Medi Whale Inc. Method and device for assisting heart disease diagnosis
US12254985B2 (en) 2017-12-20 2025-03-18 Medi Whale Inc. Diagnosis assistance method and cardiovascular disease diagnosis assistance method
US12482100B2 (en) 2017-12-20 2025-11-25 Medi Whale Inc. Method and device for assisting heart disease diagnosis
US11164313B2 (en) 2017-12-20 2021-11-02 Medi Whale Inc. Method and device for assisting heart disease diagnosis
KR20190095901A (ko) * 2018-02-07 2019-08-16 울산과학기술원 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치
CN110297483B (zh) * 2018-03-21 2020-12-18 广州极飞科技有限公司 待作业区域边界获取方法、装置，作业航线规划方法
CN110297483A (zh) * 2018-03-21 2019-10-01 广州极飞科技有限公司 待作业区域边界获取方法、装置，作业航线规划方法
KR20190115713A (ko) 2018-04-03 2019-10-14 고려대학교 산학협력단 다기능 신경망을 활용한 혈관탐지 및 망막부종진단 장치 및 그 방법
KR20200022640A (ko) * 2018-08-23 2020-03-04 버스킹티비 주식회사 고화질 카메라를 이용한 분할영상 선택 시스템 및 그 방법
KR102025113B1 (ko) * 2018-08-27 2019-09-25 영남대학교 산학협력단 LiDAR를 이용한 이미지 생성 방법 및 이를 위한 장치
WO2020045767A1 (ko) * 2018-08-27 2020-03-05 영남대학교 산학협력단 Lidar를 이용한 이미지 생성 방법 및 이를 위한 장치
US11609332B2 (en) 2018-08-27 2023-03-21 Research Cooperation Foundation Of Yeungnam University Method and apparatus for generating image using LiDAR
CN109472791B (zh) * 2018-10-31 2020-10-27 深圳大学 超声图像分割方法和计算机设备
CN109472791A (zh) * 2018-10-31 2019-03-15 深圳大学 超声图像分割方法和计算机设备
CN109584223A (zh) * 2018-11-20 2019-04-05 北京中科研究院 Ct图像中肺部血管分割方法
KR20230104083A (ko) * 2018-12-06 2023-07-07 주식회사 메디웨일 안구 이미지 기반의 진단 보조 이미지 제공 장치
US20220061802A1 (en) * 2019-01-15 2022-03-03 Koninklijke Philips N.V. Systems and methods for identifying features sensed by a vascular device
CN110490843A (zh) * 2019-07-23 2019-11-22 苏州国科视清医疗科技有限公司 一种眼底图像血管分割方法
CN114727802B (zh) * 2019-09-26 2026-01-06 波士顿科学国际有限公司 血管内超声成像和钙检测方法
CN114727802A (zh) * 2019-09-26 2022-07-08 波士顿科学国际有限公司 血管内超声成像和钙检测方法
WO2021062006A1 (en) * 2019-09-26 2021-04-01 Boston Scientific Scimed, Inc. Intravascular ultrasound imaging and calcium detection methods
CN111091573A (zh) * 2019-12-20 2020-05-01 广州柏视医疗科技有限公司 基于深度学习的ct影像肺血管的分割方法及系统
CN111091573B (zh) * 2019-12-20 2021-07-20 广州柏视医疗科技有限公司 基于深度学习的ct影像肺血管的分割方法及系统
US11610309B2 (en) 2020-02-10 2023-03-21 Medipixel, Inc. Method and device for extracting major vessel region on basis of vessel image
CN111354005A (zh) * 2020-02-28 2020-06-30 浙江德尚韵兴医疗科技有限公司 基于卷积神经网络的全自动胎儿心超影像三血管分割方法
CN112132850B (zh) * 2020-09-18 2023-09-29 中山大学 一种基于模态学习的血管边界检测方法、系统及装置
CN112132850A (zh) * 2020-09-18 2020-12-25 中山大学 一种基于模态学习的血管边界检测方法、系统及装置
KR102304339B1 (ko) * 2020-11-27 2021-09-23 두에이아이(주) 인공 신경망을 활용하여 혈관 초음파 영상에 대한 분석 정보를 제공하기 위한 방법 및 컴퓨팅 장치
CN113066091A (zh) * 2021-03-29 2021-07-02 昆明同心医联科技有限公司 基于黑血管壁曲面重建的脑血管分割方法、装置及存储介质
US12150810B2 (en) 2021-08-17 2024-11-26 Boston Scientific Scimed, Inc. Intravascular imaging system with automated calcium analysis and treatment guidance
CN116266355A (zh) * 2021-12-15 2023-06-20 佳能医疗系统株式会社 管状结构的图像分割分类装置、方法及记录介质
CN114897911A (zh) * 2022-04-12 2022-08-12 五邑大学 一种视网膜血管分割方法、装置、电子设备及存储介质
CN116091519A (zh) * 2022-12-20 2023-05-09 苏州大学 一种脉络膜新生血管生长预测方法、装置及存储介质
CN117036771A (zh) * 2023-06-25 2023-11-10 常州大学 一种基于全卷积神经网络的示功图特征提取方法及系统

Also Published As

Publication number Publication date
KR101937018B1 (ko) 2019-01-09

Similar Documents

Publication Publication Date Title
KR101937018B1 (ko) 딥러닝을 이용한 혈관내 초음파 영상에서의 혈관내외경 자동 분할 방법 및 장치
CN107016681B (zh) 基于全卷积网络的脑部mri肿瘤分割方法
CN110796199B (zh) 一种图像处理方法、装置以及电子医疗设备
CN113706542A (zh) 基于卷积神经网络及混合损失函数的眼球分割方法及装置
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法
NL2029876A (en) Deep residual network-based classification system for thyroid cancer computed tomography (ct) images
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
CN115170564B (zh) 一种结直肠癌放化疗反应自动预测系统
CN115272242B (zh) 一种基于YOLOv5的光学遥感图像目标检测方法
CN115994558A (zh) 医学影像编码网络的预训练方法、装置、设备及存储介质
CN118982499B (zh) 一种快速定位联合语义解释的半导体缺陷分析方法及系统
CN117635628A (zh) 一种基于上下文注意力和边界感知引导的海陆分割方法
CN119600296B (zh) 基于预训练模型的产品缺陷无监督语义分割方法及装置
CN117274655A (zh) 一种基于交互式双分支特征融合网络的高光谱图像分类方法
CN117634483A (zh) 一种面向中文的多粒度图文跨模态关联方法
CN116012793A (zh) 一种基于双流注意力机制的多模态监控视频目标跟踪方法
CN117764960A (zh) 基于多级特征交互融合的ct图像气胸病灶区域识别方法
CN116129291A (zh) 一种面向无人机畜牧的图像目标识别方法及其装置
CN113269734B (zh) 一种基于元学习特征融合策略的肿瘤图像检测方法及装置
CN118447240A (zh) 一种基于Matcher的医疗影像序列分割方法
CN116797932B (zh) 一种基于关键特征捕获与判别的小样本sar目标识别方法
Rahman et al. BEAU-Net: Boundary and Edge Aware U-Net for Improved Building Segmentation
Sarmah et al. Sattriya double hand mudra recognition using YOLOv5 and RT-DETR: A comparative study
CN121304658B (zh) 基于多模态超声时序数据的病灶识别方法
US12160665B1 (en) Apparatus and methods for slide imaging

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

N231 Notification of change of applicant
PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R11-asn-PN2301

St.27 status event code: A-3-3-R10-R13-asn-PN2301

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

Fee payment year number: 1

St.27 status event code: A-2-2-U10-U11-oth-PR1002

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

St.27 status event code: A-5-5-R10-R13-asn-PN2301

PR1001 Payment of annual fee

Fee payment year number: 4

St.27 status event code: A-4-4-U10-U11-oth-PR1001

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

Fee payment year number: 5

St.27 status event code: A-4-4-U10-U11-oth-PR1001

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

Not in force date: 20240104

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

St.27 status event code: A-4-4-U10-U13-oth-PC1903

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20240104

St.27 status event code: N-4-6-H10-H13-oth-PC1903

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000