KR20200055690A - 인공지능 기반 pwi-dwi 미스매치 병변 추출 및 통합 평가 방법 및 시스템 - Google Patents

Abstract

인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법 및 시스템이 개시된다. 상기의 방법은, 입력되는 의료 영상 중 DWI 영상에서 인공지능 기반 학습을 통해 병변영역을 추출하는 제1 단계와, 의료 영상 중 PWI 영상에 대한 기계학습 및 히스토그램 기반 영역 인식을 통해 병변영역을 추출하는 제2 단계와, 제1 단계 및 제2 단계에서 추출된 신호들에 대하여 인공지능 기반으로 뇌 영역의 기능적 역할을 대변하는 형식 또는 템플릿을 추천하고 추천된 형식 또는 템플릿에 기초하여 기능적 분류, 지역적 분류 및 신호의 특성적 분류를 위한 정규화를 수행하는 제3 단계를 포함한다.

Description

인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법 및 시스템{METHOD AND SYSTEM FOR EXTRACTING AND INTEGRATIN AND EVALUATING LESION USING PWI-DWI MISMATCH BASED ON ARTIFICIAL INTELLIGENCE}

본 발명의 실시예는 PWI(perfusion weighted imaging) 및 DWI(diffusion weighted imaging) 영상 정보를 활용한 인공지능 기반 병변영역 정량화 및 진단 시스템에 관한 것으로, 보다 구체적으로는, PWI 및 DWI 영상 정보를 활용하여 구체적인 병변 영역 및 부피를 예측하고 이에 따른 치료 여부 진단을 수행하는 방법 및 시스템에 관한 것이다.

최근, 의료 영상으로 자기공명영상(magnetic resonance imaging, MRI)이 많이 이용되고 있다. 뇌졸중 병변 영역을 검출하기 위하여, MRI 영상 중 뇌의 혈류를 보여주는 관류 강조 영상(perfusion-weighted imaging, PWI)과 물 분자의 확산을 보여주는 확산 강조 영상(diffusion-weighted imaging, DWI)이 이용된다.

DWI는 뇌졸중 병변 코어(core) 영역을 검출하기 위해 이용되고, PWI는 뇌졸중 병변 코어 영역을 포함하여 주변까지 확장된 반음영(penumbra) 영역을 검출하기 위해 이용된다. 반음영 영역의 주변 영역은 PWI-DWI 미스매치(mismatch)에 의해 표현될 수 있다. 도 1에서 (a)는 PWI 영상, (b)는 DWI 영상 그리고 (c)는 PWI-DWI 미스매치(mismatch)를 각각 나타낸다.

PWI-DWI 미스매치 영역은 허혈(ischemia)에 의하여 영향받은 허혈 반음영(ischemic penumbra) 영역으로서 치료에 의해 다시 회복될 수 있는 영역으로 평가된다. 따라서, 뇌졸중이 발생한 초기 단계에는 신속히 반응영 영역의 크기, 즉 PWI-DWI 미스매치 영역의 크기를 판단하는 것이 매우 중요하다.

하지만 종래 기술에서는 아직까지 뇌졸중이 발생된 병변 영역과 그 주변의 반음영 영역의 미스매치에 기초하여 그 중요도를 평가 혹은 진단하거나, 진단된 결과를 환자의 치료 여부에 반영하기 위한 기술이 전무한 실정이다.

본 발명은 상기 종래 기술은 요구에 응하기 위한 것으로, 본 발명의 목적은 PWI(perfusion weighted imaging) 및 DWI(diffusion weighted imaging) 영상 정보를 활용한 인공지능 기반 병변영역 정량화 및 진단 방법을 제공하는데 있다.

본 발명의 다른 목적은, PWI 영상 정보와 DWI 영상 정보를 활용하여 구체적인 병변 영역 및 부피를 예측하고, 이를 통해 나타난 병변의 코어(core)와 그 주변의 반음영(penumbra) 영역 사이의 차이 영역 및 그 차이 영역의 중요도를 평가하고, 이에 기초하여 따른 환자의 치료 여부를 결정하는, 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법 및 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은, PWI 영상과 DWI 영상을 인공지능 신경망으로 분석하여 급성 뇌질환 환자를 분석 혹은 진단하는 상기의 방법과 이러한 방법을 실행하기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체를 제공하는 데 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 측면에 따른 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법은, 입력되는 의료 영상 중 DWI(diffusion weighted imaging) 영상에서 인공지능 기반 학습을 통해 병변영역을 추출하는 제1 단계;

상기 의료 영상 중 PWI(perfusion weighted imaging) 영상에서 기계학습 및 히스토그램 기반 영역 인식을 통해 병변영역을 추출하는 제2 단계; 및

상기 제1 단계와 상기 제2 단계에서 추출된 신호들에 대하여 인공지능 기반으로 뇌 영역의 기능적 역할을 대변하는 형식 또는 템플릿을 추천하고, 상기 추출된 신호들을 중 추천된 형식 또는 템플릿에 매칭되는 영상 부분에 대하여 정규화를 수행하는 제3 단계를 포함한다.

일실시예에서, 상기 제3 단계는 상기 형식이 존재하지 않는 경우 인공지능을 통해 신호의 지역적 특성에 따라 영상의 각 부분을 분류하여 지역적 분류와 신호의 특성적 분류로 나타낼 수 있다.

일실시예에서, 상기 제3 단계는 지역적 분류와 신호의 특성적 분류에 따른 예상 피해 영역을 생성하거나, 인공지능 기반 세그멘테이션(segmentation)을 통해 상기 기능적 분류, 지역적 분류 및 신호의 특성적 분류에 따른 예상 피해 영역을 생성할 수 있다.

일실시예에서, 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법은, 상기 예상 피해 영역에 대응하는 코어(core) 영역과 반음영(penumbra) 영역 사이의 차이 영역의 중요도를 평가하여 환자의 치료 여부에 대한 정보를 생성하는 최종 진단 단계를 더 포함할 수 있다.

일실시예에서, 상기 제1 단계는, 상기 DWI 영상으로서 단일 DWI 영상을 사용하는 경우, 인공지능 기반 학습 모델을 활용하여 상기 병변영역을 추출할 수 있으며, 또한 상기 DWI 영상으로서 복수의 DWI 영상들을 사용하는 경우, 상기 복수의 DWI 영상들에서 ADC 값을 계산하고, 상기 ADC 값을 토대로 상기 복수의 DWI 영상들 중 어느 하나의 DWI 영상에서 상기 인공지능 기반 학습 모델을 활용하여 추출한 제1 병변영역에서 노이즈를 제거하고, 노이즈를 제거한 결과를 인공지능 기능 학습 모델을 활용하여 제2 병변영역을 추출하고, 상기 제1 병변영역과 상기 제2 병변영역을 인공지능 기반으로 재학습하여 최종 병변영역을 추출할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 측면에 따른 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 시스템은, 입력되는 의료 영상에 포함된 DWI 영상에서 인공지능 기반 학습을 통해 병변영역을 추출하는 제1 특징 추출부; 상기 의료 영상에 포함된 PWI 영상에서 기계학습 및 히스토그램 기반 영역 인식을 통해 병변영역을 추출하는 제2 특징 추출부; 및 상기 제1 특징 추출부와 상기 제2 특징 추출부에서 추출된 신호들에 대하여 인공지능 기반 학습을 통해 뇌 영역의 기능적 역할을 대변하는 형식 또는 템플릿을 추천하고 상기 추출된 신호들 중 추천된 형식 또는 템플릿에 매칭된 해당 영상을 정규화를 통해 나타내는 정보 결합 생성부를 포함한다.

일실시예에서, 상기 정보 결합 생성부는, 상기 형식이 존재하지 않는 경우 인공지능을 통해 신호의 지역적 특성에 따라 영상의 각 부분을 분류하여 지역적 분류와 신호의 특성적 분류로 나타낼 수 있다.

일실시예에서, 상기 정보 결합 생성부는 지역적 분류와 신호의 특성적 분류에 따른 예상 피해 영역을 생성하거나, 인공지능 기반 세그멘테이션(segmentation)을 통해 기능적 분류, 지역적 분류 및 신호의 특성적 분류에 따른 예상 피해 영역을 생성할 수 있다.

일실시예에서, 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 시스템은, 상기 예상 피해 영역에 대응하는 코어(core) 영역과 반음영(penumbra) 영역 사이의 차이 영역의 중요도를 평가하여 환자의 치료 여부에 대한 정보를 생성하는 최종 진단부를 더 포함할 수 있다.

일실시예에서, 상기 제1 특징 추출부는, 상기 DWI 영상으로서 단일 DWI 영상을 사용하는 경우, 인공지능 기반 학습 모델을 활용하여 상기 병변영역을 추출할 수 있고, 또한 상기 DWI 영상으로서 복수의 DWI 영상들을 사용하는 경우, 상기 복수의 DWI 영상들에서 ADC 값을 계산하고, 상기 ADC 값을 토대로 상기 복수의 DWI 영상들 중 어느 하나의 DWI 영상에서 상기 인공지능 기반 학습 모델을 활용하여 추출한 제1 병변영역에서 노이즈를 제거하고, 노이즈를 제거한 결과를 인공지능 기능 학습 모델을 활용하여 제2 병변영역을 추출하고, 상기 제1 병변영역과 상기 제2 병변영역을 인공지능 기반으로 재학습하여 최종 병변영역을 추출할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 측면에 따른 장치는, 전술한 실시예들 중 어느 하나의 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법을 구현하는 프로그램을 기록한 컴퓨터 독출 가능한 기록매체를 포함한다.

전술한 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법 및 시스템을 사용하는 경우에는, 진단 대상의 의료 영상에서 인공지능 기반 병변과 예상 피해 범위의 정량적인 영역 및 부피를 제공할 수 있다. 또한, 진단 대상 영상의 인공신경망 결과로부터 추출된 병변영역의 기능적 손실을 예측할 수 있다. 또한, 진단 대상 영상의 병변영역 뿐만 아니라 예상 피해 범위를 함께 예상함으로써 전문의 수준으로 치료 필요성을 진단하거나 결정할 수 있는 솔루션을 제공할 수 있다.

또한, 본 발명에 의하면, PWI-DWI 미스매치에 기초하여 병변영역을 효과적으로 추출하고 병변의 주변 영역의 중요도를 평가하여 환자의 치료 여부를 결정하기 위한 진단 정보 또는 자동 진단 결과를 제공할 수 있고, 이러한 자동 진단 결과를 구현하는 프로그램을 기록한 컴퓨터 판독가능한 기록매체를 제공할 수 있다.

도 1은 관류 강조 영상(perfusion-weighted imaging, PWI)과 확산 강조 영상(diffusion-weighted imaging, DWI) 간의 미스매치(mismatch)를 나타낸 예시도.
도 2는 본 발명의 일 실시예에 따른 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법을 나타낸 흐름도.
도 3은 본 발명의 다른 실시예에 따른 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 시스템을 나타낸 블록도.
도 4는 도 3의 시스템의 영역 추출부에 채용할 수 있는 구성에 대한 블록도.
도 5는 도 4의 시스템의 제1 영역 추출부에 채용할 수 있는 구성에 대한 블록도.
도 6은 도 3의 시스템의 정보 결합 생성부에 채용할 수 있는 구성에 대한 블록도.
도 7은 도 4 내지 도 6의 구성부에 채용할 수 있는 합성곱 신경망에 대한 구조도.
도 8은 본 발명의 또 다른 실시예에 따른 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법을 나타낸 흐름도.
도 9는 본 발명의 또 다른 실시예에 따른 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 시스템을 나타낸 블록도.
도 10은 도 9의 시스템에 결합되거나 연결되는 사용자 단말의 화면에 출력되는 정보를 설명하기 위한 도면.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에서 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함한다" 또는 "가진다" 등의 용어는 본 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 사용되는 용어는 다음과 같다.

T2(T2-weighted image): 자기공명영상(magnetic resonance imaging, MRI)으로부터 특정 펄스열(pulse sequence)에서 획득하는 영상의 한 종류로서, 주로 인체 내부 조직의 구조적 정보를 제공한다.

DWI(Diffusion weighted image): 자기공명영상으로부터 획득하는 확산 강조 영상으로, 세포 조직 안의 물 분자가 특정 방향으로 확산하는 정도 여부에 대한 정보를 제공한다.

PWI(Perfusion weighted image): 자기공명영상으로부터 획득하는 관류 강조 영상(간단히, 관류 영상)으로, 투입된 조영제의 시간에 따른 농도 변화에 대한 정보를 제공한다.

Penumbra: 허혈성 사건이나 색전증 등에 의해서 발생하는 영상 내 반음영 영역으로, 산소 운반 기능이 국부적으로 감소되어 저산소 세포 사멸을 일으키거나 수시간 동안 내의 적절한 처치 시 생존가능한 영역을 가리킨다.

ADC(Apparent diffusion coefficient): 자기공명영상으로부터 획득하는 겉보기 확산 계수로서, 인체 내부 조직의 확산 방해 요소에 대한 정보를 제공한다.

MTT(Mean-transit-time): 영상에서 공간적으로 분해된 파라미터가 조직의 모세혈관을 통한 혈액과 같은 생물학적 유체의 평균 유동 소요 시간에 해당하는 영상을 지칭한다.

CCL(Connected component labeling): 크게 구분하여 재귀 알고리즘과 반복 알고리즘이 존재하며, 그 중 반복 알고리즘은 영상에서 배경픽셀이 아닌 관심대상의 객체픽셀(혹은 타겟픽셀)을 이전 픽셀 혹은 바로 왼쪽의 픽셀(왼쪽 픽셀)과 바로 위쪽의 픽셀(위쪽 픽셀)의 라벨링이 없는 경우에는 새로이 라벨링을 하고 이를 등가표에 기록하며, 왼쪽 픽셀 및 위쪽 픽셀 중 어느 하나에 라벨링이 있는 경우에는 라벨링된 값과 동일한 값으로 라벨링하고, 왼쪽 픽셀 및 위쪽 픽셀 모두에 라벨링이 있는 경우에는 라벨링된 값들 중 작은 값과 동일한 값을 픽셀의 라벨로 결정하는 1차 스캔 후에, 연결된 두 픽셀들의 라벨들이 서로 다른 번호들로 붙여져 있을 때, 높은 번호를 낮은 번호와 등가(eqivalent)로 보고 2차 스캔에서 높은 번호의 라벨을 가진 픽셀들을 낮은 번호의 라벨로 바꾸어 주는 영상 처리 방식을 지칭한다. 즉, 영상 내 관심대상 픽셀들의 값 및 위치 모두를 최소한 하나의 다른 데이터 포인트와 연결된 데이터 포인트로서 사용하여 영상을 처리하는 기법을 나타낸다. 이러한 CCL은 히스토그램의 도수 분포표로 이용될 수 있다.

이하 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법을 나타낸 흐름도이다.

도 2를 참조하면, 본 실시예에 따른 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법(이하 간단히 '진단 방법'이라고 한다)은, 특징 추출 단계(S10) 및 정보 결합 단계(S20)를 포함한다.

특징 추출 단계(S10)는 입력되는 두 종류의 의료 영상을 독립적으로 각각 처리하는 제1 단계(S11) 및 제2 단계(S12)를 포함한다. 제1 단계 및 제2 단계는 각각 제1 특징 추출 단계(S11) 및 제2 특징 추출 단계(S12)로 지칭될 수 있다.

두 종류의 의료 영상은 DWI(diffusion weighted imaging) 영상과 PWI(perfusion weighted imaging) 영상을 포함한다. 즉, DWI 영상과 PWI 영상을 포함하는 의료 영상은 뇌경색(cerebral infraction), 뇌출혈(cerebral hemorrhage) 등과 같은 급성 뇌졸중(acute stroke)을 앓고 있는 환자의 뇌를 MRI(magnetic resonance imaging) 장치로 촬영한 영상을 포함한다.

좀더 구체적으로, 제1 특징 추출 단계(S11)에서는 입력되는 의료 영상 중 DWI(diffusion weighted imaging) 영상에서 인공지능 기반 학습을 통해 병변영역을 추출한다. 제1 특징 추출 단계(S11)에서는 단일 또는 복수의 DWI 영상을 사용할 때 서로 다른 처리 방식을 통해 병변영역을 추출할 수 있다. 복수의 DWI 영상들을 이용하는 경우, DWI 영상의 잡음을 제거하고 병변영역을 추출하고 그 부피를 계산할 수 있다. 복수의 DWI 영상들은 영상 처리 시 ADC(apparent diffusion coefficient) 변수로 변환되는데, 변환시에 통상 유의미한 잡음이 발생한다. 따라서, 본 실시예에서는 특정 DWI 영상의 병변영역을 추출하고 부피를 계산하기 전에 복수의 DWI 영상들에 기초한 ADC 값을 이용하여 잡음을 제거하도록 이루어질 수 있다.

다음, 제2 특징 추출 단계(S12)에서는 입력되는 의료 영상 중 PWI(perfusion weighted imaging) 영상에서 기계학습 및 히스토그램 기반의 영역 인식을 통해 병변영역을 추출하거나 그 부피를 계산한다.

그런 다음, 정보 결합 단계(S20)에서는 제1 특징 추출 단계(S11)와 제2 특징 추출 단계(S12)에서 추출된 신호들을 뇌 영역의 각 기능적 역할을 대변하는 형식에 따라 인공지능을 통해 해당 영상에 가장 적합한 템플릿을 추출하고 기능적 분류, 지역적 분류 및 신호의 특성적 분류를 위한 정규화를 수행한다.

위의 단계들을 통해 분류된 정보는 예상 피해 영역에 대응할 수 있으며, 이러한 병변영역에 의한 예상 피해 영역에 대한 새롭고 정확한 정보는 그 중요도의 평가에 따라 환자의 치료 여부를 결정하는데 중요한 자료로 이용될 수 있다.

도 3은 본 발명의 다른 실시예에 따른 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 시스템(이하 간략히 '진단 시스템'이라고 한다)을 나타낸 블록도이다. 도 4는 도 3의 시스템의 영역 추출부에 채용할 수 있는 구성에 대한 블록도이다. 도 5는 도 4의 시스템의 제1 영역 추출부에 채용할 수 있는 구성에 대한 블록도이다. 그리고, 도 6은 도 3의 시스템의 정보 결합 생성부에 채용할 수 있는 구성에 대한 블록도이다.

도 3을 참조하면, 본 실시예에 따른 진단 시스템(100)은 영역 추출부(10) 및 정보 결합 생성부(20)를 통해 입력 의료 영상을 처리하여 FS(functional segmentation), RS(regional segmentation), SS(signal segmentation)로 분류된 결과를 출력한다. FS(functional segmentation)는 기능적 분할에 의한 정보, RS(regional segmentation)는 지역적 분할에 의한 정보, SS(signal segmentation)는 신호의 특징적 분할에 의한 정보를 각각 나타낸다.

즉, 본 실시예에 따른 진단 시스템(100)의 주된 특징은 PWI, DWI 등의 복수의 의료 영상에서 인공지능 기반으로 병변 영역, 부피 등과 같은 특징을 추출하는 영역 추출부(10)와, 추출된 특징 또는 영역과 각 뇌 영역의 기능적 역할정보를 결합하여 예상 피해 영역을 추출하는 정보 결합 생성부(20)로 구성된다는 것이다.

결합된 정보 또는 예상 피해 영역을 추출한 정보는 환자의 치료 여부를 판단하는데 사용될 수 있다. 그리고, 기능적 역할정보는 인지 평가 정보로서 운동, 감각, 언어, 시각, 청각 기능들을 담당하는 뇌의 해당 영역에 대한 기능 영역 정보 혹은 기능 위치 정보를 포함할 수 있다.

영역 추출부(10)는 DWI 영상의 특징을 추측하기 위하여 복수 혹은 단일 DWI 영상에서 인공지능 기반 학습을 통해 병변영역을 추출하고 그 부피를 계산하도록 설계될 수 있다. 또한, 영역 추출부(10)는 PWI 영상의 특징을 추측하기 위하여 기계학습 및 히스토그램(histogram) 기반을 통하여 영역을 인식하고 인식된 영역에 대응하는 병변영역을 추출하거나 그 부피를 계산하도록 설계될 수 있다. 영역 추출부(10)는 특징 추출부로 지칭될 수 있다.

즉, 도 4에 도시한 바와 같이, 본 실시예의 영역 추출부(10)는 병변의 코어(core) 부분을 대변하는 DWI 영상의 특징을 추출하기 위하여 복수 혹은 단일 DWI 영상에서 DWI 영상의 특징과 인공지능 기반 학습을 통해 잡음을 제거하거나 병변 영역을 추출하거나 병변영역의 부피를 계산할 수 있다.

DWI 영상의 특징은 ADC 값(value)으로 출력될 수 있다. DWI 영상에서 ADC 변수로의 변환시에 발생하는 잡음을 제거하기 위해 인공신경망(artifical neural network, ANN, 12) 기반의 노이즈 제거부(11)가 이용될 수 있다. 노이즈 제거부(11)와 인공신경망(12)은 영역 추출부(10)의 제1 영역 추출부(10a)를 형성할 수 있다.

또한, 본 실시예의 영역 추출부(10)는 병변의 암음영(penumbra)의 주변 영역을 대변하는 PWI 영상의 특징을 추출하기 위해 기계학습(machine learning, ML, 14) 및 히스토그램(histogram)을 통해 영역을 인식하고 인식된 영역에 대응하는 병변영역을 추출하거나 병변영역의 부피를 계산할 수 있다.

PWI 영상의 특징은 TTP(time-to-peak) 영상일 수 있다. TTP 영상은 영상에서 공간적으로 분해된 파라미터가 시작 시간에 주어진 위치에서 측정된 조직 농도 커브의 최대값에 해당하는 시간까지의 시간 간격의 길이에 해당하는 영상을 말한다.

기계학습(ML, 12) 혹은 이에 대응하는 기능을 수행하는 수단이나 구성부를 포함하는 부분은 영역 추출부(10)의 제2 영역 추출부(10b)를 형성할 수 있다.

전술한 제1 영역 추출부(10a)는 단일 DWI 영상인 경우와, 복수의 DWI 영상들을 이용하는 경우에 서로 다른 영상 처리 방식을 사용하도록 구현될 수 있다. 즉, DWI 영상으로서 단일 DWI 영상을 사용하는 경우, 제1 영역 추출부(10a)는 DWI 영상에서 획득한 영상 신호 또는 그에 대응하는 관심 영역(Ground truth-1)를 인공지능 기반 학습 모델(AI Model-1)을 활용하여 병변영역(Results-1)을 추출할 수 있다. 그 경우, 해당 병변영역(Results-1)은 인공지능 기반 재학습 과정(Ground Truth-3, AI Model-3)에서 추가적인 학습 과정을 거치지 않고 최종 병변영역(Results-3)으로 출력될 수 있다.

또한, 상기 DWI 영상으로서 복수의 DWI 영상들을 사용하는 경우, 제1 영역 추출부(10a)는 복수의 DWI 영상들에서 ADC 값(value)을 계산하고(S111), ADC 값을 토대로 복수의 DWI 영상들 중 어느 하나의 DWI 영상의 관심 영역(Ground Truth-1)에서 인공지능 기반 학습 모델(AI Model-1)을 활용하여 제1 병변영역(Results-1)을 추출하고(S112), 제1 병변영역의 노이즈를 ADC 값에 기초하여 제거하고(AI based Noise reduction, S113), 노이즈를 제거한 결과(Ground Truth-2)를 인공지능 기능 학습 모델(AI Model-2)을 활용하여 제2 병변영역(Results-2)을 추출하고, 상기 제1 병변영역과 상기 제2 병변영역의 조합 또는 그 결과(Ground Truth-3)을 인공지능 기반 모델(AI Model-3)로 재학습하여 최종 병변영역(Final Results)을 추출할 수 있다.

정보 결합 생성부(20)는 영역 추출부(10)에서 추출된 특징을 기초하여 인공지능 기반 학습을 통한 지역적 분류 및 템플릿 추천과, 정규화(normalization)를 통한 기능적 분류 기법으로 설계될 수 있다.

즉, 정보 결합 생성부(20)는 도 6에 도시한 바와 같이 두 의료 영상에서 추출된 병변영역 및 TTP에 대응하는 신호들을 각 기능적 역할을 대변하는 형식 유무(유: 23a; 무: 23b)에 따라 처리할 수 있다. 다시 말해, 정보 결합 생성부(20)는 형식이 존재할 경우 인공지능(21)을 통해 해당 영상에 가장 적합한 형식 또는 템플릿(22)을 추천하고 이를 인공신경망(ANN)의 정규화(24)를 통해 나타내며, 형식이 존재하지 않는 경우에는 인공지능(25)을 통해 신호의 지역적 특성에 따라 영상의 각 부분을 분류하여 나타낼 수 있다.

정보 결합 생성부(20)에서 생성된 FS(Functional segmentation), RS(regional segmentation) 및 SS(signal segmentation)는 기능적, 지역적, 신호의 특성적 분류에 따른 것으로 이들의 조합은 병변의 코어 영역과 반음영 영역의 차이 영역에 대응하는 예상 피해 영역을 제시하는 것으로 이용될 수 있다. 기능적 분류, 지역적 분류 및 신호의 특성적 분류의 조합에 따라 미리 설정된 기준을 토대로 중요도가 평가될 수 있다.

도 7은 도 4 내지 도 6의 구성부에 채용할 수 있는 합성곱 신경망에 대한 구조도이다.

본 실시예에 따른 진단 시스템은 인공지능 신경망으로 딥러닝 아키텍처를 이용할 수 있다. 딥러닝 아키텍처는 의료 영상들 각각의 병변, 병변영역 또는 병변후보에 대하여 합성곱 신경망(convolutional neural network, CNN), 디컨볼루션(deconvolution), 스킵 컨넥션(skip connection) 등을 사용하여 학습하도록 구현될 수 있다.

일례로, 딥러닝 아키텍처는 컨볼루션 네트워크와 디컨볼루션 네트워크 및 숏컷(shortcut)을 포함한 형태를 구비할 수 있다. 도 7에 도시한 바와 같이, 딥러닝 아키텍처는 의료 영상(X)의 국소적인 특징을 추출하기 위하여 3x3 크기의 컬러 컨볼루션 레이어(convolution layer)와 액티베이션 레이어(ReLU)를 쌓고 2x2 크기의 필터를 스트라이드(stride) 1로 적용하여 다음 하위 깊이 레벨로 연결되는 컨볼루션 블록의 연산을 4회 반복하여 수행하고, 그 다음에 2x2 크기의 디컨볼루션 레이어(deconvolution layer)와 액티베이션 레이어(ReLU)를 적용하여 다음 상위 깊이 레벨로 연결된 후 3x3 크기의 컬러 컨볼루션 레이어와 액티베이션 레이어를 쌓는 역컨볼루션 블록의 연산을 4회 반복하여 수행하며, 여기서 각 레벨의 컨볼루션 블록의 연산을 포함한 컨볼루션 네트워크의 각 레벨의 컨볼루션 블록의 이미지에 동일 레벨의 역컨볼루션 네트워크의 대응 레벨의 컨볼루션 결과를 갖다 붙이고(copy and contatenate) 각 블록에서 컨볼루션 연산을 각각 수행하도록 이루어질 수 있다.

컨볼루션 네트워크와 디컨볼루션 네트워크 내 컨볼루션 블록은 conv-ReLU-conv 레이어들의 조합으로 구현될 수 있다. 그리고, 딥러닝 아키텍처의 출력은 컨볼루션 네트워크이나 디컨볼루션 네트워크에 연결되는 분류기를 통해 얻어질 수 있으나, 이에 한정되지는 않는다. 분류기는 FCN(fully connectivity network) 기법을 이용하여 영상에서 국소적인 특징을 추출하는데 이용될 수 있다.

또한, 딥러닝 아키텍처는 구현에 따라서 컨볼루션 블록 내에 인셉션 모듈(inseption module) 또는 멀티 필터 경로(multi filter pathway)를 추가로 사용하도록 구현될 수 있다. 인셉션 모듈 또는 멀티 필터 경로 내 서로 다른 필터는 1x1 필터를 포함할 수 있다.

참고로, 딥러닝 아키텍처에서 입력(input) 이미지가 가로 32, 세로 32, 그리고 RGB 채널을 가지는 경우, 입력 이미지(X)의 크기는 [32x32x3]일 수 있다. 딥러닝 아키텍처의 CNN(convloultional neural network)에서 콘볼루션(convolutional, CONV) 레이어는 입력 이미지의 일부 영역과 연결되며, 이 연결된 영역과 자신의 가중치의 내적 연산(dot product)을 계산하도록 설계될 수 있다.

여기서, ReLU(rectified linear unit) 레이어는 max(0,x)와 같이 각 요소에 적용되는 액티베이션 함수(activation function)이다. ReLU 레이어는 볼륨의 크기를 변화시키지 않는다. POOLING 레이어는 (가로, 세로)로 표현되는 차원에 대해 다운샘플링(downsampling) 또는 서브샘블링(subsampling)을 수행하여 감소된 볼륨을 출력할 수 있다.

그리고, 전연결(fully-connected, FC) 레이어는 클래스 점수들을 계산하여 예컨대 [1x1x10]의 크기를 갖는 볼륨을 출력할 수 있다. 이 경우, 10개 숫자들은 10개 카테고리에 대한 클래스 점수에 해당한다. 전연결 레이어는 이전 볼륨의 모든 요소와 연결된다. 거기서, 어떤 레이어는 모수(parameter)를 갖지만 어떤 레이어는 모수를 갖지 않을 수 있다. CONV/FC 레이어들은 액티베이션 함수로서 단순히 입력 볼륨만이 아니라 가중치(weight)와 바이어스(bias)를 포함할 수 있다. 한편, ReLU/POOLING 레이어들은 고정된 함수로서, CONV/FC 레이어의 모수들은 각 이미지에 대한 클래스 점수가 해당 이미지의 레이블과 같아지도록 그라디언트 디센트(gradient descent)로 학습될 수 있다.

도 8은 본 발명의 또 다른 실시예에 따른 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법을 나타낸 흐름도이다.

도 8을 참조하면, 본 실시예에 따른 진단 방법은 특징 추출 단계(S10), 정보 결합 단계(S21, S22, S23) 및 최종 분석 단계(S30)를 포함한 일련의 과정에 의해 이루어진다.

먼저, 특징 추출 단계(S10)에서는 입력되는 의료 영상 중 DWI(diffusion weighted imaging) 영상에서 인공지능 기반 학습을 통해 병변영역을 추출하며, 또한 입력되는 의료 영상 중 PWI(perfusion weighted imaging) 영상에서 기계학습 및 히스토그램 기반으로 영역을 인식하여 병변영역을 추출한다.

다음으로, 정보 결합 단계에서는 특징 추출 단계(S10)에서 추출된 신호들의 각 기능적 역할을 대변하는 형식이 존재하는지를 판단할 수 있다(S21).

다음, 정보 결합 단계에서는, 상기의 단계(S21)에서 형식이 존재하는 것으로 판단되면, 인공지능을 통해 해당 영상에 가장 적합한 형식 또는 템플릿을 추출하고 기능적 분류, 지역적 분류 및 신호의 특성적 분류를 위한 정규화를 수행할 수 있다(S22).

한편, 상기의 단계(S21)에서의 판단 결과, 형식이 존재하지 않으면, 정보 결합 단계에서는 인공지능을 통해 신호의 지역적 특성에 따라 해당 영상의 각 부분을 지역적 분류와 신호의 특성적 분류로 정규화하여 분류할 수 있다(S23).

정보 결합 단계(S21, S22, S23)를 통해 분류된 정보는 예상 피해 영역에 대응할 수 있고, 예상 피해 영역은 병변의 코어와 반음영 주변 영역 사이의 차이 영역을 포함할 수 있다.

그런 다음, 최종 진단 단계(S30)에서는 영역 추출 단계(S10)와 정보 결합 단계(S21, S22, S23)를 통해 나타난 코어와 반음영 사이의 차이 영역의 중요도를 평가할 수 있다. 중요도 평가에 대한 생성 정보는 환자의 치료 여부에 대한 정보로서 이용될 수 있다.

도 9는 본 발명의 또 다른 실시예에 따른 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 시스템(간략히 '진단 시스템')을 나타낸 블록도이다.

도 9를 참조하면, 본 실시예에 따른 진단 시스템(100A)은 영역 추출부(10), 정보 결합 생성부(20) 및 최종 진단부(30)를 포함한다. 영역 추출부(10)는 입력되는 PWI 영상과 DWI 영상에서 인공지능 기반으로 병변영역을 추출하고, 정보 결합 생성부(20)는 영역 추출부(10)에서 추출된 영역과 각 뇌 영역의 기능적 역할정보를 결합하여 예상 피해 영역을 생성할 수 있다.

영역 추출부(10)와 정보 결합 생성부(20)의 조합 구성은 도 3을 참조하여 앞서 설명한 진단 시스템(100)에 대응할 수 있다. 다만, 이 진단 시스템(100)에 채용할 수 있는 인공지능(50)은 별도의 전처리기, 인식기, 학습기 또는 이들이 조합된 독립적인 기능부 혹은 구성부로서 상기의 진단 시스템(100)에 연결되는 형태를 구비할 수 있다. 그 경우, 인공지능(50)은 인공신경망 외에 기계학습(machine learning, 52) 또는 딥러닝(54)를 포함하도록 설계될 수 있다. 딥러닝(54)은 합성곱 신경망 등을 포함할 수 있다.

여기서, 인지 평가 정보는 정보 결합 생성부(20) 내 저장수단이나 메모리에 미리 저장될 수 있으나, 이에 한정되지 않고, 인지 평가 정보가 외부 장치에서 제공되도록 시스템이 구성될 수 있다.

최종 진단부(30)는 정보 결합 생성부(20)에서 결합된 정보를 토대로 환자의 최종 치료 여부를 판단하도록 이루어질 수 있다. 최종 진단부(30)는, 영역 추출부(10)와 정보 결합 생성부(20)를 통해 나타난 병변의 코어(core)와 병변 주변의 반음영(penumbra) 사이의 차이 영역 및 그 차이 영역의 중요도를 평가하여 환자의 치료 여부를 결정할 수 있다. 한편, 진단 결과는 환자의 치료 여부에 대한 결정 정보일 수 있으나, 이에 한정되지 않고, 의사 등에게 전달되는 진단 결과로서 환자의 치료 여부를 결정하는데 보조하도록 이용되는 정보 출력 형태를 가질 수 있다.

본 실시예의 진단 시스템은 컴퓨팅 장치의 프로세서나 이 프로세서에 탑재되는 프로그램으로 구현될 수 있다. 프로그램은 컴퓨터로 판독가능한 별도의 기록매체에 저장될 수 있다. 여기서, 프로세서는 마이크로프로세서, 연산처리장치 또는 제어장치에 대응할 수 있고, 중앙 처리 장치(CPU)나 코어(core)를 포함할 수 있으며, 메모리에 저장되는 프로그램을 실행하여 전술한 진단 방법을 구현하도록 설치될 수 있다.

또한, 진단 시스템은 통신장치를 구비할 수 있고, 통신장치는 인트라넷, 인터넷, 유선 네트워크, 무선 네트워크, 위성망 또는 이들의 조합을 위한 적어도 하나 이상의 서브통신시스템을 구비할 수 있다.

*도 10은 도 9의 시스템에 결합되거나 연결되는 사용자 단말의 화면에 출력되는 정보 형태를 설명하기 위한 도면이다.

본 실시예에 따른 진단 시스템은 뇌졸중 등의 병변에 대한 예상 피해 영역(Per2)과 그 중요도의 자동 진단 결과를 사용자 단말의 화면(900)상의 해당 표시영역(910, 920, 930)에 출력할 수 있다.

예상 피해 영역(Per2)은 PWI-DWI 미스매치 영상(Per1) 상에 중첩된 형태로 제1 표시영역(910)에 표시될 수 있다. 또한, 예상 피해 영역(Per2)은 뇌 영역의 기능적 역할정보를 색상 등으로 표현하는 뇌지도(Ref)에 병변영역과 함께 표시될 수 있다.

중요도의 자동 진단 결과는 뇌 영역의 기능적 역할에 따른 정보로 제2 표시영역(920)에 출력될 수 있다. 일례로, 뇌의 운동영역에 대한 예상 피해 영역의 침범 비율에 따라 운동기능 장애에 대한 발생 가능성을 백분율로 표시하고, 운동영역에 대한 예상 피해 영역의 중심점을 미리 설정된 뇌지도 상의 좌표로 표시할 수 있다. 뇌 영역의 기능적 역할에 대한 정보는 운동, 감각, 언어, 시각 및 청각 기능들에 대하여 제공될 수 있다.

또한, 중요도의 자동 진단 결과에 대한 평가 설명이 화면(900)의 제3 표시영역(930)에 제공될 수 있다. 중요도의 자동 진단 결과에 대한 설명은 예상 피해 영역과 관련하여 뇌의 기능에 따른 예상 병변 설명을 포함할 수 있으나, 이에 한정되지는 않는다.

전술한 예상 피해 영역(Per2)과 그 중요도에 대한 진단 정보는 사용자 인터페이스(940)의 설정에 따라 변경될 수 있다. 일례로, 사용자 인터페이스(940)는 예상 피해 영역이나 이를 포함하는 영상에 대하여 확대, 회전 등을 조작하는 기능이나 사시도, 육면도, 단면도 등을 선택하는 기능을 구비할 수 있다. 또한, 사용자 인터페이스(940)는 데이터 출력이나 데이터 출력 포맷 변환 등을 선택하여 실행하기 위한 기능을 구비할 수 있다.

사용자 단말은 진단 시스템에 연결되는 데스크탑 컴퓨터, 개인휴대단말기(PDA), 모바일 단말, 네트워크 단말, 서버 장치 중 적어도 어느 하나를 포함할 수 있다.

이상에서 설명한 바와 같이, 본 발명에 의하면, 의료 영상에서 인공지능 기반으로 병변과 예상 피해 범위의 정량적인 영역 및 부피를 추출할 수 있고, 의료 영상의 인공신경망 분석 결과로부터 추출된 병변영역의 기능적 손실을 예측할 수 있으며, 병변영역과 예상 피해 영역을 함께 예측함으로써 전문의 수준으로 치료 필요성을 진단하거나 결정하는 솔루션을 제공할 수 있다.

본 발명은 도면을 참조한 실시예를 중심으로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점은 자명하다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (2)

1. 컴퓨팅 장치의 프로세서에 탑재되는 제1 특징 추출부가 입력되는 의료 영상 중 DWI(diffusion weighted imaging) 영상에서 인공지능 기반 학습을 통해 병변영역을 추출하는 제1 단계;
   상기 프로세서에 탑재되는 제2 특징 추출부가 상기 의료 영상 중 PWI(perfusion weighted imaging) 영상에서 기계학습 및 히스토그램 기반 영역 인식을 통해 병변영역을 추출하는 제2 단계; 및
   상기 프로세서에 탑재되는 정보 결합 생성부가 상기 제1 단계와 상기 제2 단계에서 추출된 신호들에 대하여 인공지능 기반으로 뇌 영역의 기능적 역할을 대변하는 형식 또는 템플릿을 추천하고, 상기 추출된 신호들을 중 추천된 형식 또는 템플릿에 매칭되는 영상 부분에 대하여 정규화를 수행하며, 상기 형식 또는 템플릿이 존재하지 않는 경우, 인공지능 기반 학습을 통해 신호의 지역적 특성에 따라 상기 신호들이나 이에 대응하는 영상의 각 부분을 분류하여 지역적 분류와 특성적 분류로 나타내는 제3 단계;를 포함하며,
   상기 제1 단계는, 상기 DWI 영상으로서 단일 DWI 영상을 사용하는 경우, 인공지능 기반 학습 모델을 활용하여 상기 병변영역을 추출하고; 상기 DWI 영상으로서 복수의 DWI 영상들을 사용하는 경우, 상기 복수의 DWI 영상들에서 ADC 값을 계산하고, 상기 ADC 값을 토대로 상기 복수의 DWI 영상들 중 어느 하나의 DWI 영상에서 상기 인공지능 기반 학습 모델을 활용하여 추출한 제1 병변영역에서 노이즈를 제거하고, 노이즈를 제거한 결과를 인공지능 기능 학습 모델을 활용하여 제2 병변영역을 추출하고, 상기 제1 병변영역과 상기 제2 병변영역을 인공지능 기반으로 재학습하여 최종 병변영역을 추출하며,
   상기 제1 단계에서 상기 제1 특징 추출부는 상기 단일 DWI 영상을 사용하는 경우와 상기 복수의 DWI 영상들을 사용하는 경우에 따라 서로 다른 영상 처리 방식을 수행하며,
   상기 제3 단계는, 지역적 분류 및 신호의 특성적 분류에 따른 예상 피해 영역을 생성하거나, 인공지능 기반 세그멘테이션(segmentation)을 통해 기능적 분류, 지역적 분류 및 신호의 특성적 분류에 따른 예상 피해 영역을 생성하며,
   상기 프로세서에 탑재되는 최종 진단부가, 상기 예상 피해 영역에 대응하는 코어(core) 영역과 반음영(penumbra) 영역 사이의 차이 영역의 중요도를 평가하여 환자의 치료 여부에 대한 정보를 생성하는 최종 진단 단계를 더 포함하는, 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 방법.
2. 입력되는 의료 영상에 포함된 DWI 영상에서 인공지능 기반 학습을 통해 병변영역을 추출하는 제1 특징 추출부;
   상기 의료 영상에 포함된 PWI 영상에서 기계학습 및 히스토그램 기반 영역 인식을 통해 병변영역을 추출하는 제2 특징 추출부; 및
   상기 제1 특징 추출부와 상기 제2 특징 추출부에서 추출된 신호들에 대하여 인공지능 기반 학습을 통해 뇌 영역의 기능적 역할을 대변하는 형식 또는 템플릿을 추천하고 상기 추출된 신호들 중 추천된 형식 또는 템플릿에 매칭된 해당 영상을 정규화를 통해 나타내는 정보 결합 생성부를 포함하며,
   상기 정보 결합 생성부는, 상기 형식 또는 템플릿이 존재하지 않는 경우 인공지능을 통해 신호의 지역적 특성에 따라 상기 신호들이나 이에 대응하는 영상의 각 부분을 분류하여 지역적 분류와 특성적 분류로 나타내며,
   상기 제1 특징 추출부는, 상기 DWI 영상으로서 단일 DWI 영상을 사용하는 경우, 인공지능 기반 학습 모델을 활용하여 상기 병변영역을 추출하고, 상기 DWI 영상으로서 복수의 DWI 영상들을 사용하는 경우, 상기 복수의 DWI 영상들에서 ADC 값을 계산하고, 상기 ADC 값을 토대로 상기 복수의 DWI 영상들 중 어느 하나의 DWI 영상에서 상기 인공지능 기반 학습 모델을 활용하여 추출한 제1 병변영역에서 노이즈를 제거하고, 노이즈를 제거한 결과를 인공지능 기능 학습 모델을 활용하여 제2 병변영역을 추출하고, 상기 제1 병변영역과 상기 제2 병변영역을 인공지능 기반으로 재학습하여 최종 병변영역을 추출하며, 상기 단일 DWI 영상을 사용하는 경우와 상기 복수의 DWI 영상들을 사용하는 경우에 따라 서로 다른 영상 처리 방식을 수행하며,
   상기 정보 결합 단계는 지역적 분류와 신호의 특성적 분류에 따른 예상 피해 영역을 생성하거나, 인공지능 기반 세그멘테이션(segmentation)을 통해 기능적 분류, 지역적 분류 및 신호의 특성적 분류에 따른 예상 피해 영역을 생성하며,
   상기 예상 피해 영역에 대응하는 코어(core) 영역과 반음영(penumbra) 영역 사이의 차이 영역의 중요도를 평가하여 환자의 치료 여부에 대한 정보를 생성하는 최종 진단부를 더 포함하는, 인공지능 기반 PWI-DWI 미스매치 병변 추출 및 통합 평가 시스템.

Images