KR20200038121A

KR20200038121A - 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법

Info

Publication number: KR20200038121A
Application number: KR1020180117824A
Authority: KR
Inventors: 조범주; 방창석; 박세우; 최재호; 이재준
Original assignee: 한림대학교 산학협력단
Priority date: 2018-10-02
Filing date: 2018-10-02
Publication date: 2020-04-10
Anticipated expiration: 2038-10-02
Also published as: KR102168485B1; CN112823396A; US20260108133A1; JP7218432B2; JP2022507002A; WO2020071678A2; WO2020071678A3

Abstract

실시간으로 획득되는 위 내시경 이미지를 이용하여 병변을 진단하는 내시경 장치에 관한 것이며, 피검자의 체내로 삽입되는 몸체부, 상기 몸체부의 후단에 마련되어 사용자의 입력 정보에 기반하여 상기 몸체부를 조작하는 조작부, 복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하고, 위 내시경 이미지를 환자 정보와 연계하여 신규 데이터 세트를 생성하고, 구축된 상기 인공신경망을 통해 위 병변 진단을 수행하는 병변 진단부 및 상기 병변 진단부의 진단 결과 및 위 내시경 이미지를 표시하는 디스플레이부를 포함할 수 있다.

Description

실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법{ENDOSCOPIC DEVICE AND METHOD FOR DIAGNOSING GASTRIC LESION BASED ON GASTRIC ENDOSCOPIC IMAGE OBTAINED IN REAL TIME}

본원은 실시간으로 획득되는 위 내시경 이미지를 기반으로 위 병변을 진단하는 내시경 장치 및 방법에 관한 것이다.

인간의 몸을 구성하고 있는 가장 작은 단위인 세포는 정상적일 때 세포 내 조절기능에 의해 분열하며 성장하고 죽어 없어지기도 하면서 세포 수 균형을 유지한다. 어떤 원인으로 세포가 손상을 받는 경우, 치료를 받아 회복하여 정상적인 세포로 역할을 하게 되지만, 회복이 안 된 경우는 스스로 죽게 된다. 그러나 여러 가지 이유로 인해 이러한 증식과 억제가 조절되지 않는 비정상적인 세포들이 과다하게 증식할 뿐만 아니라 주위 조직 및 장기에 침입하여 종괴 형성 및 정상 조직의 파괴를 초래하는 상태를 암(cancer)이라 정의한다. 암은 이렇듯 억제가 안 되는 세포의 증식으로, 정상적인 세포와 장기의 구조와 기능을 파괴하기에 그 진단과 치료의 중요성은 매우 크다.

암은 세포가 비정상적으로 증식해 정상적인 세포의 기능을 방해하는 질병으로, 폐암, 위암(gastric cancer, GC), 유방암(breast cancer, BRC), 대장암(colorectal cancer, CRC) 등이 대표적이나, 실질적으로는 어느 조직에서나 발생할 수 있다. 이 중에서 위암은, 전 세계적으로 보면 한국, 일본 등에서 많은 발생을 보이며, 미국, 유럽 등의 서구에서는 발생률이 낮은 암이다. 한국의 경우 발생률 1위, 사망률은 폐암에 이어 2위를 차지하고 있어, 암 중에서 국민건강에 미치는 영향이 매우 큰 것 중 하나이다. 위암의 분류를 살펴보면 전체의 95%가 위벽의 점막의 샘세포에서 생기는 선암이고, 그 외 림프계에서 발생하는 림프종, 간질조직에서 발생하는 위장관 간질성 종양이 있다. 조기 위암(ECG)의 대부분은 임상 증상이나 징후가 없으므로 스크리닝 전략없이 적시에 탐지하고 치료하기 어려운 문제점이 발생한다. 더불어 위의 이형성증과 같은 전암성 병변을 가진 환자는 위암에 걸릴 상당한 위험이 있다.

가장 보편적으로 사용되는 위암의 진단 방법은 생체 조직 검사를 통해 얻어진 조직 샘플을 이용하거나, 위내시경 검사를 이용하는 것이고, 전산화단층촬영(computed tomography, CT)이나 핵자기공명(nuclear magnetic resonance, NMR) 등 영상을 이용할 수 있다. 그 중 생체 조직 검사는 환자에게 큰 고통을 야기하며, 고비용이 들뿐만 아니라, 진단까지 긴 시간이 소요되는 단점이 있다. 또한, 환자의 조직에 손상을 가하게 되는 침습적인 검사이며, 환자가 실제 암에 걸린 경우, 생체 조직 검사 과정 중 암의 전이가 유발될 수 있는 위험이 있어 과다한 검사는 환자에게 유해할 수 있다. 전산화단층촬영이나 핵자기공명을 이용한 진단은 임상의 또는 판독의의 숙련도에 따라 오진의 가능성이 있으며, 영상을 얻는 기기의 정밀도에 크게 의존하는 단점이 있다. 더 나아가, 가장 정밀한 기기조차도 수 mm 이하의 종양은 검출할 수 없어, 발병 초기 단계에서는 검출이 어려운 단점이 있다. 또한, 영상을 얻기 위해 환자 또는 질병 보유 가능자가 유전자의 돌연변이를 유발할 수 있는 고에너지의 전자기파에 노출되므로, 또 다른 질병을 야기할 수도 있다.

그러므로 현행 의료에서 위에 발생한 신생물의 진단은 보통 일차적으로 의사가 위내시경 검사를 통해 발견하고, 내시경 이미지에 포함된 위 내부의 형태 및 크기를 감안하여 위암 여부를 일차 판단하는 경우가 많았다. 그리고 이 중에서 암이 의심되는 병변에 대해 위내시경 검사를 하여 조직을 채취하고, 병리학적 조직검사로 확진을 내리는 경우가 많았다. 그런데 위내시경 검사는 내시경을 환자가 삼켜야 하고, 그 내시경이 식도를 거쳐 위에 도달하면서 많은 불편감을 야기하며, 식도 천공 혹은 위 천공 등 합병증이 발생할 가능성이 있어, 그 시행횟수를 줄이면서 위신생물을 진단하는 것이 환자를 위해 필요하다.

따라서, 의사가 위신생물발견을 위한 위내시경 검사를 하고, 이 결과를 분석한 뒤 조직검사를 하기 위한 위내시경 검사를 다시 시행하는 것보다는, 한 번의 위내시경 검사 동안 위내시경 이미지에서 위신생물 병변을 발견하고, 실시간으로 그 위험도를 평가하여, 어떤 병변에 대해서 조직검사를 해야 할지 말지를 즉시 결정하여, 암의 위험이 있는 병변에 대해 그 자리에서 바로 조직검사를 하는 것이 매우 필요하다. 점차, 이렇게 위내시경 횟수를 줄여가는 것이 현재의 추세이다. 실시간으로 위신생물 병변의 위험성을 평가함에 있어, 그 위험도를 실제보다 낮게 평가하게 되면 암 병변을 놓치게 되어 암치료가 이루어지지 않게 되는 중대한 결과가 초래되며, 위험도를 실제보다 높게 평가하게 되면, 불필요한 조직검사를 하게 되어 환자의 조직에 위해를 가하게 된다.

그러나 이렇게 실시간으로 위내시경 이미지를 보고 위 병변의 위험도를 평가하는 방법은 아직까지 표준으로 확립된 것이 없다. 현재, 이러한 위험도의 평가는 거의 전적으로 위내시경을 시행하는 의사의 주관적 판단에 의존한다. 그러나 이 방법은 의사마다 경험이 달라 진단을 다르게 내릴 수 있으며, 충분한 경험이 있는 의사가 없는 지역에서는 정확한 진단이 이루어질 수 없는 문제점이 발생한다.

내시경 장치를 통해 획득된 비정상적인 병변의 발견은 일반적으로 병변의 이상 형태나 점막의 색 변화에 따라 결정되며, 진단 정확도는 훈련 및 광학 기술 및 chromoendoscopy으로 개선되는 것으로 알려졌다. 협대역 촬영 (narrow band imaging), 공초점형 이미징(confocal imaging) 및 확대 기술 (소위 이미지 강화 내시경)과 같은 내시경 이미징 기술의 적용은 진단 정확도를 향상시키는 것으로 알려져 있다.

그러나 백색 내시경만 통한 검사가 가장 일상적인 검사 방식이며, 영상 강화 내시경검사에서 서버 간 및 내시경 내 변동성을 해결하기 위한 절차 및 해석 프로세스의 표준화가 필요한 실정이다.

본원의 배경이 되는 기술은 한국공개특허공보 제10-2018-0053957호에 개시되어 있다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 내시경 촬영 장치에서 획득되는 백색광 위 내시경 이미지(영상)를 수집하고, 실시간으로 딥러닝 알고리즘에 적용하여, 위내시경 검사 도중 실시간으로 위 병변을 진단할 수 있는 내시경 장치를 제공하려는 것을 목적으로 한다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 위 내시경 영상을 기반으로 위 종양을 자동으로 분류하고 생성된 인공신경망을 평가하는 심층 학습 모델을 제공할 수 있는 내시경 장치를 제공하려는 것을 목적으로 한다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 의사(사용자)가 내시경 장치를 이용하여 위 종양을 검사시 획득되는 복수의 이미지 데이터를 실시간으로 평가하여, 지나칠 수 있는 위 종양을 진단할 수 있는 내시경 장치를 제공하려는 것을 목적으로 한다.

본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 실시간으로 획득되는 위 내시경 이미지를 기반으로 위신생물을 자동으로 분류하여 위암 혹은 위이형성 등을 진단 및 예측할 수 있는 내시경 장치를 제공하려는 것을 목적으로 한다.

다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 실시간으로 획득되는 위 내시경 이미지를 이용하여 병변을 진단하는 내시경 장치는, 복수의 유닛 장치를 수용하고, 피검자의 체내로 삽입되는 몸체부, 상기 몸체부의 후단에 마련되어 사용자의 입력 정보에 기반하여 상기 몸체부를 조작하는 조작부, 복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하고, 실시간으로 획득되는 위 내시경 이미지를 환자 정보와 연계하여 신규 데이터 세트를 생성하고, 구축된 상기 인공신경망 시스템을 통해 위 병변 진단을 수행하는 병변 진단부 및 상기 병변 진단부의 진단 결과 및 실시간으로 획득되는 위 내시경 이미지를 표시하는 디스플레이부를 포함할 수 있다.

본원의 일 실시예에 따르면 내시경 장치는 상기 조작부에서 제공받은 사용자의 입력 정보 및 상기 병변 진단 장치의 진단 결과에 기반하여 상기 몸체부의 동작을 제어하는 제어 신호를 생성하는 제어부를 더 포함할 수 있다.

본원의 일 실시예에 따르면 상기 몸체부는, 상기 몸체부의 전단에 구비되어, 신규 위 병변 이미지를 촬영하고, 촬영한 상기 신규 위 내시경 이미지를 제공하는 촬영부를 포함하되, 상기 제어부는, 상기 조작부로부터 상기 촬영부의 동작을 제어하기 위한 사용자의 입력을 수신하고, 상기 촬영부를 제어하기 위한 제어 신호를 생성할 수 있다.

본원의 일 실시예에 따르면 상기 촬영부에서 제공한 상기 신규 위 내시경 이미지를 위치 정보와 연계하여 위 병변 정보를 생성하는 병변 위치 획득부를 더 포함하되, 상기 제어부는 상기 병변 진단 장치의 진단 결과 및 상기 위 병변 정보에 기반하여 대상체의 조직의 일부를 채취하기 위한 생검(biopsy) 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다.

본원의 일 실시예에 따르면 상기 병변 진단부는, 상기 신규 위 병변 이미지를 제공받는 이미지 획득부, 상기 신규 위 병변 이미지와 환자 정보를 연계하여 신규 데이터 세트를 생성하는 데이터 생성부, 딥러닝 알고리즘에 적용 가능하도록 상기 신규 데이터 세트를 전처리하는 데이터 전처리부, 복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하는 인공신경망 구축부 및 상기 신규 데이터 세트를 상기 전처리 과정을 거친 후 상기 인공신경망 시스템을 통해 위 병변 진단을 수행하는 위 병변 진단부를 포함할 수 있다.

본원의 일 실시예에 따르면 상기 데이터 생성부는 상기 복수의 위 병변 이미지 각각을 환자 정보와 연계하여 데이터 세트를 생성하되, 상기 데이터 세트는 상기 인공신경망 시스템의 학습에 요구되는 학습용 데이터 세트 및 상기 인공신경망 시스템의 학습의 진행 정도를 검증하기 위한 검증용 데이터 세트로 분류하여 생성할 수 있다.

본원의 일 실시예에 따르면 상기 검증용 데이터 세트는 상기 학습용 데이터 세트와 중복되지 않는 데이터 세트일 수 있다.

본원의 일 실시예에 따르면 상기 전처리부는, 상기 신규 데이터 세트에 포함된 위 병변 이미지를 이용하여 상기 위 병변을 중심으로 하여 상기 위 병변이 포함되지 않은 이미지의 주변부 영역을 자르기(crop), 이동(shift), 회전(rotation), 뒤집기(flipping) 및 색상 조정(color adjustment) 중 어느 하나의 전처리 과정을 수행하여 상기 위 병변 이미지를 상기 딥러닝 알고리즘에 적용 가능한 상태로 전처리할 수 있다.

본원의 일 실시예에 따르면 상기 전처리부는, 상기 신규 위 병변 이미지 데이터의 데이터 수를 증가시키기 위한 증폭부를 포함하되, 상기 증폭부는 상기 신규 위 병변 이미지 데이터의 회전, 뒤집기, 자르기 및 소음 섞기를 적용하여 상기 위 병변 이미지 데이터를 증폭할 수 있다.

본원의 일 실시예에 따르면 상기 인공신경망 구축부는, 전처리 과정을 거친 상기 데이터 세트를 입력으로 하고 상기 위 병변 진단 결과에 관한 항목을 출력으로 하는 합성곱신경망(Convolutional Neural Networks) 및 완전연결 심층 신경망 (Fully-connected Neural Networks)의 학습을 통한 훈련 모델을 구축할 수 있다.

본원의 일 실시예에 따르면 상기 전처리 과정을 거친 데이터 세트는 상기 합성곱신경망의 입력으로 하고, 상기 완전연결 심층 신경망은 상기 합곱신경망의 출력 및 상기 환자 정보를 입력으로 할 수 있다.

본원의 일 실시예에 따르면 상기 합성곱신경망은 상기 복수의 위 병변 이미지로부터 복수의 특징 패턴을 출력하고, 상기 복수의 특징 패턴은 완전연결 심층 신경망에 의해 최종 분류될 수 있다.

본원의 일 실시예에 따르면 상기 위 병변 진단부는, 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 상기 위 병변 진단 분류를 수행할 수 있다.

본원의 일 실시예에 따르면 피검자의 체내로 삽입되는 몸체부 및 상기 몸체부의 후단에 마련되어 사용자의 입력 정보에 기반하여 상기 몸체부를 조작하는 조작부를 포함하는 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법은, 복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하고, 위 내시경 이미지를 환자 정보와 연계하여 신규 데이터 세트를 생성하고, 구축된 상기 인공신경망을 통해 위 병변 진단을 수행하는 단계 및 진단 결과 및 실시간으로 획득되는 위 내시경 이미지를 표시하는 단계를 포함할 수 있다.

상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 내시경 촬영 장치에서 획득되는 백색광 위 내시경 이미지(영상)를 수집하고, 딥러닝 알고리즘에 적용하여 위 병변을 진단할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 위 내시경 영상을 기반으로 위 종양을 자동으로 분류하고 생성된 인공신경망을 평가하는 심층 학습 모델을 제공할 수 있다.

전술한 본원의 과제 해결 수단에 의하면, 의사(사용자)가 내시경 장치를 이용하여 위 종양을 검사시 획득하는 복수의 이미지 데이터를 실시간으로 학습하여, 지나칠 수 있는 위 종양을 진단할 있다.

전술한 본원의 과제 해결 수단에 의하면, 경험 있는 의사가 필요했던 기존 위 내시경 판독에 비해 내시경 촬영 장치로 획득된 이미지를 학습하고, 위 병변을 분류함으로써, 큰 폭의 비용 절감 및 인력 절감 효과가 있다.

전술한 본원의 과제 해결 수단에 의하면, 내시경 촬영 장치에서 획득된 위 내시경 이미지를 사기 위 병변을 진단하는 장치를 통해 위 병변을 진단 및 예측함으로써, 객관적이고, 일관적인 판독 결과를 획득할 수 있으며, 의사가 판독할 수 때 발생할 수 있는 실수 및 오독의 가능성을 줄이고, 임상결정 보조도구로서 사용될 수 있다.

다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.

도 1은 본원의 일 실시예에 따른 내시경 장치의 개략적인 구성도이다.
도 2는 본원의 일 실시예에 따른 내시경 장치의 개략적인 블록도이다.
도 3은 본원의 일 실시예에 따른 내시경 장치의 병변 진단부의 개략적인 블록도이다.
도 4는 본원의 일 실시예에 따른 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법에 대한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

본원은 내시경 장치로부터 획득되는 위 내시경 이미지를 기반으로 위 종양을 분류하고, 그 성능을 평가하는 심층 학습 모델을 포함하는 위 병변을 진단하는 장치 및 방법에 관한 것이다. 본원은 합성곱신경망(convolutional neural network)에 기반하여 위내시경 사진을 판독하여 자동으로 위의 신생물을 진단할 수 있다.

본원은 위내시경 사진 이미지 데이터 세트에 합성곱신경망이라는 딥러닝 알고리즘을 적용하여 컴퓨터로 학습시킨 뒤, 새로 입력되는 위내시경 사진을 판독하고, 이를 통해 해당 사진에서 위신생물을 자동으로 분류하여 위암 혹은 위이형성 등을 진단 혹은 예측할 수 있다.

본원은 복수의 위 병변 이미지를 기반으로 구축된 인공신경망 시스템에 실시간으로 획득되는 신규 위 병변 이미지를 판독하여 위 암 혹은 위이형성 등을 진단 및 예측할 수 있다.

도 1은 본원의 일 실시예에 따른 내시경 장치의 개략적인 구성도이고, 도 2는 본원의 일 실시예에 따른 내시경 장치의 개략적인 블록도이다.

도 1 및 도 2를 참조하면, 내시경 장치(1)는 병변 진단부(10), 조작부(21), 몸체부(22), 제어부(23), 병변 위치 획득부(24), 디스플레이부(25)를 포함할 수 있다.

내시경 장치(1)는 데이터(이미지, 영상, 텍스트) 및 각종 통신 신호를 네트워크를 통해 송수신할 수 있다. 병변 진단 시스템(1)은 데이터 저장 및 처리의 기능을 가지는 모든 종류의 서버, 단말 또는 디바이스를 포함할 수 있다.

내시경 장치(1)는 위 내시경 검사 시 사용되는 장치일 수 있다. 내시경 장치(1)는 도 1에 도시된 바와 같이 조작부(21)를 포함하여 사용자의 입력 정보에 기반하여 몸체부(22)가 조작되도록 형성될 수 있다. 또한, 내시경 장치(1)는 캡슐형태의 형상일 수 있다. 캡슐형 내시경 장치(1)는 초소형의 카메라를 포함하고, 대상체(환자)의 신체 내부에 삽입되어 위 병변 이미지를 획득할 수 있다. 내시경 장치(1)의 형상은 앞서 설명된 형상으로 한정되는 것은 아니다.

병변 진단부(10)는 복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하고, 위 내시경 이미지를 환자 정보와 연계하여 신규 데이터 세트를 생성하고, 구축된 인공신경망 시스템을 통해 위 병변 진단을 수행할 수 있다. 달리 말해, 병변 진단부(10)는 실시간으로 획득되는 위 병변 이미지를 구축된 인공신경망 시스템을 통해 학습 후 위 병변 진단을 수행하는 것일 수 있다. 병변 진단부(10)는 후술할 도 3을 통해 보다 자세히 설명하기로 한다.

본원의 일 실시예에 따르면 조작부(21)는 몸체부(22)의 후단에 마련되어 사용자의 입력 정보에 기반하여 조작될 수 있다. 조작부(21)는 내시경 시술자에 의하여 파지 되는 부분으로서, 피검자의 체내로 삽입되는 몸체부(22)를 조작할 수 있다. 또한, 조작부(21)는 몸체부(22)가 수용하고 있는 내시경 시술시 필요한 복수의 유닛 장치의 동작을 조작할 수 있다. 조작부(21)는 회전 제어부를 포함할 수 있다. 회전 제어부는 제어 신호를 생성하는 기능 및 회전력을 제공하는 기능(예를 들어, 모터)을 담당하는 부분을 포함할 수 있다. 조작부(21)는 촬영부(미도시)를 조작하기 위한 버튼을 포함할 수 있다. 버튼은 촬영부(미도시)의 위치를 제어하기 위한 버튼으로서, 사용자가 상하좌우, 전진, 후진 등과 같은 몸체부(22)의 위치를 변경하기 위한 것일 수 있다.

몸체부(22)는 피검자의 체내로 삽입되는 부분으로서, 복수의 유닛 장치를 수용할 수 있다. 복수의 유닛 장치는 피검자의 체내를 촬영하는 촬영부(미도시), 체내로 공기를 공급하는 에어 공급 유닛, 체내로 물을 공급하는 물 공급 유닛, 체내로 빛을 조사하는 조명 유닛, 체내의 조직의 일부를 채취하거나 치료하기 위한 생검(biopsy) 유닛 및 체내로부터의 공기 또는 이물질을 흡입하는 석션 유닛 중 적어도 하나를 포함할 수 있다. 생검(biopsy) 유닛은 생체에서 조직 일부를 채취하기 위한 매스, 바늘 등 각종 의료기기들을 포함할 수 있으며, 매스, 바늘 등의 생검(biopsy) 유닛은 내시경 시술자에 의하여 생검(biopsy) 채널을 통해 체내로 삽입됨으로써 체내의 세포를 채취할 수 있다.

촬영부(미도시)는 몸체부(22)의 직경에 대응하는 크기를 갖는 카메라를 수용할 수 있다. 촬영부(미도시)는 몸체부(22)의 전단에 구비되어 위 병변 이미지를 촬영하고, 네트워크를 통해 병변 진단부(10) 및 디스플레이부(25)로 촬영한 위 병변 이미지를 제공할 수 있다. 촬영부(미도시)는 실시간으로 신규 위 병변 이미지를 획득할 수 있다.

제어부(23)는 조작부(21)에서 제공받은 사용자의 입력 정보 및 병변 진단 장치(10)의 진단 결과에 기반하여 몸체부(22)의 동작을 제어하는 제어 신호를 생성할 수 있다. 제어부(23)는 조작부(21)에 포함된 버튼 중 사용자로부터 어느 하나의 선택 입력을 수신한 경우, 해당 버튼에 대응하도록 몸체부(22)의 동작을 제어하는 제어 신호를 생성할 수 있다. 예를 들어, 제어부(23)는 사용자가 몸체부(22)를 전진하도록 하는 버튼을 입력한 경우, 몸체부(22)가 일정 속도로 대상체(환자)의 체내를 전진할 수 있도록 동작 제어 신호를 생성할 수 있다. 몸체부(22)는 제어부(23)의 제어 신호에 기반하여 대상체(환자)의 체내에서 전진할 수 있다.

또한, 제어부(23)는 촬영부(미도시)의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 촬영부(미도시)의 동작을 제어하기 위한 제어 신호는, 병변 영역에 위치한 촬영부(미도시)가 위 병변 이미지를 캡쳐하기 위한 신호일 수 있다. 달리 말해, 사용자는 조작부(21)로부터 특정 병변 영역에 위치한 촬영부(미도시)가 이미지를 획득하길 원하는 경우, 캡처 획득 버튼을 클릭할 수 있다. 제어부(23)는 조작부(21)로부터 제공받은 입력 정보에 기반하여 촬영부(미도시)가 해당 병변 영역에서 이미지를 획득할 수 있도록 제어 신호를 생성할 수 있다. 제어부(23)는 촬영부(미도시)가 촬영중인 영상으로부터 특정 위 병변 이미지를 획득하기 위한 제어 신호를 생성할 수 있다.

또한, 제어부(23)는 병변 진단 장치(10)의 진단 결과에 기반하여 대상체의 조직의 일부를 채취하기 위한 생검(biopsy) 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 제어부(23)는 병변 진단 장치(10)의 진단 결과가 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia) 및 저이형성증(low-grade dysplasia) 중 적어도 어느 하나에 속하는 경우 절제술을 시행할 수 있도록 생검(biopsy) 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 생검(biopsy) 유닛은 생체에서 조직 일부를 채취하기 위한 매스, 바늘 등 각종 의료기기들을 포함할 수 있으며, 매스, 바늘 등의 생검(biopsy) 유닛은 내시경 시술자에 의하여 생검(biopsy) 채널을 통해 체내로 삽입됨으로써 체내의 세포를 채취할 수 있다. 또한, 제어부(23)는 조작부(21)로부터 제공받는 사용자 입력 신호에 기반하여 생검(biopsy) 유닛의 동작을 제어하기 위한 제어 신호를 생성할 수 있다. 체내의 세포를 채취, 절제, 제거하는 동작은 사용자가 조작부(21)를 이용하여 수행하는 것일 수 있다.

본원의 일 실시예에 따르면, 병변 위치 획득부(24)는 촬영부(미도시)에서 제공 받은 위 병변 이미지와 위치 정보를 연계하여 위 병변 정보를 생성할 수 있다. 위치 정보는 몸체부(22)가 현재 체내에 위치한 위치정보일 수 있다. 달리 말해, 몸체부(22)가 대상체(환자)의 위의 제1지점에 위치하고, 제1지점으로부터 위 병변 이미지가 획득된 경우, 병변 위치 획득부(24)는 상기 위 병변 이미지와 위치 정보를 연계하여 위 병변 정보를 생성할 수 있다.

병변 위치 획득부(24)는 획득된 위 병변 이미지와 위치 정보를 연계하여 생성된 위 병변 정보를 사용자(의사)에게 제공할 수 있다. 병변 진단부(10)의 진단 결과 및 병변 위치 획득부(24)의 위 병변 정보를 디스플레이부(25)를 통해 사용자에게 제공함으로써, 해당 병변을 절제(제거)하는 시술 및 수술 시 해당 병변 위치가 아닌 곳에서 절제술이 수행될 수 있는 상황을 방지할 수 있다.

또한, 제어부(23)는 병변 위치 획득부(24)에서 제공한 위치 정보를 이용하여 생검(biopsy) 유닛이 해당 병변 위치에 위치하지 않을 경우, 상기 생검(biopsy) 유닛의 위치를 제어하기 위한 제어신호를 생성할 수 있다.

도 3은 본원의 일 실시예에 따른 내시경 장치의 병변 진단부의 개략적인 블록도이다.

도 3을 참조하면, 병변 진단부(10)는 이미지 획득부(11), 데이터 생성부(12), 데이터 전처리부(13), 인공신경망 구축부(14) 및 위 병변 진단부(15)를 포함할 수 있다. 다만, 병변 진단부(10)의 구성이 앞서 개시된 것들로 한정되는 것은 아니다. 예를 들어, 병변 진단부(10)는 정보를 저장하기 위한 데이터베이스를 더 포함할 수 있다.

이미지 획득부(11)는 신규 위 병변 이미지를 획득할 수 있다. 이미지 획득부(11)는 촬영부(미도시)로부터 신규 위 병변 이미지를 수신할 수 있다. 이미지 획득부(11)는 위 내시경 진료에 사용되고 있는 내시경 촬영 장치(디지털 카메라)로 획득된 신규 위 병변 이미지를 획득할 수 있다. 이미지 획득부(11)는 병리학적으로 확인된 위 병변의 내시경 백색광 이미지를 수집할 수 있다. 신규 위 병변 이미지는 내시경 검사(치료)시 촬영부(미도시)를 통해 실시간으로 획득되는 위 병변 이미지일 수 있다.

또한, 이미지 획득부(11)는 피검사체의 위의 제1 영역을 각도, 방향 및 거리 중 어느 하나를 달리하여 촬영된 영상(이미지)을 획득할 수 있다. 이미지 획득부(11)는 JPEG 형식의 신규 위 병변 이미지를 획득할 수 있다. 신규 위 병변 이미지는 1280 x 640 픽셀의 해상도로 각도 35도 필드의 스타일을 적용한 것일 수 있다. 한편, 이미지 획득부(11)는 신규 위 병변 이미지에 대한 개별 식별자 정보가 제거된 이미지를 획득할 수 있다. 이미지 획득부(11)는 중앙에 병변이 위치하고, 위 병변 이미지 중 검은색 프레임 영역이 제거된 신규 위 병변 이미지를 획득할 수 있다.

반면, 이미지 획득부(11)는 이미지 획득 과정에서 초점 이탈, 인공물, 음역 등 품질이 낮거나 낮은 해상도의 이미지가 획득되는 경우, 해당 이미지를 배제할 수 있다. 달리 말해, 이미지 획득부(11)는 딥러닝 알고리즘에 적용 가능하지 않은 이미지인 경우, 해당 이미지를 배제할 수 있다.

본원의 다른 일 실시예에 따르면, 내시경 장치(1)는 캡슐 형태로 형성된 장치일 수 있다. 캡슐 내시경 장치(1)는 대상자(피검자)의 인체 내부에 삽입되고, 원격에서 조작될 수 있다. 캡슐 내시경 장치로부터 획득되는 신규 위 병변 이미지는 사용자가 캡처를 원하는 영역의 이미지뿐만 아니라, 동영상 촬영으로 획득되는 모든 영상을 이미지화하여 획득되는 데이터일 수 있다.

데이터 생성부(12)는 신규 위 병변 이미지와 환자 정보를 연계하여 신규 데이터 세트를 생성할 수 있다. 환자 정보는 대상자(피검자)의 성별, 나이, 키, 몸무게, 인종, 국적, 흡연량, 음주량, 가족력 등의 다양한 정보를 포함할 수 있다. 또한, 환자 정보는 임상 정보를 포함할 수 있다. 임상정보란 병원에서 진단을 내리는 의사가 특정 진단에 활용하는 모든 데이터를 의미할 수 있다. 특히, 진료과정에서 생성되는 성별, 나이를 포함하는 자료, 특정 치료 여부 자료, 급여 청구 및 처방 자료 등을 포함하는 전자 의무 기록 자료일 수 있다. 또한, 임상정보는 유전자 정보와 같은 생물학적 데이터 자료를 포함할 수 있다. 생물학적 데이터 자료는 심박수, 심전도, 운동량, 산소포화도, 혈압, 체중, 당료와 같은 수치적 데이터를 갖는 개인 건강 정보를 포함할 수 있다.

환자 정보는 이하 설명되는 인공신경망 구축부(14)에서 합성곱신경망 구조의 결과물과 함께 완전 연결 신경망에 입력되는 데이터일 수 있으며, 위 병변 이미지 외의 정보를 인공신경망을 입력으로 함으로써 보다 정확도를 향상시키는 효과를 기대할 수 있다.

전처리부(13)는 딥러닝 알고리즘에 적용 가능하도록 신규 데이터 세트를 전처리할 수 있다. 전처리부(13)는 딥러닝 알고리즘에서 인식 성능을 높이고 환자 간 영상과의 유사성을 최소화하기 위해 신규 데이터 세트를 전처리할 수 있다. 딥러닝 알고리즘은 합성곱신경망(Convolutional Neural Networks) 구조와 완전연결 심층 신경망 (Fully-connected Neural Networks) 구조 두 부분으로 이루어질 수 있다.

본원의 일 실시예에 따르면, 전처리부(13)는 5단계의 전처리 과정을 수행할 수 있다. 먼저, 전처리부(13)는 자르기(crop) 단계를 수행할 수 있다. 자르기(crop) 단계는 이미지 획득부(11)에서 획득된 신규 위 병변 이미지에서 병변을 중심으로 하여 가장자리의 불필요한 부분(검은색 배경)을 잘라낼 수 있다. 일예로, 전처리부(13)는 임의로 지정한 픽셀 크기(예를 들어, 299 x 299 픽셀, 244 x244 픽셀)를 설정하여 위 병변 이미지를 자를 수 있다. 달리 말해, 전처리부(13)는 딥러닝 알고리즘에 작용 가능한 사이즈로 신규 위 병변 이미지를 자를 수 있다.

다음으로, 전처리부(13)는 평행 이동(shift) 단계를 수행할 수 있다. 전처리부(13)는 신규 위 병변 이미지를 상하좌우 방향으로 평행 이동시킬 수 있다. 또한, 전처리부(13)는 뒤집기(flipping) 단계를 수행할 수 있다. 예를 들어, 전처리부(13)는 수직으로 위 병변 이미지를 뒤집을 수 있다. 또한, 전처리부(13)는 위 병변 이미지를 상하방향으로 뒤집고 이후 좌우방향으로 뒤집는 과정을 수행할 수 있다.

또한, 전처리부(13)는 색상 조정(color adjustment) 단계를 수행할 수 있다. 예를 들어, 색상 조정 단계에서 전처리부(13)는 전체 데이터 세트의 평균RGB 값으로 평균 감산 방법을 사용하여 추출된 색상을 기반으로 이미지의 색상 조정을 수행할 수 있다. 또한, 전처리부(13)는 랜덤하게 신규 위 병변 이미지의 색상을 조정할 수 있다.

전처리부(13)는 5단계의 전처리 과정을 모두 수행하여 신규 위 병변 이미지를 딥러닝 알고리즘에 적용 가능한 데이터 셋으로 생성할 수 있다. 또한, 전처리부(13)는 5단계의 전처리 과정 중 적어도 어느 하나를 수행하여 신규 위 병변 이미지를 딥러닝 알고리즘에 적용 가능한 데이터 셋으로 생성할 수 있다.

또한, 전처리부(13)는 확대/축소(resizing) 단계를 더 수행할 수 있다. 확대/축소(resizing) 단계는 위 병변 이미지를 미리 설정된 사이즈로 확대 및 축소하는 단계일 수 있다.

전처리부(13)는 신규 위 병변 이미지 데이터의 데이터 수를 증가시키기 위한 이미지 데이터를 증폭하는 증폭부(미도시)를 포함할 수 있다.

본원의 일 실시예에 따르면, 합성곱신경망을 포함하는 딥러닝 알고리즘을 이용하는 경우, 데이터의 양이 많을수록 좋은 성능을 달성하는 데 유리하지만, 신규 위 내시경 사진 이미지는 그 검사 건수가 다른 검사에 비해 상당히 적은 편으로, 이미지 획득부(11)에서 획득된 신규 위 병변 이미지 데이터 수집량은 합성곱 신경망을 활용하기에 매우 부족할 수 있다. 증폭부(미도시)는 신규 위 병변 이미지의 회전, 뒤집기, 자르기, 소음 섞기 중 적어도 어느 하나의 방법을 적용하여 데이터 증폭(augmentation)과정을 수행할 수 있다.

전처리부(13)는 미리 설정된 기준값에 대응되도록 전처리 과정을 수행할 수 있다. 미리 설정된 기준값은 사용자가 임의로 지정한 값일 수 있다. 또한, 미리 설정된 기준값을 획득된 신규 위 병변 이미지의 평균값에 의해 결정된 값일 수 있다. 전처리부(13)를 거친 신규 데이터 세트는 인공신경망 구축부(14)로 제공될 수 있다.

이하에서는 인공신경망 구축부(14)의 인공신경망 시스템 구축의 실시예를 설명하고자 한다.

본원의 일 실시예에 따르면, 인공신경망 구축부(14)는 이미지 획득부(11)가 복수의 위 병변 이미지를 획득하고, 데이터 생성부(12)가 복수의 위 병변 이미지 데이터 각각에 환자 정보를 연계하여 데이터 세트를 기반으로 인공신경망 시스템을 구축할 수 있다.

인공신경망 구축부(14)는 이미지 획득부(11)가 복수의 위 병변 이미지를 복수의 병원의 영상 보관 장치 및 데이터베이스 시스템으로부터 수신한 복수의 위 병변 이미지를 이용하여 인공신경망 시스템을 구축할 수 있다. 복수의 병원의 영상 보관 장치는, 다수의 병원에서 위 내시경 수행 시 획득된 위 병변 이미지를 저장한 장치일 수 있다.

또한, 인공신경망 구축부(14)는 딥러닝 알고리즘에 적용 가능하도록 상기 데이터 세트를 전처리하는 과정을 거칠 수 있다. 이때의 전처리 과정은 앞서 설명한 데이터 전처리부(13)에서 수행될 수 있다. 예를 들어, 인공신경망 구축부(14)는 데이터 세트에 포함된 위 병변 이미지를 앞서 설명한 전처리부(13)에서 수행되는 5단계의 전처리 과정을 거쳐 딥러닝 알고리즘에 적용 가능하도록 데이터 세트를 전처리할 수 있다.

일예로, 데이터 생성부(12)는 딥러닝 알고리즘 적용을 위한 학습용 데이터 세트 및 검증용 데이터 세트를 생성할 수 있다. 데이터 세트를 인공신경망 학습에 요구되는 학습용 데이터 세트 및 인공신경망의 학습의 진행 정보를 검증하기 위한 검증용 데이터 세트로 분류하여 데이터 세트를 생성할 수 있다.

또한, 데이터 생성부(12)는 이미지 획득부(11)로부터 획득된 복수의 위 병변 이미지 중 랜덤하게 학습용 데이터 세트에 활용될 이미지 및 검증용 데이터 세트에 활용된 이미지를 분류할 수 있다. 또한, 데이터 생성부(12)는 검증용 데이터 세트를 선택한 나머지를 데이터 세트를 학습용 데이터 세트로 사용할 수 있다. 검증용 데이터 세트는 랜덤하게 선택될 수 있다. 검증용 데이터 세트 및 학습용 데이터 세트의 비율은 미리 설정된 기준값에 의해 결정될 수 있다. 이때, 미리 설정된 기준값은 검증용 데이터 세트의 비율이 10%, 학습용 데이터 세트의 비율이 90%로 설정될 수 있으나, 이에 한정되는 것은 아니다.

데이터 생성부(12)는 과적합 상태를 방지하기 위해 학습용 데이터 세트 및 검증용 데이터 세트를 구분하여 데이터 세트를 생성할 수 있다. 예를 들어, 신경망 구조의 학습 특성상 학습용 데이터 세트는 과적합 상태가 될 수 있기 때문에, 데이터 생성부(12)는 검증용 데이터 세트를 활용하여, 인공신경망의 과적합 상태가 되는 것을 방지할 수 있다.

이때, 검증용 데이터 세트는 학습용 데이터 세트와 중복되지 않는 데이터 세트일 수 있다. 검증용 데이터는 인공신경망 구축에 사용되지 않은 데이터이므로, 검증 작업 시에 인공신경망에서 처음 접하는 데이터이다. 따라서 검증용 데이터 세트는 새로운 이미지(학습에 사용되지 않은 신규 이미지)가 입력으로 들어올 경우, 인공신경망의 성능 평가에 적절한 데이터 세트일 수 있다.

인공신경망 구축부(14)는 전처리 과정을 거친 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망을 구축할 수 있다.

본원의 일 실시예에 따르면, 인공신경망 구축부 (14)는 합성곱신경망(Convolutional Neural Networks) 구조와 완전연결 심층 신경망 (Fully-connected Neural Networks) 구조 두 부분으로 이루어진 딥러닝 알고리즘을 적용하여 위 병변 분류 결과를 출력으로 할 수 있다. 완전연결 심층 신경망은 노드 간에 횡적/종적으로 2차원적 연결을 이루고, 서로 같은 층에 위치한 노드 간에는 연결 관계가 존재하지 않으며, 바로 인접한 층에 위치한 노드들 간에만 연결 관계가 존재한다는 것을 특징으로 하는 신경망이다.

인공신경망 구축부 (14)는 전처리 과정을 거친 학습용 데이터 세트를 입력으로 하는 합성곱신경망과, 합성곱신경망의 출력을 완전연결 심층 신경망의 입력으로 하는 학습을 통한 훈련 모델을 구축할 수 있다.

본원의 일 실시예에 따르면 합성곱신경망은 위 병변 이미지를 분석하는 복수의 특정 특징 패턴을 추출할 수 있다. 이때, 추출된 특정 특징 패턴은 완전연결 심층 신경망에서 최종 분류를 하는데 사용될 수 있다.

합성곱신경망(Convolutional Neural Networks)은 음성 인식이나 이미지 인식에서 주로 사용되는 신경망의 한 종류이다. 다차원 배열 데이터를 처리하도록 구성되어 있어, 컬러 이미지와 같은 다차원 배열 처리에 특화되어 있다. 따라서 이미지 인식 분야에서 딥러닝을 활용한 기법은 대부분 합성곱신경망을 기초로 한다.

합성곱신경망(CNN)은 이미지를 하나의 데이터가 아닌, 여러 개로 분할하여 처리한다. 이렇게 하면 이미지가 왜곡되더라도 이미지의 부분적 특성을 추출할 수 있어 올바른 성능을 낼 수 있다.

합성곱신경망은 복수의 층 구조로 이루어질 수 있다. 각각의 층을 구성하는 요소는 합성곱 층, 활성화 함수, max pooling 층, 활성화 함수, dropout층으로 구성될 수 있다. 합성곱 층은 kernel이라 불리는 필터 역할을 하여 전체 이미지(또는 생성된 새로운 특징 패턴)를 부분적으로 처리한 것들이 이미지와 같은 크기의 새로운 특징 패턴(feature pattern)을 추출할 수 있다. 합성곱 층은 특징 패턴에서 활성화 함수를 통해 특징 패턴의 값들을 처리하기 편하게 보정할 수 있다. max pooling 층은 일부 위 병변 이미지를 샘플링(sampling) 하여 크기를 조절하여 이미지의 크기를 줄일 수 있다. 합성곱신경망은 합성곱 층 및 max pooling 층을 거쳐, 특징 패턴(feature pattern)의 크기는 줄어들게 되지만, 복수의 kernel 활용을 통해 복수의 특징 패턴(feature pattern)을 추출할 수 있다. dropout 층은 합성곱신경망의 가중치들을 훈련시킬 때 효율적인 훈련을 위해 일부 가중치들을 의도적으로 고려하지 않는 방법일 수 있다. 한편, dropout 층은 훈련된 모델을 통해 실제 테스트를 하는 경우에는 적용하지 않을 수 있다.

합성곱신경망에서 추출된 복수의 특징 패턴(feature pattern)은 다음 단계인 완전연결 심층 신경망으로 전달되어 분류 작업을 하는 데 활용될 수 있다. 합성곱신경망은 층의 개수를 조절할 수 있다. 합성곱신경망은 층의 개수는 모델 훈련을 위한 훈련용 데이터의 양에 맞추어 조절함으로써 보다 안정된 모델을 구축할 수 있다.

또한, 인공신경망 구축부 (14)는 전처리 과정을 거친 학습용 데이터 세트를 합성곱신경망의 입력으로 하고, 합성곱신경망의 출력 및 환자 정보를 완전연결 심층 신경망의 입력으로 하는 학습을 통한 진단(훈련) 모델을 구축할 수 있다. 달리 말해, 인공신경망 구축부 (14)는 전처리 과정을 거친 이미지 데이터가 우선적으로 합성곱신경망으로 들어가도록 하고, 합성곱신경망을 거치고 나온 결과물이 완전연결 심층 신경망에 들어가도록 할 수 있다. 또한, 인공신경망 구축부 (14)는 임의로 추출된 특징(feature)들은 합성곱신경망을 거치지 않고, 곧바로 완전연결 심층 신경망으로 들어가도록 할 수 있다.

이때, 환자 정보는 대상자(피검자)의 성별, 나이, 키, 몸무게, 인종, 국적, 흡연량, 음주량, 가족력 등의 다양한 정보를 포함할 수 있다. 또한, 환자 정보는 임상 정보를 포함할 수 있다. 임상정보란 병원에서 진단을 내리는 의사가 특정 진단에 활용하는 모든 데이터를 의미할 수 있다. 특히, 진료과정에서 생성되는 성별, 나이를 포함하는 자료, 특정 치료 여부 자료, 급여 청구 및 처방 자료 등을 포함하는 전자 의무 기록 자료일 수 있다. 또한, 임상정보는 유전자 정보와 같은 생물학적 데이터 자료를 포함할 수 있다. 생물학적 데이터 자료는 심박수, 심전도, 운동량, 산소포화도, 혈압, 체중, 당료와 같은 수치적 데이터를 갖는 개인 건강 정보를 포함할 수 있다.

환자 정보는 인공신경망 구축부(14)에서 합성곱신경망 구조의 결과물과 함께 완전 연결 신경망에 입력되는 데이터이며, 환자 정보를 인공신경망을 입력으로 함으로써 위 병변 이미지만을 이용하여 도출된 결과보다 정확도를 향상시키는 효과를 기대할 수 있다.

일예로, 암이 고령에 많다는 점이 학습용 데이터 세트의 임상정보를 통해 학습하게 되면, 이미지 특징과 함께 42세 또는 79세의 나이가 입력되었을 경우, 위 병변 분류 결과에서 암 또는 양성 구분이 어려운 애매모호한 병변의 구분에서 고령의 환자는 암일 확률이 높아지는 쪽으로 결과를 도출할 수 있다.

인공신경망 구축부(14)는 트레이닝 데이터를 딥러닝 알고리즘 구조(합성곱신경망을 거쳐 완전연결 심층 신경망으로 형성된 구조)에 적용시켜 도출되는 결과와 실제 결과와의 오차를 비교하여 해당 오차에 해당하는 만큼 신경망 구조의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 알고리즘을 통해 결과가 피드백되어 학습 될 수 있다. 역전파(backpropagation) 알고리즘은 결과의 오차(실제값과 결과값이 차이)를 줄이기 위해 각 노드에서 다음 노드로 이어지는 가중치를 조절하는 것일 수 있다. 학습부(14)는 학습용 데이터 세트와 검증용 데이터 세트를 이용하여 신경망을 학습시켜 가중치 매개 변수를 구하여 최종 진단 모델을 도출하는 것일 수 있다.

위 병변 진단부(15)는 신규 데이터 세트를 전처리 과정을 거친 후 인공신경망을 통해 위 병변 진단을 수행할 수 있다. 달리 말해, 위 병변 진단부(15)는 앞서 설명된 인공신경망 구축부 (14)에서 도출된 최종 진단 모델을 이용하여 신규 위 내시경 이미지에 대한 진단을 도출할 수 있다.

신규 위 내시경 이미지는 내시경 장치(1)의 촬영부를 통해 획득되는 실시간 위 내시경 이미지일 수 있다. 신규 위 내시경 이미지는 사용자가 진단하고자 하는 위 병변 이미지를 포함하는 데이터 일 수 있다. 신규 데이터 세트는 신규 위 병변 이미지를 환자 정보와 연계하여 생성된 데이터 세트일 수 있다. 신규 데이터 세트는 전처리부(12)의 전처리 과정을 거쳐 딥러닝 알고리즘에 적용 가능한 상태로 전처리될 수 있다. 이후 전처리된 신규 데이터 세트는 학습부(14)에 입력되어, 학습 파라미터를 기반으로 위 병변 이미지가 진단될 수 있다.

본원의 일 실시예에 따르면, 위 병변 진단부(15)는 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 상기 위 병변 진단 분류를 수행할 수 있다. 또한, 위 병변 진단부(15)는 암과 비암으로 분류할 수 있다. 또한, 위 병변 진단부(15)는 신생물과 비신생물 2가지의 범주로 분류하여 위 병변 진단 분류를 수행할 수 있다. 신 생물 분류에는 AGC, EGC, HGD 및 LGD가 포함될 수 있다. 비 종양 범주에는 위염, 양성 궤양, 기형, 용종, 장 상피화 또는 상피 종양과 같은 병변이 포함될 수 있다.

병변 진단부(10)는 모호한 병변을 분류 및 진단하기 위해 불필요한 생체검사나 내시경 절제로 인해 발생하는 부작용을 감소시키기 위해 촬영부(미도시)로 획득된 이미지를 분석하여 모호한 병변을 자동으로 분류 및 진단해 주고, 신생물(위험 종양)일 경우, 몸체부(22)에 포함된 복수의 유닛 장치를 이용하여 내시경 절제 시술을 시행하도록 정보를 생성할 수 있다.

이하에서는 상기에 자세히 설명된 내용을 기반으로, 본원의 동작 흐름을 간단히 살펴보기로 한다.

도 4는 본원의 일 실시예에 따른 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법에 대한 동작 흐름도이다.

도 4에 도시된 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법은 앞서 설명된 내시경 장치(1)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 내시경 장치(1)에 대하여 설명된 내용은 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법에 대한 설명에도 동일하게 적용될 수 있다.

단계 S401에서 내시경 장치(1)는 인공신경망을 통해 신규 데이터 세트의 위 병변 이미지의 위 병변 진단을 수행할 수 있다. 단계 S401 이전에 내시경 장치(1)는 복수의 위 병변 이미지를 획득할 수 있다. 위 병변 이미지는 백색광 이미지일 수 있다. 또한, 내시경 장치(1)는 복수의 위 병변 이미지와 환자 정보를 연계하여 데이터 세트를 생성할 수 있다. 내시경 장치(1)는 인공신경망 학습에 요구되는 학습용 데이터 세트 및 인공신경망의 학습의 진행 정보를 검증하기 위한 검증용 데이터 세트로 분류하여 데이터 세트를 생성할 수 있다. 이때, 검증용 데이터 세트는 학습용 데이터 세트와 중복되지 않은 데이터 세트 일 수 있다. 검증용 데이터 세트는 신규 데이터 세트가 전처리 과정을 거친 후 인공신경망의 입력으로 되는 경우, 인공신경망의 성능 평가에 활용되는 데이터일 수 있다.

또한, 내시경 장치(1)는 딥러닝 알고리즘에 적용 가능하도록 신규 데이터 세트를 전처리할 수 있다. 내시경 장치(1)는 신규 데이터 세트에 포함된 신규 위 병변 이미지를 이용하여 위 병변을 중심으로 하여 위 병변이 포함되지 않은 이미지의 주변부 영역을 자르고, 딥러닝 알고리즘에 작용 가능한 사이즈로 자르는 CROP 과정을 수행할 수 있다. 또한, 내시경 장치(1)는 신규 위 병변 이미지를 상하좌우 방향으로 평행 이동(Shift) 시킬 수 있다. 또한, 내시경 장치(1)는 신규 위 병변 이미지를 뒤집을(flipping) 수 있다. 또한, 내시경 장치(1)는 신규 위 병변 이미지의 색상을 조정할 수 있다. 내시경 장치(1)는 복수의 전처리 과정 중 적어도 어느 하나를 수행하여 신규 위 병변 이미지를 딥러닝 알고리즘에 적용 가능한 상태로 전처리할 수 있다.

또한, 내시경 장치(1)는 신규 위 병변 이미지 데이터의 데이터 수를 증가시키기 위해 이미지 데이터를 증폭시킬 수 있다. 내시경 장치(1)는 신규 이미지 데이터를 증폭시키기 위해 위 병변 이미지 데이터의 회전, 뒤집기, 자르기 및 소음 섞기 중 적어도 어느 하나를 적용하여 위 병변 이미지 데이터를 증폭시킬 수 있다.

내시경 장치(1)는 전처리 과정을 거친 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 학습을 통한 인공신경망을 구축할 수 있다. 내시경 장치(1)는 전처리 과정을 거친 데이터 세트를 입력으로 하고 위 병변 분류 결과에 관한 항목을 출력으로 하는 합성곱신경망(Convolutional Neural Networks) 및 완전연결 심층 신경망 (Fully-connected Neural Networks)의 학습을 통한 훈련 모델을 구축할 수 있다.

또한, 내시경 장치(1)는 전처리 과정을 거친 데이터 세트는 합성곱신경망의 입력으로 하고, 완전연결 심층 신경망은 합성곱신경망의 출력 및 환자 정보를 입력으로 하여 훈련 모델을 구축할 수 있다. 합성곱신경망은 복수의 위 병변 이미지로부터 복수의 특징 패턴을 출력하고, 복수의 특징 패턴은 완전연결 심층 신경망에 의해 최종 분류될 수 있다.

내시경 장치(1)는 신규 데이터 세트를 전처리 과정을 거친 후 인공신경망을 통해 위 병변 진단을 수행할 수 있다. 내시경 장치(1)는 진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 신규 위 내시경 이미지에 대한 위 병변 진단 분류를 수행할 수 있다.

단계 S402에서 내시경 장치(1)는 실시간으로 획득된 신규 위 내시경 이미지 및 인공신경망을 거쳐 출력된 위 병변 진단 결과를 출력할 수 있다.

상술한 설명에서, 단계 S401 내지 S402는 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.

본원의 일 실시 예에 따른 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 전술한 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

1: 내시경 장치
10: 병변 진단부
11: 이미지 획득부 12: 데이터 생성부
13: 데이터 전처리부 14: 학습부
15: 위 병변 진단부
21: 조작부 22: 몸체부
23: 제어부 24: 병변 위치 획득부
25: 디스플레이부

Claims

실시간으로 획득되는 위 내시경 이미지를 이용하여 병변을 진단하는 내시경 장치에 있어서,
복수의 유닛 장치를 수용하고, 피검자의 체내로 삽입되는 몸체부;
상기 몸체부의 후단에 마련되어 사용자의 입력 정보에 기반하여 상기 몸체부를 조작하는 조작부;
복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하고, 실시간으로 획득되는 신규 위 내시경 이미지를 환자 정보와 연계하여 신규 데이터 세트를 생성하고, 구축된 상기 인공신경망 시스템을 통해 위 병변 진단을 수행하는 병변 진단부; 및
상기 병변 진단부의 진단 결과 및 실시간으로 획득되는 신규 위 내시경 이미지를 표시하는 디스플레이부를 포함하는 내시경 장치.
제1항에 있어서,
상기 조작부에서 제공받은 사용자의 입력 정보 및 상기 병변 진단 장치의 진단 결과에 기반하여 상기 몸체부의 동작을 제어하는 제어 신호를 생성하는 제어부를 더 포함하는 내시경 장치.
제2항에 있어서,
상기 몸체부는,
상기 몸체부의 전단에 구비되어, 신규 위 병변 이미지를 촬영하고, 촬영한 상기 신규 위 내시경 이미지를 상기 병변 진단부로 제공하는 촬영부를 포함하되,
상기 제어부는,
상기 조작부로부터 상기 촬영부의 동작을 제어하기 위한 사용자의 입력을 수신하고, 상기 촬영부를 제어하기 위한 제어 신호를 생성하는 것인, 내시경 장치.
제3항에 있어서,
상기 촬영부에서 제공한 상기 신규 위 내시경 이미지를 위치 정보와 연계하여 위 병변 정보를 생성하는 병변 위치 획득부를 더 포함하되,
상기 제어부는 상기 병변 진단 장치의 진단 결과 및 상기 위 병변 정보에 기반하여 대상체의 조직의 일부를 채취하기 위한 생검(biopsy) 유닛의 동작을 제어하기 위한 제어 신호를 생성하는 것인, 내시경 장치.
제2항에 있어서,
상기 병변 진단부는,
상기 신규 위 병변 이미지를 제공받는 이미지 획득부;
상기 신규 위 병변 이미지와 환자 정보를 연계하여 신규 데이터 세트를 생성하는 데이터 생성부;
딥러닝 알고리즘에 적용 가능하도록 상기 신규 데이터 세트를 전처리하는 데이터 전처리부;
복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하는 인공신경망 구축부; 및
상기 신규 데이터 세트를 상기 전처리 과정을 거친 후 상기 인공신경망 시스템을 통해 위 병변 진단을 수행하는 위 병변 진단부를 포함하는 것인, 내시경 장치.
제5항에 있어서,
상기 데이터 생성부는 상기 복수의 위 병변 이미지 각각을 환자 정보와 연계하여 데이터 세트를 생성하되, 상기 데이터 세트는 상기 인공신경망 시스템의 학습에 요구되는 학습용 데이터 세트 및 상기 인공신경망 시스템의 학습의 진행 정도를 검증하기 위한 검증용 데이터 세트로 분류하여 생성되는 것인, 내시경 장치.
제6항에 있어서,
상기 검증용 데이터 세트는 상기 학습용 데이터 세트와 중복되지 않는 데이터 세트인 것인, 내시경 장치.
제5항에 있어서,
상기 전처리부는,
상기 신규 데이터 세트에 포함된 위 병변 이미지를 이용하여 상기 위 병변을 중심으로 하여 상기 위 병변이 포함되지 않은 이미지의 주변부 영역을 자르기(crop), 이동(shift), 회전(rotation), 뒤집기(flipping) 및 색상 조정(color adjustment) 중 어느 하나의 전처리 과정을 수행하여 상기 위 병변 이미지를 상기 딥러닝 알고리즘에 적용 가능한 상태로 전처리하는 것인, 내시경 장치.
제8항에 있어서,
상기 전처리부는,
상기 신규 위 병변 이미지 데이터의 데이터 수를 증가시키기 위한 증폭부를 포함하되, 상기 증폭부는 상기 신규 위 병변 이미지 데이터의 회전, 뒤집기, 자르기 및 소음 섞기를 적용하여 상기 신규 위 병변 이미지 데이터를 증폭하는 것인, 내시경 장치.
제6항에 있어서,
상기 인공신경망 구축부는,
전처리 과정을 거친 상기 데이터 세트를 입력으로 하고 상기 위 병변 진단 결과에 관한 항목을 출력으로 하는 합성곱신경망(Convolutional Neural Networks) 및 완전연결 심층 신경망 (Fully-connected Neural Networks)의 학습을 통한 훈련 모델을 구축하는 것인, 내시경 장치.
제10항에 있어서,
전처리 과정을 거친 상기 데이터 세트는 상기 합성곱신경망의 입력으로 하고, 상기 완전연결 심층 신경망은 상기 합성곱신경망의 출력 및 상기 환자 정보를 입력으로 하는 것인, 내시경 장치.
제11항에 있어서,
상기 합성곱신경망은
상기 복수의 위 병변 이미지로부터 복수의 특징 패턴을 출력하고,
상기 복수의 특징 패턴은 완전연결 심층 신경망에 의해 최종 분류되는 것인, 내시경 장치.
제5항에 있어서,
상기 위 병변 진단부는,
진행 위암(advanced gastric cancer), 조기 위암(early gastric cancer), 고도 이형성증(high-grade dysplasia), 저이형성증(low-grade dysplasia) 및 비종양(non-neoplasm) 중 적어도 어느 하나로 어느 하나로 상기 위 병변 진단 분류를 수행하는 것인, 내시경 장치.
피검자의 체내로 삽입되는 몸체부 및 상기 몸체부의 후단에 마련되어 사용자의 입력 정보에 기반하여 상기 몸체부를 조작하는 조작부를 포함하는 내시경 장치가 실시간으로 획득하는 위 내시경 이미지를 이용하여 병변을 진단하는 방법에 있어서,
복수의 위 병변 이미지를 입력으로 하고 위 병변 진단 결과에 관한 항목을 출력으로 하는 학습을 통해 인공신경망 시스템을 구축하고, 실시간으로 획득되는 신규 위 내시경 이미지를 환자 정보와 연계하여 신규 데이터 세트를 생성하고, 구축된 상기 인공신경망 시스템을 통해 위 병변 진단을 수행하는 단계; 및
진단 결과 및 실시간으로 획득되는 신규 위 내시경 이미지를 표시하는 단계를 포함하는, 병변 진단 방법.
제14항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.