KR20190133423A - 수술 시뮬레이션 정보 생성방법 및 프로그램 - Google Patents

Abstract

컴퓨터가 대상체의 수술부위를 포함하는 3D 모델링 데이터를 생성하는 단계, 상기 3D 모델링 데이터에 대한 가상수술데이터를 획득하는 단계 및 상기 가상수술데이터를 이용하여 하나 이상의 세부수술동작을 포함하는 큐시트데이터를 생성하는 단계를 포함하는, 수술 시뮬레이션 정보 생성방법이 개시된다.

Description

수술 시뮬레이션 정보 생성방법 및 프로그램 {PROGRAM AND METHOD FOR GENERATING SURGICAL SIMULATION INFORMATION}

본 발명은 수술 시뮬레이션 정보를 생성하는 방법 및 프로그램에 관한 것이다.

수술과정에서, 의사의 수술을 보조하기 위한 정보를 제공할 수 있는 기술들의 개발이 요구되고 있다. 수술을 보조하기 위한 정보를 제공하기 위해서는, 수술행위를 인식할 수 있어야 한다.

기존에는 수술 프로세스를 최적화 하기 위한 시나리오 구상을 위해서는 사전에 촬영된 의료영상을 참고하거나 매우 숙련된 의사의 자문을 받았으나, 의료영상만으로는 불필요한 프로세스의 판단이 어려웠으며 숙련된 의사의 자문은 특정 환자에 맞는 자문을 받기에 어려운 문제점이 있었다.

따라서, 의료영상이나 숙련된 의사의 자문은 수술대상 환자에 대한 수술프로세스의 최적화를 위한 보조 용도로는 활용되기 어려운 점이 많았다.

이에, 3차원 의료영상(예를 들어, 3차원 수술도구 움직임 및 도구의 움직임으로 인해 발생하는 장기 내부의 변화에 대한 가상영상)을 이용하여 수술을 행하는데 있어서 불필요한 프로세스를 최소화하여 수술 프로세스를 최적화하고, 이에 기반한 수술보조 정보를 제공할 수 있는 방법에 대한 개발이 요구된다.

또한, 최근에는 의료영상의 분석에 딥 러닝이 널리 이용되고 있다. 딥 러닝은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions, 다량의 데이터나 복잡한 자료들 속에서 핵심적인 내용 또는 기능을 요약하는 작업)를 시도하는 기계학습 알고리즘의 집합으로 정의된다. 딥 러닝은 큰 틀에서 사람의 사고방식을 컴퓨터에게 가르치는 기계학습의 한 분야로 볼 수 있다.

본 발명이 해결하고자 하는 과제는 수술 시뮬레이션 정보를 생성하는 방법 및 프로그램을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따른 수술 시뮬레이션 정보 생성방법은, 컴퓨터가 대상체의 수술부위를 포함하는 3D 모델링 데이터를 생성하는 단계, 상기 3D 모델링 데이터에 대한 가상수술데이터를 획득하는 단계 및 상기 가상수술데이터를 이용하여 하나 이상의 세부수술동작을 포함하는 큐시트데이터를 생성하는 단계를 포함한다.

또한, 상기 큐시트데이터를 생성하는 단계는, 상기 가상수술데이터를 상기 하나 이상의 세부수술동작으로 분할하되, 상기 가상수술데이터에 포함된 수술부위, 수술도구의 종류, 상기 수술도구의 개수, 상기 수술도구의 위치, 상기 수술도구의 방향 및 상기 수술도구의 움직임 중 적어도 하나에 기초하여 상기 가상수술데이터를 상기 하나 이상의 세부수술동작으로 분할하는 단계를 포함할 수 있다.

또한, 상기 3D 모델링 데이터를 획득하는 단계는, 상기 대상체의 수술부위를 포함하는 의료영상을 획득하는 단계 및 상기 의료영상을 이용하여 상기 3D 모델링 데이터를 생성하는 단계를 포함할 수 있다.

또한, 상기 의료영상을 획득하는 단계는, 실제 수술자세를 기반으로 상기 대상체의 촬영자세를 획득하는 단계 및 상기 획득된 촬영자세에 기초하여 촬영된 상기 의료영상을 획득하는 단계를 포함할 수 있다.

또한, 상기 3D 모델링 데이터를 생성하는 단계는, 상기 대상체의 실제 수술자세를 획득하는 단계 및 상기 실제 수술자세에 기초하여 상기 획득된 의료영상을 보정함으로써 상기 3D 모델링 데이터를 생성하는 단계를 포함할 수 있다.

또한, 상기 생성된 큐시트데이터의 최적화 여부를 판단하는 단계를 더 포함할 수 있다.

또한, 상기 최적화 여부를 판단하는 단계는, 최적화된 것으로 판단되는 상기 큐시트데이터에 기초하는 수술가이드 데이터를 제공하는 단계를 더 포함할 수 있다.

또한, 상기 최적화 여부를 판단하는 단계는, 최적화 큐시트데이터를 획득하는 단계 및 상기 큐시트데이터와 상기 최적화 큐시트데이터를 비교하는 단계를 포함할 수 있다.

또한, 상기 최적화 큐시트데이터를 획득하는 단계는, 하나 이상의 학습 큐시트데이터를 획득하는 단계, 상기 하나 이상의 학습 큐시트데이터를 이용하여 강화학습을 수행하는 단계 및 상기 강화학습 결과에 기초하여 상기 최적화 큐시트데이터를 획득하는 단계를 포함할 수 있다.

상술한 과제를 해결하기 위한 본 발명의 일 면에 따라 하드웨어인 컴퓨터와 결합되어, 개시된 실시 예에 따른 수술 시뮬레이션 정보 생성방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램이 제공된다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

개시된 실시 예에 따르면, 사전에 획득된 정보를 이용하여 각 환자에 최적화된 수술 시뮬레이션 정보를 생성하고, 수술 중에 의사에게 이를 제공함으로써 수술을 보조할 수 있는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 개시된 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.
도 2는 일 실시 예에 따라 수술 시뮬레이션 정보를 생성하는 방법을 도시한 흐름도이다.
도 3은 일 실시예에 따라 수술자세 적용을 통한 3D 모델링 데이터 생성과정을 나타내는 흐름도이다.
도 4는 다른 일 실시 예에 따라 수술 시뮬레이션 정보를 생성하는 방법을 도시한 흐름도이다.
도 5는 일 실시 예에 따른 수술 프로세스 최적화 방법을 도시한 흐름도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

명세서에서 사용되는 "부" 또는 “모듈”이라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부" 또는 “모듈”은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 “모듈”은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 “모듈”은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 “모듈”은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 “모듈”들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 “모듈”들로 결합되거나 추가적인 구성요소들과 "부" 또는 “모듈”들로 더 분리될 수 있다.

본 명세서에서 "영상"은 이산적인 영상 요소들(예를 들어, 2차원 영상에 있어서의 픽셀들 및 3D 영상에 있어서의 복셀들)로 구성된 다차원(multi-dimensional) 데이터를 의미할 수 있다. 예를 들어, 영상은 CT 촬영 장치에 의해 획득된 대상체의 의료 영상 등을 포함할 수 있다.

본 명세서에서 "대상체(object)"는 사람 또는 동물, 또는 사람 또는 동물의 일부 또는 전부일수 있다. 예를 들어, 대상체는 간, 심장, 자궁, 뇌, 유방, 복부 등의 장기, 및 혈관 중 적어도 하나를 포함할 수 있다.

본 명세서에서 "사용자"는 의료 전문가로서 의사, 간호사, 임상 병리사, 의료 영상 전문가 등이 될 수 있으며, 의료 장치를 수리하는 기술자가 될 수 있으나, 이에 한정되지 않는다.

본 명세서에서 "의료영상데이터"는 의료영상 촬영장비로 촬영되는 의료영상으로서, 대상체의 신체를 3차원 모델로 구현 가능한 모든 의료영상을 포함한다. "의료영상데이터"는 컴퓨터 단층촬영(Computed Tomography; CT)영상, 자기공명영상(Magnetic Resonance Imaging; MRI), 양전자 단층촬영(Positron Emission Tomography; PET) 영상 등을 포함할 수 있다.

본 명세서에서 "가상신체모델"은 의료영상데이터를 기반으로 실제 환자의 신체에 부합하게 생성된 모델을 의미한다. "가상신체모델"은 의료영상데이터를 그대로 3차원으로 모델링하여 생성한 것일 수도 있고, 모델링 후에 실제 수술 시와 같게 보정한 것일 수도 있다.

본 명세서에서 "가상수술데이터"는 가상신체모델에 대해 수행되는 리허설 또는 시뮬레이션 행위를 포함하는 데이터를 의미한다. "가상수술데이터"는 가상공간에서 가상신체모델에 대해 리허설 또는 시뮬레이션이 수행된 영상데이터일 수도 있고, 가상신체모델에 대해 수행된 수술동작에 대해 기록된 데이터일 수도 있다.

본 명세서에서 "실제수술데이터"는 실제 의료진이 수술을 수행함에 따라 획득되는 데이터를 의미한다. "실제수술데이터"는 실제 수술과정에서 수술부위를 촬영한 영상데이터일 수도 있고, 실제 수술과정에서 수행된 수술동작에 대해 기록된 데이터일 수도 있다.

본 명세서에서 "세부수술동작"은 특정한 기준에 따라 분할된 수술동작의 최소단위를 의미한다.

본 명세서에서 "큐시트(Cue sheet) 데이터"는, 특정한 수술과정을 세부수술동작으로 분할하여 순서대로 기록한 데이터를 의미한다.

본 명세서에서 "시행 큐시트데이터"는 사용자가 시뮬레이션을 수행한 가상수술데이터를 기반으로 획득되는 큐시트데이터를 의미한다.

본 명세서에서 "훈련용 가상수술 큐시트데이터"는 시행 큐시트데이터에 포함되는 것으로서, 사용자가 수술 모의훈련(Simulation)을 수행하여 획득된 가상수술데이터를 기반으로 생성된 큐시트데이터를 의미한다.

본 명세서에서 "참고용 가상수술 큐시트데이터"는 학습용 빅데이터 구축 또는 수술프로세스 안내를 위해 특정한 의료인이 수행한 가상수술에 대한 큐시트데이터를 의미한다.

본 명세서에서 "최적화 큐시트데이터"는 수술시간 또는 수술 예후 등의 측면에서 최적화된 수술프로세스에 대한 큐시트데이터를 의미한다.

본 명세서에서 "학습 큐시트데이터"는 최적화 큐시트데이터 산출을 위한 학습에 이용되는 큐시트데이터를 의미한다.

본 명세서에서 "수술가이드 데이터"는 실제 수술 시에 가이드정보로 이용되는 데이터를 의미한다.

본 명세서에서 "컴퓨터"는 연산처리를 수행하여 사용자에게 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 컴퓨터는 데스크 탑 PC, 노트북(Note Book) 뿐만 아니라 스마트폰(Smart phone), 태블릿 PC, 셀룰러폰(Cellular phone), 피씨에스폰(PCS phone; Personal Communication Service phone), 동기식/비동기식 IMT-2000(International Mobile Telecommunication-2000)의 이동 단말기, 팜 PC(Palm Personal Computer), 개인용 디지털 보조기(PDA; Personal Digital Assistant) 등도 해당될 수 있다. 또한, 헤드마운트 디스플레이(Head Mounted Display; HMD) 장치가 컴퓨팅 기능을 포함하는 경우, HMD장치가 컴퓨터가 될 수 있다. 또한, 컴퓨터는 클라이언트로부터 요청을 수신하여 정보처리를 수행하는 서버가 해당될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

도 1은 개시된 실시 예에 따른 로봇수술 시스템을 도시한 도면이다.

도 1을 참조하면, 개시된 실시 예에 따라 로봇수술을 수행할 수 있는 시스템을 간략하게 도식화한 도면이 도시되어 있다.

도 1에 따르면, 로봇수술 시스템은 의료영상 촬영장비(10), 서버(20) 및 수술실에 구비된 제어부(30), 영상촬영부(36), 디스플레이(32) 및 수술로봇(34)을 포함한다.

일 실시 예에서, 로봇수술은 사용자가 제어부(30)를 이용하여 수술용 로봇(34)을 제어함으로써 수행된다. 일 실시 예에서, 로봇수술은 사용자의 제어 없이 제어부(30)에 의하여 자동으로 수행될 수도 있다.

서버(20)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치이다.

제어부(30)는 적어도 하나의 프로세서와 통신부를 포함하는 컴퓨팅 장치를 포함한다. 일 실시 예에서, 제어부(30)는 수술용 로봇(34)을 제어하기 위한 하드웨어 및 소프트웨어 인터페이스를 포함한다.

영상촬영부(36)는 적어도 하나의 이미지 센서를 포함한다. 즉, 영상촬영부(36)는 적어도 하나의 카메라 장치를 포함하여, 수술부위를 촬영하는 데 이용된다. 일 실시 예에서, 영상촬영부(36)는 수술로봇(34)과 결합되어 이용된다. 예를 들어, 영상촬영부(36)는 수술로봇(34)의 수술 암(Arm)과 결합된 적어도 하나의 카메라를 포함할 수 있다.

일 실시 예에서, 영상촬영부(36)에서 촬영된 영상은 디스플레이(340)에 표시된다.

제어부(30)는 서버(20)로부터 수술에 필요한 정보를 수신하거나, 수술에 필요한 정보를 생성하여 사용자에게 제공한다. 예를 들어, 제어부(30)는 생성 또는 수신된, 수술에 필요한 정보를 디스플레이(32)에 표시한다.

예를 들어, 사용자는 디스플레이(32)를 보면서 제어부(30)를 조작하여 수술로봇(34)의 움직임을 제어함으로써 로봇수술을 수행한다.

서버(20)는 의료영상 촬영장비(10)로부터 사전에 촬영된 대상체(환자)의 의료영상데이터를 이용하여 로봇수술에 필요한 정보를 생성하고, 생성된 정보를 제어부(30)에 제공한다.

제어부(30)는 서버(20)로부터 수신된 정보를 디스플레이(32)에 표시함으로써 사용자에게 제공하거나, 서버(20)로부터 수신된 정보를 이용하여 수술로봇(34)을 제어한다.

일 실시 예에서, 의료영상 촬영장비(10)에서 사용될 수 있는 수단은 제한되지 않으며, 예를 들어 CT, X-Ray, PET, MRI 등 다른 다양한 의료영상 획득수단이 사용될 수 있다.

이하에서는, 도면을 참조하여 수술 시뮬레이션 정보를 생성하는 방법에 대하여 상세하게 설명한다.

도 2는 일 실시 예에 따라 수술 시뮬레이션 정보를 생성하는 방법을 도시한 흐름도이다.

도 2에 도시된 각 단계들은 도 1에 도시된 서버(20) 또는 제어부(30)에서 시계열적으로 수행된다. 이하에서는, 설명의 편의를 위하여 각 단계들이 컴퓨터에 의하여 수행되는 것으로 서술하나, 각 단계의 수행주체는 특정 장치에 제한되지 않고, 그 전부 또는 일부가 서버(20) 또는 제어부(30)에서 수행될 수 있다.

도 2를 참조하면, 본 발명의 일실시예에 따른 수술 시뮬레이션 정보 생성방법은, 컴퓨터가 대상체의 수술부위를 촬영한 의료영상데이터를 기반으로 상기 대상체의 수술부위를 포함하는 3D 모델링 데이터를 생성하는 단계(S200); 컴퓨터가 사용자로부터 상기 3D모델링 데이터에 대한 가상수술데이터를 획득하는 단계(S400); 및 컴퓨터가 상기 가상수술데이터를 이용하여 하나 이상의 세부수술동작을 포함하는 큐시트 데이터를 생성하는 단계(S600); 를 포함한다.

이하, 각 단계에 대한 상세한 설명을 기재한다.

컴퓨터가 대상체의 수술부위를 촬영한 의료영상데이터를 기반으로 상기 대상체의 수술부위를 포함하는 3D 모델링 데이터를 생성한다(S200). 사용자가 실제 수술과 유사하게 시뮬레이션을 수행하기 위해서는 실제 환자와 동일한 3D 모델링데이터가 필요하다.

기존에는 실제 수술자세와 상이한 자세로 의료영상 촬영이 수행되고 해당 의료영상데이터를 그대로 3D 모델링데이터로 구현함에 따라 수술 전 시뮬레이션이 실제 수술을 미리 연습하는 효과를 제대로 제공하지 못하였다.

구체적으로, 일반적으로 환자가 누운 상태로 의료영상 촬영장치로 촬영된 환자의 내부 장기 배치상태 또는 장기 모양은 대상체(10)가 눕혀지는 각도에 따른 중력의 영향에 의해 수술시 대상체(10)의 내부 장기 배치상태 또는 장기 모양와 상이하게 되므로, 실제 수술과 동일한 시뮬레이션 상황을 제공하지 못한다.

또한, 복강경 수술이나 로봇 수술을 위해 신체 내부에 이산화탄소를 채운 기복상태와 일치하지 않는 상태에서 시뮬레이션을 수행하므로, 수술 전 시뮬레이션이 실제 수술을 미리 연습하는 효과를 제대로 제공하지 못하였다. 이러한 문제점을 해소하기 위해, 실제 수술 상태와 동일한 3D 모델링 데이터(즉, 3D 기복모델)을 생성하여야 한다.

도 3은 일 실시예에 따라 수술자세 적용을 통한 3D 모델링 데이터 생성과정을 나타내는 흐름도이다.

일 실시예로, 도 3에서와 같이, 컴퓨터는 실제 수술자세를 적용하여 촬영된 의료영상데이터를 기반으로 3D 모델링 데이터를 생성한다. 구체적으로, 컴퓨터가 환자의 환부 위치 또는 수술 유형을 바탕으로 결정된 수술자세를 기반으로 환자의 촬영자세를 산출하는 단계(S202); 및 상기 촬영자세로 촬영된 의료영상데이터를 기반으로 3D 모델링을 수행하는 단계(S204);를 포함한다.

컴퓨터가 환자의 환부 위치 또는 수술 유형을 바탕으로 결정된 수술자세를 기반으로 환자의 촬영자세를 산출한다(S202). 환자의 환부 위치(즉, 수술 부위), 수술 유형 등에 따라 수술 자세가 달라질 수 있다. 컴퓨터는 환자의 수술자세와 동일한 자세로 의료영상 촬영이 가능한 촬영자세를 산출한다.

예를 들어, 환자의 신체가 15도 기울어진 상태로 상체를 수술하는 경우, 컴퓨터는 상체만을 15도 세워지도록 환자의 등을 받친 자세를 촬영자세로 산출할 수 있다. 환자의 상체만을 15도 세워진 자세를 촬영자세로 설정함에 따라, 기존의 의료영상 촬영장치(예를 들어, CT장치)를 이용하여 수술부위가 수술 시와 동일한 상태로 촬영되도록 할 수 있다.

또한, 예를 들어, 의료영상 촬영장치가 환자의 배치상태를 조절하는 기능을 포함하여 수술자세와 동일한 촬영자세를 구현할 수 있다. 예를 들어, 의료영상 촬영 장치가 컴퓨터 단층촬영(Computed tomography; CT) 장치인 경우, CT장치의 테이블이 소정의 방향으로 소정의 각도만큼 기울어질 수 있거나(tilting) 또는 회전(rotating)될 수 있고, 갠트리도 소정의 방향으로 소정의 각도만큼 기울어질 수 있다.

이를 통해, 컴퓨터 또는 사용자는 의료영상 촬영장치의 테이블과 갠트리를 수술자세와 동일한 각도로 기울어지도록 제어하고, 컴퓨터는 의료영상 촬영장치로부터 실제 수술 시와 동일한 각도로 기울어진 촬영자세로 촬영된 의료영상데이터를 획득할 수 있다.

또한, 컴퓨터는 의료진으로부터 환자의 수술자세를 입력받을 수도 있고, 환자의 환부 위치, 수술 유형 등을 기반으로 수행될 수술자세를 직접 산출할 수도 있다.

그 후, 컴퓨터가 상기 촬영자세로 촬영된 의료영상데이터를 기반으로 생성된 3D 모델링데이터를 획득한다(S204). 컴퓨터는 대상체(10)의 3D 의료영상을 이용하여 3D 모델링 영상을 렌더링하여 생성할 수 있다. 또한, 컴퓨터는 의료영상 촬영장치에서 특정한 자세로 촬영된 후에 생성한 3D 모델링 데이터를 수신할 수도 있다. 즉, 의료영상 촬영장치(예를 들어, CT장치)가 의료영상데이터를 기반으로 3D렌더링을 수행하여 3D 모델링 데이터를 생성한 후 컴퓨터로 전송할 수 있다.

또한, 다른 일실시예로, 컴퓨터는 일반적인 촬영조건에서 촬영된 의료영상데이터에서 특정한 수술 시의 신체상태로 변경하는 보정알고리즘을 적용하여 3D모델링데이터를 생성한다. 즉, 컴퓨터는 일반적인 상태로 누운 환자를 촬영한 의료영상데이터에 기울어진 상태에서 중력에 따른 신체변화 또는 이산화탄소 주입에 따라 기복모델로 형성되는 신체변화를 적용하여 3D모델링 데이터를 생성한다.

예를 들어, 상기 보정알고리즘은 일반적인 촬영조건 및 신체상태에 대한 의료영상데이터와 특정한 신체상태 및 수술조건의 수술 시 신체상태데이터를 매칭하여 형성된 빅데이터를 학습함에 따라 산출될 수 있다. 상기 수술 시의 신체상태데이터는, 실제 수술 시의 신체 내부 장기 모양 또는 배치를 촬영한 영상데이터 또는 신체표면을 촬영한 영상데이터 등이 포함될 수 있다.

일실시예로, 일반조건에서 촬영된 의료영상데이터(예를 들어, CT데이터)를 기반으로 복강경 수술 또는 로봇수술 시의 기복모델을 형성하는 경우, 컴퓨터는 환자의 의료영상데이터와 수술 시의 신체표면데이터를 매칭하여 학습을 수행할 빅데이터로 구축한다. 상기 신체표면데이터는 수술 전에 의료진에 의해 촬영되는 것이다.

예를 들어, 의료진은 복강경 수술 또는 로봇수술을 수행하기 전에 이산화탄소를 주입함에 따라 변형된 복부 표면을 촬영하여 신체표면데이터를 획득한다. 컴퓨터는 빅데이터를 학습함에 따라 일반적인 상태의 3D모델링데이터를 복강경수술 또는 로봇수술 시의 기복모델로 형성하는 수정기준 또는 수정알고리즘을 생성한다. 그 후, 컴퓨터는, 신규 환자의 의료영상데이터가 획득되면, 의료영상데이터를 기반으로 생성한 3D모델링 데이터를 수정기준 또는 수정알고리즘을 기반으로 변형하여 기복모델을 생성한다.

이를 통해, 컴퓨터는 특정한 환자에 대해 수술 시의 신체 상태와 유사한 3D모델링 데이터를 생성하여 사용자에게 제공할 수 있다.

컴퓨터가 사용자로부터 상기 3D모델링 데이터에 대한 가상수술데이터를 획득한다(S400). 사용자는 3D 모델링 영상에 대한 가상의 수술을 집도하는 시뮬레이션 또는 리허설을 수행한다. 예를 들어, 컴퓨터는 3D 모델링 영상에 가상의 수술도구를 표시하고, 사용자는 다양한 방식으로 가상의 수술도구를 제어하여 3D 모델링 영상에 대해 수술을 집도하는 리허설을 수행할 수 있다.

상기 가상수술데이터는 사용자가 3D모델링된 환자의 가상신체모델에 대해 수술을 시뮬레이션(Simulation)함에 따라 생성되는 것이다. 가상수술데이터를 획득하는 과정은 사용자가 수술을 모의훈련(Simulation)하는 과정이거나 수술 직전에 동일한 조건에서 리허설(Rehearsal)하는 과정일 수도 있다. 컴퓨터는 다양한 방식으로 사용자로부터 가상수술데이터를 입력받을 수 있다.

일실시예로, 컴퓨터는 가상현실(Virtual Reality; VR) 디바이스를 통해 사용자에게 가상신체모델을 제공하고, 컨트롤러를 통해 가상신체모델에 대한 수술동작을 입력할 수 있다. 상기 컨트롤러는 사용자 손의 움직임을 인식할 수 있는 다양한 형태가 될 수 있다. 예를 들어, 상기 컨트롤러는 장갑형으로 구현됨에 따라 사용자의 수술 시의 세부적인 손가락 움직임과 손의 실시간 배치 상태를 획득할 수 있다.

구체적으로, 컴퓨터는 사용자가 착용하는 HMD 장치에 가상신체모델을 제공한다. 컴퓨터는 사용자의 조작에 따라 가상신체모델을 회전 또는 확대하여 제공하고, 이에 따라 사용자는 환자에게 예정된 수술 시와 동일하게 구현된 가상신체모델을 자세히 살펴보면서 수술계획 및 시뮬레이션을 수행한다.

예를 들어, 대상체의 신체 특징에 따라 오멘텀(장막)과 같은 지방으로 인해 실제 수술을 해야하는 혈관 및 장기가 보이지 않을 수 있으나, 모델링에서는 오멘텀을 제거하여 실제 혈관 및 장기의 위치와 형태를 정확히 알 수 있고, 그에 따라 실제 수술이 필요한 대상에 도달하기 위한 최적의 수술계획을 수립할 수 있다. 컴퓨터는 사용자에 의해 특정한 수술도구가 선택되는 입력을 획득하고, 컨트롤러를 통해 해당 수술도구로 가상신체모델의 특정한 영역에 수술을 수행하는 조작을 획득한다.

또한, 일실시예로, 가상수술데이터는 사용자가 가상신체모델에 대해 수행하는 수술동작을 구현한 영상데이터로 저장될 수 있다. 컴퓨터는 컨트롤러에 의해 획득되는 실시간 모션데이터, 모션을 수행한 수술도구, 모션이 수행된 가상신체모델 내의 위치 등을 기반으로 시뮬레이션 영상을 생성할 수 있다.

또한, 다른 일실시예로, 가상수술데이터는 가상신체모델 자체에 대한 모델링데이터, 시뮬레이션 또는 리허설 과정에서 각 시점에 사용된 수술도구 및 모션데이터 전체일 수 있다. 즉, 가상수술데이터는 외부 컴퓨터가 수신하여 시뮬레이션 영상을 구현 가능하도록 하는 복수의 데이터 집합일 수 있다.

컴퓨터가 상기 가상수술데이터를 하나 이상의 세부수술동작을 포함하는 큐시트 데이터를 생성한다(S600). 즉, 컴퓨터는 사용자에 의해 가상신체모델에 수행된 가상수술 과정을 영상으로 생성할 뿐만 아니라 하나 이상의 세부수술동작으로 분할하여 수술프로세스를 나타내는 큐시트를 생성한다.

상기 큐시트데이터를 구성하는 세부수술동작은 수술프로세스를 구성하는 최소 동작 단위이다. 세부수술동작은 여러 기준에 의해 나누어질 수 있다. 예를 들어, 세부수술동작은 수술유형(예를 들어, 복강경수술, 로봇수술), 수술이 수행되는 해부학적 신체부위, 사용되는 수술도구, 수술도구의 개수, 화면상에 수술도구가 나타나는 방향 또는 위치, 수술도구의 움직임(예를 들어, 전진/후퇴) 등을 기준으로 나누어질 수 있다.

상기 분할기준과 분할기준 내에 포함되는 세부카테고리는 의료진의 실제수술데이터 학습을 통해 직접 설정될 수 있다. 컴퓨터는 의료진에 의해 설정된 분할기준 및 세부카테고리에 따라 지도(Supervised)학습을 수행하여 최소단위인 세부수술동작으로 가상수술데이터를 분할할 수 있다.

또한, 상기 분할기준과 분할기준 내에 포함되는 세부카테고리는 컴퓨터의 수술영상 학습을 통해 추출될 수 있다. 예를 들어, 컴퓨터는 빅데이터로 누적된 실제수술데이터를 딥러닝 학습(즉, 비지도학습)하여 분할기준 및 각 분할기준 내 카테고리를 산출할 수 있다. 그 후, 컴퓨터는 실제수술데이터 학습을 통해 생성된 분할기준에 따라 가상수술데이터를 분할하여 큐시트데이터를 생성한다.

또한, 다른 일실시예로, 가상수술데이터 또는 실제수술데이터는 영상 인식을 통해 각각의 분할기준에 해당하는지 여부를 파악하여 분할(Segmentation)할 수도 있다. 즉, 컴퓨터는 가상수술데이터 또는 실제수술데이터의 영상 내 화면에서 분할기준에 해당하는 해부학적 장기 위치, 등장하는 수술도구, 각 수술도구의 개수 등을 인식하여, 세부수술동작 단위로 분할을 수행할 수 있다.

또한, 다른 일실시예로, 컴퓨터는 실제수술데이터 또는 가상수술데이터에 포함되는 수술도구 움직임데이터를 기반으로 큐시트데이터 생성을 위한 분할과정을 수행할 수 있다. 실제수술데이터는, 사용자가 로봇수술을 수행하는 경우, 사용자에 의해 선택된 수술도구 종류 및 개수, 각 수술도구의 움직임에 대한 정보 등의 수술로봇을 제어하는 과정에서 입력되는 다양한 정보를 포함할 수 있고, 가상수술데이터도 가상신체모델에 대한 시뮬레이션 시에 사용자에 의해 선택된 수술도구 종류 및 개수, 각 수술도구의 움직임 등에 대한 정보를 포함할 수 있다. 따라서, 컴퓨터는 실제수술데이터 또는 가상수술데이터의 각 시점에 포함된 정보를 바탕으로 분할을 수행할 수 있다.

또한, 일실시예로, 가상수술데이터 또는 실제수술데이터는 절제, 봉합 등의 다양한 종류의 액션이 포함되고, 분할기준에 따라 분할(Segmentation)이 수행된다. 구체적으로, 위암수술을 실제로 수행한 실제수술데이터(예를 들어, 실제수술영상) 또는 위암수술을 시뮬레이션한 가상수술데이터를 세부수술동작으로 분할하여 큐시트데이터로 생성하는 과정을 설명하면 다음과 같다.

예를 들어, 위암수술에는 우선 종양을 포함하는 위의 일부 또는 전부를 절제하는 액션 및 임파선을 절제하는 액션이 포함된다. 이외에도 위암의 상태에 따라 다양한 절제술 및 연결술이 이용된다. 또한 각각의 액션은 액션이 취해지는 구체적인 위치와, 수술도구의 이동방향에 따라 더 세부적인 복수의 액션으로 분할될 수 있다.

예로, 위암수술의 세부동작은 우선 개복단계, 절제단계, 연결단계 및 봉합단계 등으로 분할될 수 있다.

또한, 절제된 장기를 연결하는 방법에는 명치 끝 4-5cm 이상을 절개하고 연결하는 체외문합 방법 또는 배꼽을 3cm 정도 절개하고 복강 내에서 절제 및 문합이 이루어지는 체내문합 방법 등이 포함되는데, 상술한 연결단계는 이와 같은 구체적인 연결방법에 따라 더 상세하게 분할될 수 있다.

나아가, 각각의 수술방법은 수술도구의 위치 및 움직임에 따라 더 세부적인 복수의 세부수술동작들로 분할될 수 있다.

분할된 각각의 세부수술동작들은 세부수술동작이 수행되는 위치 및 수술도구의 이동경로(pathway)에 기초하여 표준화된 명칭이 부여될 수 있다.

일 실시 예에서, 표준화된 명칭에 이용되는 용어는 다양하게 정의될 수 있다. 예를 들어 위(stomach)의 하단 오른쪽 특정부위를 다룰때 그 부위의 이름은 의료분야에서 통상적으로 사용중인 이름을 사용할 수 있고, 개시된 실시 예에 따른 시스템에서 정의된, 더 포괄적이거나 세분화된 명칭이 이용될 수 있다.

따라서, 리허설 영상은 복수의 액션이 표준화된 명칭에 기초하여 순차적으로 나열된 큐시트 형태의 정보로 정리될 수 있다. 마찬가지로, 사용자가 실제로 수술을 수행한 수술 영상 또한 액션 단위로 분할되고, 큐시트 형태의 정보로 정리될 수 있다.

또한, 일실시예로, 상기 큐시트데이터는 세부수술동작으로 분할하는 기준에 의해 특정한 자릿수의 코드(Code) 데이터로 생성될 수 있다. 즉, 컴퓨터는 표준화된 분할기준을 적용하고 분할기준 내의 세부카테고리를 지정함에 따라 가상수술데이터를 표준화된 세부수술동작으로 분할하고, 각 세부카테고리에 표준화된 코드값을 부여하여 각 세부수술동작을 구별할 수 있는 표준화된 코드데이터를 부여한다.

컴퓨터는 분할기준 적용순서에 따라 특정한 세부수술동작이 속하는 상위카테고리부터 차례대로 숫자 또는 문자가 부여되어 디지털(Digital)화된 코드데이터를 각 세부수술동작에 부여한다. 이를 통해, 컴퓨터는 큐시트데이터를 분할된 세부수술동작 영상이 아닌 각 세부수술동작의 표준화된 코드데이터가 나열된 형태로 생성할 수 있다. 또한, 사용자는 표준화된 코드데이터로 이루어진 큐시트데이터만을 제공함에 따라 시뮬레이션한 수술과정을 공유 또는 전달할 수 있다.

또한, 일실시예로, 컴퓨터는 각각의 세부수술동작의 표준화된 코드(Code)에 표준화된 명칭을 부여할 수 있다. 이를 통해, 사용자는 전체 큐시트 내에서 원하는 수술동작(또는 액션(Action)) 부분만을 선별하여 확인할 수 있다. 또한, 이 경우, 사용자는 리허설 또는 수술 영상을 전부 보지 않아도, 각각의 액션이 표준화된 명칭에 기초하여 순차적으로 나열된 큐시트를 보는 것만으로도 수술 또는 리허설의 진행과정을 용이하게 파악할 수 있다.

큐시트데이터는 각 세부수술동작에 대한 영상 데이터베이스를 이용하여 수술영상으로 변환될 수 있다. 상기 영상 데이터베이스는 각 코드데이터에 부합하는 영상이 저장되어 있을 수 있고, 각 코드데이터에 부합하는 영상은 상황에 따라 복수개 저장되어 있을 수 있다. 예를 들어, 특정한 코드데이터는 이전에 수행된 동작에 따라 영상 데이터베이스 내의 상이한 세부수술동작 영상이 로드될 수 있다.

또한, 컴퓨터는, 각 큐시트데이터가 특정한 가상신체모델과 매칭되어 저장됨에 따라, 가상신체모델에 큐시트데이터에 포함된 각 세부수술동작을 순차적으로 적용함에 따라 수술시뮬레이션 영상으로 재생할 수 있다.

따라서, 큐시트에 대응하는 영상은 수술 리허설 영상과 같은 시점(point of view)에서 재생될 수도 있고, 다른 시점으로 재구성되어 재생될 수도 있다. 또는, 영상은 3D로 모델링되어, 사용자의 조작에 따라 시점과 위치가 조절될 수 있다.

또한, 도 4에서와 같이, 다른 일실시예로, 컴퓨터가 사용자의 가상수술데이터를 기반으로 생성된 시행 큐시트데이터의 최적화 여부를 판단하는 단계(S800);를 더 포함한다.

컴퓨터는 시행 큐시트데이터와 최적화 큐시트데이터의 비교를 통해, 시행 큐시트데이터의 적절성을 판단한다. 예를 들어, 컴퓨터는 사용자가 시뮬레이션 함에 따라 생성된 시행 큐시트데이터 내에 수술시간을 지연시키는 불필요한 세부수술동작이 포함되어 있는지, 특정한 세부수술동작을 수행함에 따라 필수적으로 전 또는 후에 포함되어야 하는 세부수술동작이 빠져 있는지 등을 판단하여, 시행 큐시트데이터의 실제 환자에 적용하기에 적절하게 생성되었는지 판단한다.

컴퓨터가 시행 큐시트데이터의 평가를 수행하기 위해 최적화 큐시트데이터를 산출하는 과정을 수행할 수 있다.

도 5는 일 실시 예에 따른 수술 프로세스 최적화 방법을 도시한 흐름도이다.

컴퓨터는 하나 이상의 학습 큐시트데이터를 획득한다(S820). 상기 학습 큐시트데이터는 최적화 큐시트데이터 산출을 위해 학습되는 학습대상데이터이다. 상기 학습 큐시트데이터는 실제수술데이터를 기반으로 생성된 큐시트데이터(즉, 실제수술 큐시트데이터) 또는 참고용으로 시뮬레이션된 가상수술데이터를 기반으로 생성된 큐시트데이터(즉, 참고용 가상수술 큐시트데이터)를 포함할 수 있다. 상기 실제수술 큐시트데이터는 컴퓨터가 실제수술데이터를 분할기준에 따라 분할하여 생성된 것이다. 상기 참고용 가상수술 큐시트데이터는 사용자의 수술 훈련과정에서 획득되는 것이 아니라 학습대상데이터 구축 목적 또는 수련의들에게 참고용으로 제공하기 위한 목적으로 시뮬레이션이 수행되어 생성된 것이다.

그 후, 컴퓨터는 학습 큐시트데이터를 이용하여 강화학습(Reinforcement learning)을 수행한다(S840). 강화학습은 기계학습의 한 영역으로, 어떤 환경 안에서 정의된 에이전트가 현재의 상태를 인식하여, 선택 가능한 행동들 중 보상을 최대화하는 행동 혹은 행동 순서를 선택하는 방법이다. 강화학습은 상태전이와, 상태전이에 따른 보상에 기초하여 보상을 최대화하는 방법을 학습하는 것으로 요약될 수 있다.

그 후, 컴퓨터는 강화학습 결과를 이용하여 최적화 큐시트데이터를 산출한다(S860). 상기 최적화 큐시트데이터는 강화학습 결과를 기반으로 환자의 마취시간을 줄일 수 있는 최단 수술시간, 최소 출혈량, 필수동작그룹, 필수수행순서 등을 조건으로 산출된다.

상기 필수동작그룹은 특정한 세부수술동작을 수행하기 위해 필수적으로 함께 수행되어야 하는 세부수술동작들의 그룹이다. 상기 필수수행순서는 특정한 수술을 수행하는 과정에서 반드시 순차적으로 수행되어야 하는 수술동작 순서이다. 예를 들어, 수술의 종류 또는 수술동작의 종류에 따라 순차적으로 등장하여야 하는 수술동작들 및 그 순서가 정해져 있을 수 있다.

또한, 컴퓨터는 강화학습을 통해 환자의 신체조건, 수술부위(예를 들어, 종양조직) 조건(예를 들어, 종양의 크기, 위치 등) 등에 따른 상황별 최적화 큐시트데이터를 산출한다. 이를 위해, 컴퓨터는 학습 시에 환자조건, 수술부위 조건 등을 학습 큐시트데이터와 함께 활용한다.

일 실시 예에서, 컴퓨터는 스스로 가상의 시뮬레이션 수술을 수행할 수 있다. 예를 들어, 컴퓨터는 개시된 수술 프로세스 최적화 방법에 기초하여 수술 종류 및 환자의 종류에 따른 수술 프로세스를 생성하고, 생성된 수술 프로세스에 기초하여 가상의 수술 시뮬레이션을 수행할 수 있다.

컴퓨터는 가상의 수술 시뮬레이션 결과를 평가하고, 가상의 수술 시뮬레이션 정보 및 그 결과에 대한 평가정보에 기초하여 강화학습을 수행함으로써, 최적화된 수술 프로세스를 획득할 수 있다.

최적의 수술 프로세스를 생성할 수 있도록 학습된 모델이라 할지라도, 실제 수술의 경우 환자마다 신체구조와 수술의 종류가 상이하므로 각 환자 및 수술종류에 따라 최적화된 수술 프로세스를 생성하기 어려울 수 있다.

따라서, 컴퓨터는 학습된 모델을 이용하여 환자의 신체구조 및 수술종류에 기초한 수술 프로세스를 생성하고, 가상의 수술 시뮬레이션을 수행함으로써 강화학습을 수행, 각각의 환자 및 수술종류에 따라 최적화된 수술 프로세스를 생성할 수 있다.

또한, 도 4에서와 같이, 다른 일 실시예로, 컴퓨터가 사용자의 요청에 따라 특정한 큐시트데이터를 기반으로 수술가이드 데이터를 제공하는 단계(S1000);를 더 포함한다. 즉, 컴퓨터는 수술중에 사용자가 시뮬레이션 또는 리허설을 수행하여 생성된 큐시트데이터를 사용자에게 제공할 수 있다.

이상에서 전술한 본 발명의 일 실시예에 따른 수술 시뮬레이션 정보 생성방법은, 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 어플리케이션)으로 구현되어 매체에 저장될 수 있다.

상기 전술한 프로그램은, 상기 컴퓨터가 프로그램을 읽어 들여 프로그램으로 구현된 상기 방법들을 실행시키기 위하여, 상기 컴퓨터의 프로세서(CPU)가 상기 컴퓨터의 장치 인터페이스를 통해 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다. 이러한 코드는 상기 방법들을 실행하는 필요한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Functional Code)를 포함할 수 있고, 상기 기능들을 상기 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수 있다. 또한, 이러한 코드는 상기 기능들을 상기 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 상기 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조되어야 하는지에 대한 메모리 참조관련 코드를 더 포함할 수 있다. 또한, 상기 컴퓨터의 프로세서가 상기 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 상기 컴퓨터의 통신 모듈을 이용하여 원격에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수 있다.

상기 저장되는 매체는, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상기 저장되는 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있지만, 이에 제한되지 않는다. 즉, 상기 프로그램은 상기 컴퓨터가 접속할 수 있는 다양한 서버 상의 다양한 기록매체 또는 사용자의 상기 컴퓨터상의 다양한 기록매체에 저장될 수 있다. 또한, 상기 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장될 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

10: 의료영상 촬영장비
20: 서버
30: 제어부
32: 디스플레이
34: 수술용 로봇
36: 영상촬영부

Claims (10)

1. 컴퓨터가 대상체의 수술부위를 포함하는 3D 모델링 데이터를 생성하는 단계;
   상기 3D 모델링 데이터에 대한 가상수술데이터를 획득하는 단계; 및
   상기 가상수술데이터를 이용하여 하나 이상의 세부수술동작을 포함하는 큐시트데이터를 생성하는 단계; 를 포함하는, 수술 시뮬레이션 정보 생성방법.
2. 제1 항에 있어서,
   상기 큐시트데이터를 생성하는 단계는,
   상기 가상수술데이터를 상기 하나 이상의 세부수술동작으로 분할하되, 상기 가상수술데이터에 포함된 수술부위, 수술도구의 종류, 상기 수술도구의 개수, 상기 수술도구의 위치, 상기 수술도구의 방향 및 상기 수술도구의 움직임 중 적어도 하나에 기초하여 상기 가상수술데이터를 상기 하나 이상의 세부수술동작으로 분할하는 단계; 를 포함하는, 수술 시뮬레이션 정보 생성방법.
3. 제1 항에 있어서,
   상기 3D 모델링 데이터를 획득하는 단계는,
   상기 대상체의 수술부위를 포함하는 의료영상을 획득하는 단계; 및
   상기 의료영상을 이용하여 상기 3D 모델링 데이터를 생성하는 단계; 를 포함하는, 수술 시뮬레이션 정보 생성방법.
4. 제3 항에 있어서,
   상기 의료영상을 획득하는 단계는,
   실제 수술자세를 기반으로 상기 대상체의 촬영자세를 획득하는 단계; 및
   상기 획득된 촬영자세에 기초하여 촬영된 상기 의료영상을 획득하는 단계; 를 포함하는, 수술 시뮬레이션 정보 생성방법.
5. 제3 항에 있어서,
   상기 3D 모델링 데이터를 생성하는 단계는,
   상기 대상체의 실제 수술자세를 획득하는 단계; 및
   상기 실제 수술자세에 기초하여 상기 획득된 의료영상을 보정함으로써 상기 3D 모델링 데이터를 생성하는 단계; 를 포함하는, 수술 시뮬레이션 정보 생성방법.
6. 제1 항에 있어서,
   상기 생성된 큐시트데이터의 최적화 여부를 판단하는 단계; 를 더 포함하는, 수술 시뮬레이션 정보 생성방법.
7. 제6 항에 있어서,
   상기 최적화 여부를 판단하는 단계는,
   최적화된 것으로 판단되는 상기 큐시트데이터에 기초하는 수술가이드 데이터를 제공하는 단계; 를 더 포함하는, 수술 시뮬레이션 정보 생성방법.
8. 제6 항에 있어서,
   상기 최적화 여부를 판단하는 단계는,
   최적화 큐시트데이터를 획득하는 단계; 및
   상기 큐시트데이터와 상기 최적화 큐시트데이터를 비교하는 단계; 를 포함하는, 수술 시뮬레이션 정보 생성방법.
9. 제8 항에 있어서,
   상기 최적화 큐시트데이터를 획득하는 단계는,
   하나 이상의 학습 큐시트데이터를 획득하는 단계;
   상기 하나 이상의 학습 큐시트데이터를 이용하여 강화학습을 수행하는 단계; 및
   상기 강화학습 결과에 기초하여 상기 최적화 큐시트데이터를 획득하는 단계; 를 포함하는, 수술 시뮬레이션 정보 생성방법.
10. 하드웨어인 컴퓨터와 결합되어, 제1 항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터프로그램.

Images