KR20140052524A

KR20140052524A - 환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템

Info

Publication number: KR20140052524A
Application number: KR1020120118674A
Authority: KR
Inventors: 박동렬; 김형주
Original assignee: 삼성전자주식회사
Priority date: 2012-10-24
Filing date: 2012-10-24
Publication date: 2014-05-07
Anticipated expiration: 2032-10-24
Also published as: US20140112529A1; US9437003B2; KR101993384B1

Abstract

본 발명의 일 측면에 따른 환자의 자세 변화에 따른 의료 영상을 보정하는 방법은 피검자에 마커(marker)를 부착하고, 상기 피검자가 제 1 자세를 취한 상태에서 제 1 비 실시간 영상 및 제 1 실시간 영상을 생성하고, 상기 피검자가 제 2 자세를 취한 상태에서 제 2 실시간 영상을 생성하여, 상기 제 1 자세에서 상기 제 2 자세로 변경됨에 따라 상기 마커가 이동한 정보를 반영하여 상기 제 1 비 실시간 영상을 보정한다.

Description

환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템 {Method, Apparatus and system for correcting medical image by patient's pose variation}

환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템이 개시된다.

최근에는 외과 수술시 환자의 외상을 줄이고 회복을 빠르게 하기 위하여 복강경(laparoscope) 수술을 실시하는 경우가 많다. 또한, 전립선, 갑상선 등 좁은 영역을 갖는 조직에 대한 외과 수술시 수술용 로봇을 사용하는 경우도 점차 많아지고 있다. 수술용 로봇을 사용한 수술은 기존의 복강경 수술과 달리 3차원 스테레오 내시경(3D stereo endoscope)을 사용하기 때문에 의사에게 거리 감각을 부여하고, 이 영상을 확대하여 수술 부위를 자세히 볼 수 있다. 또한, 로봇을 통한 집도가 실시되므로 의사의 손 떨림에 의한 실수가 방지되고, 미세한 움직임에 대한 제어가 가능하게 되었다. 그러나 로봇 수술은 개복 수술과 달리, 의사가 환자의 몸 속 수술 부위를 직접 눈으로 볼 수 없고 모니터에 표시된 화면만을 통해 수술 부위를 파악할 수 있다. 로봇 수술을 집도하는 의사는 수술 전 CT(computed tomography), MRI (magnetic resonance imaging), 초음파 영상 등을 통해 수술 부위를 파악하여 수술하였으나, 이는 의사의 경험에 많이 의존하게 된다는 한계가 있다. 또한, 수술 부위에 대하여 복강경과 같은 내시경만으로 획득할 수 있는 영상은 몸 속 장기 조직의 외부 표면에 대한 영상들뿐이므로, 수술 부위가 장기에 가려져 보이지 않는 경우, 또는 수술 부위가 장기 내부인 경우 등에는 수술 부위에 대한 정확한 위치, 형태 등을 정확하게 파악하기 어렵다.

환자의 자세 변화에 따른 의료 영상을 보정하는 방법, 장치 및 시스템을 제공하는 데 있다. 또한, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 해결하고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

본 발명의 일 측면에 따른 환자의 자세 변화에 따른 의료 영상을 보정하는 방법은 피검자에 마커(marker)를 부착하고, 상기 피검자가 제 1 자세를 취한 상태에서 상기 마커를 부착한 위치를 포함하는 주변 부위에 대한 상기 피검자의 해부학적 정보가 포함된 제 1 비 실시간 영상 및 제 1 실시간 영상을 생성하는 단계; 상기 피검자가 제 2 자세를 취한 상태에서 상기 주변 부위에 대한 상기 피검자의 제 2 실시간 영상을 생성하는 단계; 상기 제 1 실시간 영상 및 제 2 실시간 영상을 이용하여 상기 제 1 자세에서 상기 제 2 자세로 변경됨에 따라 상기 마커가 이동한 정보를 획득하는 단계; 및 상기 마커의 이동 정보를 반영하여 상기 제 1 비 실시간 영상을 보정하는 단계;를 포함한다.

본 발명의 다른 측면에 따라 상기된 환자의 자세 변화에 따른 의료 영상을 보정하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다.

본 발명의 또 다른 측면에 따른 환자의 자세 변화에 따른 의료 영상을 보정하는 장치는 마커(marker)를 부착한 피검자가 제 1 자세를 취한 상태에서 상기 마커를 부착한 위치를 포함하는 주변 부위에 대한 상기 피검자의 해부학적 정보가 포함된 제 1 비 실시간 영상을 생성하는 제 1 영상 생성부; 상기 피검자가 제 1 자세를 취한 상태에서 상기 주변 부위에 대한 상기 피검자의 해부학적 정보가 포함된 제 1 실시간 영상을 생성하는 제 2 영상 생성부; 상기 피검자가 제 2 자세를 취한 상태에서 상기 주변 부위에 대한 상기 피검자의 제 2 실시간 영상을 생성하는 제 3 영상 생성부; 상기 제 1 실시간 영상 및 제 2 실시간 영상을 이용하여 상기 제 1 자세에서 상기 제 2 자세로 변경됨에 따라 상기 마커가 이동한 정보를 획득하는 이동 정보 획득부; 및 상기 마커의 이동 정보를 반영하여 상기 제 1 비 실시간 영상을 보정하는 영상 보정부;를 포함한다.

본 발명의 또 다른 측면에 따른 환자의 자세 변화에 따른 의료 영상을 보정하는 시스템은 마커(marker)를 부착한 피검자의 해부학적 정보가 포함된 제 1 비 실시간 영상, 제 1 내지 제 3 실시간 영상을 생성하는 하나 이상의 촬상 장치; 상기 촬상 장치로부터 생성된 상기 피검자의 제 1 실시간 영상 및 제 2 실시간 영상을 이용하여 상기 마커의 이동 정보를 획득하고, 상기 마커의 이동 정보를 반영하여 제 1 비 실시간 영상을 보정하는 영상 처리 장치;를 포함한다.

본 발명의 또 다른 측면에 따른 촬상 장치로부터 피사체까지의 거리를 측정하는 방법은 피사체를 포함하는 두 개 이상의 영상들을 획득하는 단계; 상기 영상들을 기초로 삼각 측량(tiangulation)을 수행하여 상기 촬상 장치로부터 상기 피사체까지의 제 1 거리를 계산하는 단계; 상기 렌즈들의 캘리브레이션(calibration) 및 상기 영상들의 교정(rectification)을 수행한 후 상기 촬상 장치로부터 상기 피사체까지의 제 2 거리를 계산하는 단계; 상기 제 1 거리 및 제 2 거리를 이용하여, 상기 제 2 거리와 상기 촬상 장치로부터 상기 피사체까지의 실제 거리 간의 차이를 보정(compensation)하는 단계;를 포함한다.

상기된 바에 따르면, 마커(marker)를 이용하여 진단 영상을 수술 영상에 중첩할 때에 환자의 자세 변화로 인한 피부의 이동을 보상하여 정확한 영상을 제공할 수 있다. 또한, 로봇에 의하여 간단한 수술 동작을 수행할 경우 로봇을 제어할 수 있는 영상 정보를 제공할 수 있다.

또한, 촬상 장치에서 생성한 영상을 이용하여, 촬상 장치로부터 피사체까지의 거리를 정확하게 측정할 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 보정 시스템의 사용 환경의 일 예를 도시한 도면이다.
도 2 는 본 발명의 일 실시예에 따른 마커의 일 예를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 피검자의 자세가 제 1 자세에서 제 2 자세로 변경됨에 따라 마커가 이동한 일 예를 도시한 도면이다.
도 4a 내지 4b는 본 발명의 일 실시예에 따른 제 1 위치 관계 특정부 및 제 2 위치 관계 특정부가 동작하는 일 예를 도시한 도면이다.
도 5a는 제 1 위치 관계 특정부가 제 1 실시간 영상 상에서 지점과 마커의 위치를 좌표로 표현하는 과정의 일 예를 도시한 도면이다.
도 5b는 본 발명의 일 실시예에 따른 이동량 및 이동 방향 산출부가 동작하는 일 예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 보정 시스템의 다른 예를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 보정 시스템의 사용 환경의 다른 예를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 처리 장치에서 영상을 보정하는 일 예를 나타내는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 영상 처리 장치에서 영상을 보정하는 다른 예를 나타내는 흐름도이다.
도 10a 내지 도 10b는 보정 패턴 및 위치 측정 장치의 지시자의 일 예를 도시한 도면이다.
도 11은 삼각측량 방식의 일 예를 도시한 도면이다.
도 12는 보정 패턴에 대한 영상을 이용하여 제 4 촬상 장치를 캘리브레이션 하는 일 예를 도시한 도면이다.
도 13은 제 4 촬상 장치가 캘리브레이션과 교정을 수행한 후, 제 4 촬상 장치에 포함된 좌측 및 우측 카메라의 x 좌표가 가로 방향으로 일치된 결과를 도시한 도면이다.
도 14는 위치 측정 장치 및 제 4 촬상 장치의 일 예를 도시한 도면이다.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 영상 보정 시스템(1)의 일 예를 도시한 도면이다.

도 1 을 참조하면, 영상 보정 시스템(1)은 촬상 장치(10) 및 영상 처리 장치(20)를 포함할 수 있다. 또한, 영상 처리 장치(20)는 영상 생성부(210), 이동 정보 획득부(220) 및 영상 보정부(230)를 포함할 수 있다.

도 1에 도시된 영상 보정 시스템(1)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

또한, 도 1에 도시된 영상 처리 장치(20)의 영상 생성부(210), 이동 정보 획득부(220) 및 영상 보정부(230)는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

먼저, 사용자는 피검자에 마커(marker)(60)를 부착한다. 그리고 영상 생성부(210)는 피검자가 제 1 자세(40)를 취한 상태에서 마커(60)를 부착한 위치를 포함하는 주변 부위에 대한 피검자의 해부학적 정보가 포함된 제 1 비 실시간 영상 및 제 1 실시간 영상을 생성한다. 또한, 영상 생성부(210)는 피검자가 제 2 자세(50)를 취한 상태에서 주변 부위에 대한 피검자의 제 2 실시간 영상을 생성한다.

여기에서 주변 부위는 마커(60)를 부착한 위치를 포함한 그 주변의 부위를 의미한다. 예를 들어, 피검자가 전립선 제거 수술을 받는다면, 주변 부위는 피검자의 전립선을 포함하는 그 주변의 부위를 의미할 수 있다.

여기에서 제 1 자세(40)는 제 1 비 실시간 영상 및 제 1 실시간 영상을 얻기 위하여 피검자가 취하는 자세로서, 예를 들어 피검자가 수술을 받기 전에 취하고 있는 자세가 될 수 있다. 또한, 제 2 자세(50)는 제 2 실시간 영상을 얻기 위하여 피검자가 취하는 자세로서, 예를 들어 피검자가 수술을 받기 위하여 제 1 자세에서 변경한 자세가 될 수 있다. 구체적으로, 사용자가 피검자의 전립선 제거 수술을 수행할 경우, 영상 보정 시스템(1)은 피검자의 자세를 제 1 자세(40)로 하여 제 1 비 실시간 영상을 생성하고, 피검자의 자세를 제 2 자세(50)로 변경하여 제 1 실시간 영상 및 제 2 실시간 영상을 생성할 수 있다.

마커(60)는 제 1 비 실시간 영상, 제 1 실시간 영상 및 제 2 실시간 영상들에서 식별 가능하고, 피검자의 외부에서도 식별 가능한 부분을 포함할 수 있다.

도 2 는 본 발명의 일 실시예에 따른 마커(60)의 일 예를 도시한 도면이다.

마커(60)는 제 1 비 실시간 영상, 제 1 실시간 영상 및 제 2 실시간 영상들에서 식별할 수 있도록, 상기 영상들에서 투명한(transparent) 부분(62) 및 불투명한(opaque) 부분(61)이 포함될 수 있다. 구체적으로, 마커(60)에 상기 투명한 부분(62) 및 불투명한 부분(61)이 포함됨에 따라, 상기 영상들에서 마커(60)의 형상이 나타날 수 있다. 또한, 마커(60)는 피검자의 외부에서도 식별 가능할 수 있다. 구체적으로, 사용자 등이 피검자에 마커(60)를 부착하고 난 후, 사용자의 외부에서도 마커(60)의 형상을 식별 가능한 부분이 포함될 수 있다.

도 2 에서 마커(60)는 원형으로 도시되어 있으나, 마커(60)가 영상들 및 피검자의 외부에서 식별 가능한 부분을 포함한다면, 원형에 한정되지 않는다.

또한, 본 발명의 일 실시예에서 마커(60)는 피검자의 피부(skin) 상에 부착될 수 있다. 예를 들어, 수술 전 얻은 진단 영상(pre-operative image)을 수술 시에 다른 스크린이나 내시경 화면의 일부에 표시하여 진단 영상 정보를 이용하는 경우에, 피검자의 자세 변화로 인하여 수술 시의 시점(viewpoint)과 진단 영상의 시점이 일치하지 않을 수 있다. 이러한 경우에 사용자가 임의로 진단 영상과 현재 보이는 수술 영상의 정보를 정합하게 되고, 따라서 정합의 정확도는 사용자의 경험에 의하여 좌우되는 경우가 많다.

최근에, 두뇌에 대한 신경외과 수술의 경우 피검자의 두개골에 마커를 부착하고(bone-implanted marker), 이 마커를 부착한 채로 CT(computed tomography)나 MR(magnetic resonance) 영상을 획득하고, 수술시에는 이 마커를 카메라 등의 실시간 마커 검출 시스템을 사용하여 수술 시 사용자의 화면에 표시하는 방법이 제안되었다. 그러나 이러한 방법은 피검자의 뼈에 마커를 부착함으로써 피검자에게 많은 불편을 주며, 시간이 많이 소요되고, 감염의 위험이 있고, 흉터가 남을 수 있으며, 상처 회복에 드는 시간이 증가할 수 있다.

그러나 본 발명에서는 마커(60)를 피검자의 피부 상에 부착함에 따라, 피검자의 신체를 상하게 하지 않고, 피검자의 자세 변화에 따른 영상들 간의 시점 변화를 보상(compensation)할 수 있다.

다시 도 1을 참조하면, 영상 생성부(210)는 피검자가 제 1 자세(40)를 취한 상태에서 제 1 비 실시간 영상 및 제 1 실시간 영상을 생성하고, 영상 생성부(210)는 피검자가 제 2 자세(50)를 취한 상태에서 제 2 실시간 영상을 생성한다.

여기에서, 제 1 비 실시간 영상, 제 1 실시간 영상 및 제 2 실시간 영상은 도 1에 도시한 바와 같이 촬상 장치(10)를 통하여 생성될 수도 있다. 예를 들어, 도 1은 영상 생성부(210)와 촬상 장치(10)를 분리하여 도시하였으나, 촬상 장치(10)와 영상 생성부(210)가 하나의 구성으로 동작할 수도 있다. 촬상 장치(10)와 영상 생성부(210)가 분리된 경우에는, 촬상 장치(10)가 마커(60)를 부착한 위치를 포함하는 주변 부위에 대한 피검자의 해부학적 정보를 얻고, 이를 전기적 신호 등으로 변환하여 영상 생성부(210)로 전송하면, 영상 생성부(210)가 수신한 전기적 신호 등을 변환하여 제 1 비 실시간 영상, 제 1 실시간 영상 및 제 2 실시간 영상을 얻을 수 있다.

또한, 촬상 장치(10)는 하나의 장치로 동작할 수 있으나, 제 1 비 실시간 영상, 제 1 실시간 영상 및 제 2 실시간 영상 각각에 대응하여 제 1 촬상 장치(11), 제 2 촬상 장치(12) 및 제 3 촬상 장치(13)로 구성되어 동작할 수도 있다. 또한, 영상 생성부(210)도 하나의 장치로 동작할 수 있으나, 제 1 비 실시간 영상, 제 1 실시간 영상 및 제 2 실시간 영상 각각에 대응하여 제 1 영상 생성부(211), 제 2 영상 생성부(212) 및 제 3 영상 생성부(213)로 구성되어 동작할 수도 있다.

여기에서 제 1 비 실시간 영상은 CT(computed tomography), MR(magnetic resonance), SPECT(single photon emission computed tomography), PET(positron emission tomography) 영상 중 어느 하나일 수 있다. 또한, 제 1 실시간 영상 및 제 2 실시간 영상은 초음파(ultrasound), PAT(photoacoustic tomography), X-ray 영상 중 어느 하나일 수 있다.

제 1 비 실시간 영상, 제 1 실시간 영상 및 제 2 실시간 영상은 그 영상을 촬영하는 촬상 장치(10)의 종류에 따라 2D(2-dimensional) 영상일 수도 있고, 3D(3-dimensional) 영상일 수도 있다. 만약, 영상 생성부(210)가 생성한 영상이 복수의 2D 영상들인 경우, 영상 생성부(210)는 볼륨 렌더링(volume rendering) 등의 이미 알려진 방법들을 통해 2D 영상들을 3D 영상으로 생성할 수 있다.

이동 정보 획득부(220)는 제 1 실시간 영상 및 제 2 실시간 영상을 이용하여 제 1 자세(40)에서 제 2 자세(50)로 변경됨에 따라 마커(60)가 이동한 정보를 획득한다. 예를 들어, 이동 정보 획득부(220)는 영상 생성부(210)로부터 제 1 실시간 영상 및 제 2 실시간 영상을 전송받고, 제 1 실시간 영상 및 제 2 실시간 영상을 이용하여 마커(60)가 이동한 정보를 획득할 수 있다. 여기에서 마커(60)가 이동한 정보는 마커(60)가 이동한 방향 및 이동량을 의미한다.

도 3은 본 발명의 일 실시예에 따른 피검자의 자세가 제 1 자세(도 1의 40)에서 제 2 자세(도 1의 50)로 변경됨에 따라 마커(도 1의 60)가 이동한 일 예를 도시한 도면이다.

피검자의 피부 상에 부착한 마커(도 1의 60)는 피검자의 자세가 변경됨에 이동할 수 있다. 예를 들어, 도 1에 도시된 바와 같이 피검자의 자세가 제 1 자세(도 1의 40)에서 제 2 자세(도 1의 50)로 변경되면, 중력 등의 외부에서 작용하는 힘에 의하여 피부의 위치가 변경될 수 있고, 이에 대응하여 마커(도 1의 60)도 이동할 수 있다.

구체적으로, 피검자가 제 1 자세(도 1의 40)를 취하고 있을 때 마커(도 1의 60)가 식별번호 310에 위치하고 있다면, 피검자의 자세가 제 2 자세(도 1의 50)로 변경될 경우 마커(도 1의 60)는 중력 등의 외부에서 작용하는 힘에 의하여 식별번호 320과 같이 이동할 수 있다. 여기에서 마커(도 1의 60)가 식별번호 310에서 320으로 이동하는 것으로 설명하였으나, 이에 한정되지 않는다. 또한, 도 3에서 마커(도 1의 60)의 개수를 3개로 도시하였으나, 이에 한정되지 않는다.

다시 도 1을 참조하면, 이동 정보 획득부(220)는 제 1 위치 관계 특정부(221), 제 2 위치 관계 특정부(222) 및 이동량 및 이동 방향 산출부(223)를 포함할 수 있다. 이동 정보 획득부(220)의 제 1 위치 관계 특정부(221), 제 2 위치 관계 특정부(222) 및 이동량 및 이동 방향 산출부(223)는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

제 1 위치 관계 특정부(221)는 제 1 실시간 영상에 포함된 데이터들에서 측정한 값이 임계치를 초과하는 지점을 결정하고, 결정된 지점과 마커(60) 간의 제 1 위치 관계를 특정한다. 여기에서 데이터들은 제 1 실시간 영상을 구성하는 픽셀(pixel)들의 밝기(brightness) 정도 또는 제 1 실시간 영상에 포함된 조직의 강도(stiffness)를 의미할 수 있으나, 이에 한정되지 않는다.

예를 들어, 제 1 실시간 영상이 탄성 초음파(Ultrasound Elastography) 영상인 경우, 제 1 실시간 영상에 포함된 데이터들에서 측정한 값은 제 1 실시간 영상에 포함된 조직의 강도(stiffness)를 나타내는 값을 의미할 수도 있다.

또는, 제 1 실시간 영상이 초음파 영상인 경우, 초음파의 특성상 초음파가 장기의 표면 조직에 대해서 높은 에코발생도(high echogenicity)를 갖는 성질을 이용하여 제 1 실시간 영상에 포함된 데이터들에서 상기 값을 측정할 수 있다. 구체적으로, 제 1 위치 관계 특정부(221)는 특정 장기의 표면 조직이 초음파 영상에서 상대적으로 밝은 선으로 나타나는 성질을 이용함으로써 밝기 값이 임계치를 초과하는 지점을 결정할 수 있다. 여기에서 임계치는 피검자의 의료 영상 상에서 사용자, 예를 들어 의료 전문가가 직접 결정할 수도 있고, 제 1 위치 관계 특정부(221)에서 사용자의 개입 없이 자동으로 결정될 수도 있다.

밝기 값이 임계치를 초과하는 지점은 제 1 실시간 영상에 포함된 체내 조직들 중에서 피검자의 자세 변화에 무관하게 고정된 위치를 갖는 조직에서 선택한 지점을 의미할 수 있다. 예를 들어, 뼈나 혈관과 같은 조직은 피검자의 자세 변화에 무관하게 고정된 위치를 갖는다. 구체적으로, 제 1 실시간 영상과 제 2 실시간 영상 상에서 뼈나 혈관과 같은 조직은 피검자의 자세 변화에 상관없이 고정된 위치로 나타날 수 있다. 예를 들어, 제 1 위치 관계 특정부(221)는 제 1 실시간 영상에서 밝기 값이 임계치를 초과하고 피검자의 자세 변화에 무관하게 고정된 위치를 갖는 뼈 조직 중 한 지점을 결정할 수 있다.

제 2 위치 관계 특정부(222)는 제 2 실시간 영상 상에서 제 1 실시간 영상에서 결정한 지점과 대응되는 지점을 선택하고, 선택된 지점과 마커(60)간의 제 2 위치 관계를 특정한다.

앞에서 설명한 바와 같이, 제 1 위치 관계 특정부(221)가 결정한 지점은 피검자의 자세 변화에 상관없이 고정된 위치를 갖는 조직에서 선택한 지점이므로, 제 2 위치 관계 특정부(222)에서 선택한 지점도 피검자의 자세 변화에 상관없이 고정된 위치를 갖는 조직의 지점에 해당한다.

또한, 제 1 위치 관계 특정부(221) 또는 제 2 위치 관계 특정부(222)가 결정한 지점은, 제 1 위치 관계 특정부(221) 또는 제 2 위치 관계 특정부(222)가 제 1 실시간 영상 또는 제 2 실시간 영상 상에서 고정된 위치를 갖는 조직의 외곽면을 분리(segmentation)하고, 분리된 외곽면에서 선택한 지점이 될 수 있다. 여기에서 고정된 위치는 피검자의 자세 변화에 상관없이 고정된 위치를 의미한다.

도 4a 내지 4b는 본 발명의 일 실시예에 따른 제 1 위치 관계 특정부(도 1의 221) 및 제 2 위치 관계 특정부(도 1의 222)가 동작하는 일 예를 도시한 도면이다.

도 4a를 참조하면, 제 1 위치 관계 특정부(도 1의 221)가 제 1 실시간 영상에서 조직의 외곽면을 분리하는 과정이 도시되어 있다. 제 1 실시간 영상은 마커(440)를 부착한 위치 및 그 주변 부위(450)를 포함할 수 있다. 여기에서 주변 부위(450)에는 피검자의 골반 뼈(420a)가 포함되어 있다고 가정한다. 제 1 위치 관계 특정부(221)는 제 1 실시간 영상 상에서 피검자의 골반 뼈(420a) 조직을 선택하고, 그 골반 뼈(420a) 조직의 외곽면(420b)을 분리할 수 있다. 여기에서 제 1 실시간 영상이 초음파 영상인 경우, 제 1 위치 관계 특정부(221)는 골반 뼈(420a)의 표면 조직이 초음파 영상에서 상대적으로 밝은 선으로 나타나는 성질을 이용함으로써 골반 뼈(420a) 조직의 외곽면(420b)을 분리할 수 있다.

그리고 제 1 위치 관계 특정부(도 1의 221)는 분리된 골반 뼈(420a) 조직의 외곽면(420b) 상의 한 지점을 선택한다.

도 4b를 참조하면, 제 2 위치 관계 특정부(도 1의 222)가 제 2 실시간 영상에서 조직의 외곽면을 분리하는 과정이 도시되어 있다. 제 2 실시간 영상은 피검자가 제 2 자세를 취한 상태에서 생성된 영상으로서, 제 1 실시간 영상과 비교하여 마커의 위치가 다르다. 예를 들어, 제 1 실시간 영상에서의 마커의 위치를 식별번호 410이라고 한다면, 제 2 실시간 영상에서의 마커의 위치는 식별번호 430으로서 서로 동일하지 않을 수 있다. 제 2 위치 관계 특정부(도 1의 222)는, 제 1 위치 관계 특정부(도 1의 221)가 외곽면을 분리한 조직(예를 들어, 골반 뼈 조직)과 대응되는 조직(460a)을 제 2 실시간 영상에서 선택하고, 그 선택된 조직(460a)의 외곽면(460b)을 분리한다. 여기에서 제 2 위치 관계 특정부(도 1의 222)가 조직(460a)의 외곽면(460b)을 분리하는 과정은 제 1 위치 관계 특정부(도 1의 221)가 조직의 외곽면을 분리하는 과정과 같다.

그리고 제 2 위치 관계 특정부(도 1의 222)는, 제 1 위치 관계 특정부가 선택한 지점과 대응되는 지점을 제 2 실시간 영상 상에서 선택한다.

다시 도 1을 참조하면, 제 1 위치 관계 특정부(221)는 제 1 실시간 영상에서 결정된 지점과 마커(60) 간의 제 1 위치 관계를 특정한다. 예를 들어, 제 1 위치 관계 특정부(221)는 제 1 실시간 영상 상에서 지점과 마커의 위치를 좌표로 표현하는 방식으로 제 1 위치 관계를 특정할 수 있다.

또한, 제 2 위치 관계 특정부(222)는 제 2 실시간 영상에서 결정된 지점과 마커(60)간의 제 2 위치 관계를 특정한다. 예를 들어, 제 2 위치 관계 특정부(222)는 제 2 실시간 영상 상에서 지점과 마커의 위치를 좌표로 표현하는 방식으로 제 2 위치 관계를 특정할 수 있다.

도 5a는 제 1 위치 관계 특정부(도 1의 221)가 제 1 실시간 영상 상에서 지점과 마커의 위치를 좌표로 표현하는 과정의 일 예를 도시한 도면이다.

제 1 위치 관계 특정부(도 1의 221)는 제 1 실시간 영상에서 임의의 지점을 원점으로 하는 좌표축을 설정한다. 그 후, 제 1 위치 관계 특정부(도 1의 221)는 원점을 기준으로 앞에서 결정한 지점(520) 및 마커의 중심(510)에 해당하는 지점에 대한 좌표를 계산한다. 예를 들어, 제 1 실시간 영상이 3D 영상이라고 한다면, 제 1 위치 관계 특정부(도 1의 221)는 앞에서 결정한 지점(520)의 좌표를 P(x₀, y₀, z₀), 마커의 중심(510)에 해당하는 지점의 좌표를 M₁(x₁, y₁, z₁)로 계산할 수 있다. 그리고, 제 1 위치 관계 특정부(도 1의 221)는 P(x₀, y₀, z₀)와 M₁(x₁, y₁, z₁) 사이의 벡터

를 계산하는 방식으로 제 1 위치 관계를 특정할 수 있다. 그러나, 앞에서 결정한 지점(520) 및 마커의 중심(510)에 해당하는 지점 간의 위치 관계를 나타낼 수 있다면, 벡터를 계산하는 방식에 한정되지 않는다.

제 2 위치 관계 특정부(도 1의 222)도 제 1 위치 관계 특정부(도 1의 221)와 동일한 방식으로 제 2 실시간 영상에서 결정한 지점 및 마커의 중심에 해당하는 지점의 좌표를 결정할 수 있다. 구체적으로, 제 2 위치 관계 특정부(도 1의 222)는 제 1 위치 관계 특정부(도 1의 221)가 설정한 원점 및 좌표축과 대응되는 원점과 좌표축을 기준으로, 제 2 실시간 영상에서 결정한 지점 및 마커의 중심에 해당하는 지점의 좌표를 계산한다. 예를 들어, 제 2 실시간 영상이 3D 영상이라고 한다면, 제 2 위치 관계 특정부는 앞에서 결정한 지점의 좌표를 P(x₀, y₀, z₀), 마커의 중심에 해당하는 지점의 좌표를 M₂(x₂, y₂, z₂)로 계산할 수 있다. 그리고, 제 2 위치 관계 특정부(222)는 P(x₀, y₀, z₀)와 M₂(x₂, y₂, z₂) 사이의 벡터

를 계산하는 방식으로 제 2 위치 관계를 특정할 수 있다. 그러나, 앞에서 결정한 지점 및 마커의 중심에 해당하는 지점 간의 위치 관계를 나타낸다면, 벡터를 계산하는 방식에 한정되지 않는다.

다시 도 1을 참조하면, 이동량 및 이동 방향 산출부(223)는 제 1 위치 관계 및 제 2 위치 관계를 이용하여 피검자가 자세를 변경함에 따라 마커가 이동한 방향 및 이동량을 산출한다. 예를 들어, 이동량 및 이동 방향 산출부(223)는 제 1 위치 관계 특정부(221) 및 제 2 위치 관계 특정부(222)로부터 제 1 위치 관계 및 제 2 위치 관계에 관한 정보를 전송받아, 마커가 이동한 정보 마커가 이동한 방향 및 이동량을 산출한다.

도 5b는 본 발명의 일 실시예에 따른 이동량 및 이동 방향 산출부(도 1의 223)가 동작하는 일 예를 도시한 도면이다.

예를 들어, 이동량 및 이동 방향 산출부(도 1의 223)는 제 1 위치 관계 특정부(도 1의 221)가 계산한 제 1 위치 관계

(540) 및 제 2 위치 관계 특정부(도 1의 222)가 계산한 제 2 위치 관계

(530)를 전송받아, 양 벡터에 기초하여 마커가 이동(즉, 식별번호 560에서 식별번호 550으로 이동)한 이동 방향 및 이동량을 산출할 수 있다.

다시 도 1을 참조하면, 영상 보정부(230)는 마커의 이동 정보를 반영하여 제 1 비 실시간 영상을 보정한다. 예를 들어, 영상 보정부(230)는 이동 정보 획득부(220)로부터 전송받은 마커의 이동 정보(즉, 마커의 이동 방향 및 이동량)를 반영하여, 제 1 비 실시간 영상을 보정한다. 여기에서 제 1 비 실시간 영상을 보정하는 것은 제 1 비 실시간 영상에 나타난 마커(60)를 포함하는 주변 부위에 대한 해부학적 정보를 피검자가 제 2 자세를 취한 상태에서의 해부학적 정보를 나타낼 수 있도록 보정하는 것을 의미한다. 여기에서 해부학적 정보는 체내 조직들의 구성 뿐 만 아니라, 조직들이 이동한 방향 및 이동량을 포함하는 정보를 의미한다.

피검자가 자세를 변경함에 따라, 중력 등 외부에서 작용하는 힘에 의하여 체내 조직들의 위치도 이동할 수 있다. 구체적으로, 피검자의 자세 변화에 무관하게 고정된 위치를 갖는 뼈나 혈관과 같은 조직을 제외하고, 나머지 연조직(soft tissue)들은 피검자의 자세 변경에 따라 어느 정도 이동이 가능하다. 따라서, 영상 보정부(230)는 피검자의 피부에 부착한 마커(60)의 이동 정보, 즉 마커(60)의 이동 방향 및 이동량에 대응하여 체내 조직들이 이동한 방향 및 이동량을 산출하고, 이를 기초로 제 1 비 실시간 영상을 보정한다.

또한, 영상 보정부(230)는 평가부를 더 포함할 수 있고, 평가부는 제 1 비 실시간 영상이 정확하게 보정되었는지 여부를 판단할 수 있다. 예를 들어, 평가부는 보정된 제 1 비 실시간 영상 및 제 1 비 실시간 영상에 다수의 포인트들을 설정하고, 상기 보정된 제 1 비 실시간 영상 및 제 1 비 실시간 영상에서 서로 대응되는 위치에 설정된 포인트 간의 거리를 측정하여 소정의 오차 값 이하에 해당되는지를 판단할 수 있다. 여기에서 소정의 오차 값은 사용자가 설정한 값일 수도 있고, 평가부에서 사용자의 개입 없이 자동적으로 설정한 값일 수도 있다. 평가부가 상기 포인트 간의 거리가 소정의 오차 값을 초과한다고 판단한 경우, 영상 처리 장치(20)를 구성하는 각 유닛(unit)들은 상기 동작들을 다시 수행한다.

영상 보정부(230)가 제 1 비 실시간 영상을 보정함에 따라, 또 다른 영상의 생성 없이 피검자가 제 2 자세를 취한 상태에서의 체내 조직들의 위치를 나타내는 영상을 획득할 수 있다. 이에 따라, 피검자의 체내 조직들의 해부학적 정보를 나타내는 영상(예를 들어, CT 또는 MR 영상)을 얻기 위하여 피검자가 취하는 자세와 수술시 피검자가 취하는 자세가 다르더라도, 영상 보정부(230)는 피검자의 피부 및 체내 조직들의 이동을 보상하여 정확한 진단 영상을 획득할 수 있다.

도 6은 본 발명의 일 실시예에 따른 영상 보정 시스템(1)의 다른 예를 도시한 도면이다.

영상 보정 시스템(1)은 촬상 장치(10) 및 영상 처리 장치(20)를 포함할 수 있고, 영상 처리 장치(20)는 영상 생성부(210), 이동 정보 획득부(220), 영상 보정부(230) 및 영상 중첩부(240)를 포함할 수 있다.

도 6에 도시된 영상 보정 시스템(1)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 6에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

또한, 도 6에 도시된 영상 처리 장치(20)의 영상 생성부(210), 이동 정보 획득부(220), 영상 보정부(230) 및 영상 중첩부(240)는 하나 또는 복수 개의 프로세서에 해당할 수 있다. 프로세서는 다수의 논리 게이트들의 어레이로 구현될 수도 있고, 범용적인 마이크로 프로세서와 이 마이크로 프로세서에서 실행될 수 있는 프로그램이 저장된 메모리의 조합으로 구현될 수도 있다. 또한, 다른 형태의 하드웨어로 구현될 수도 있음을 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

또한, 도 6에 도시된 영상 처리 장치(20)의 이동 정보 획득부(220) 및 영상 보정부(230)의 동작은 전술한 바와 같다.

영상 생성부(210)는 피검자가 제 2 자세를 취한 상태에서 피검자의 주변 부위를 나타내는 영상인 제 3 실시간 영상을 생성한다. 예를 들어, 영상 생성부(210)를 구성하는 제 4 영상 생성부(214)는 피검자가 제 2 자세를 취한 상태에서 피검자의 체내에 삽입한 촬상 장치(10)를 이용하여 피검자의 주변 부위에 대한 해부학적 정보가 포함된 제 3 실시간 영상을 생성할 수 있다.

여기에서 촬상 장치(10)는 피검자의 체내에 삽입한 촬상 장치로서, 도 6에 도시된 바와 같이 제 1 비 실시간 영상, 제 1 실시간 영상 및 제 2 실시간 영상을 생성하는 촬상 장치들과 구별되는 제 4 촬상 장치(14)일 수 있다. 구체적으로, 제 1 비 실시간 영상, 제 1 실시간 영상 및 제 2 실시간 영상을 각각 생성하는 제 1 촬상 장치(11), 제 2 촬상 장치(12) 및 제 3 촬상 장치(13)는 피검자의 체외에 구비된 촬상 장치이고, 제 3 실시간 영상을 생성하는 제 4 촬상 장치(14)는 피검자의 체내에 삽입한 촬상 장치일 수 있다. 제 4 촬상 장치(14)는 복강경(laparoscope) 장치와 같은 내시경 장치일 수 있으나, 이에 한정되지 않는다.

또한, 도 6은 영상 생성부(210)와 촬상 장치(10)를 분리하여 도시하였으나, 촬상 장치(10)와 영상 생성부(210)가 하나의 구성으로 동작할 수도 있음은 전술한 바와 같다.

영상 생성부(210)(구체적으로, 제 4 영상 생성부(214))는 생성한 제 3 실시간 영상을 영상 중첩부(240)로 전송한다.

영상 중첩부(240)는 촬상 장치(10)와 마커(60) 간의 제 3 위치 관계를 파악하고, 제 3 위치 관계를 이용하여 제 3 실시간 영상과 보정된 영상을 중첩한다. 여기에서 보정된 영상은 제 1 비 실시간 영상이 보정된 영상을 의미하고, 이는 영상 보정부(230)에서 전송받는다.

영상 중첩부(240)가 제 3 위치 관계를 파악하기 위하여, 영상 보정 시스템(1)에 별도의 위치 측정 장치가 구비될 수 있다. 이하, 영상 중첩부(240)가 제 3 위치 관계를 파악하는 일 예는 위치 측정 장치를 이용하는 것으로 설명하겠으나, 이에 한정되지 않는다.

도 14는 위치 측정 장치 및 제 4 촬상 장치의 일 예를 도시한 도면이다.

먼저, 영상 중첩부(도 6의 240)는 위치 측정 장치(1410)와 마커(도 6의 60) 간의 위치 관계를 파악한다. 그 후, 영상 중첩부(도 6의 240)는 위치 측정 장치(1410)와 제 4 촬상 장치(도 6의 14) 간의 위치 관계를 파악한다. 여기에서 위치 측정 장치(1410)와 제 4 촬상 장치(도 6의 14) 간의 위치 관계는 제 4 촬상 장치(도 6의 14)에 부착한 별도의 마커(1430)를 이용하여 파악할 수 있다. 여기에서 제 4 촬상 장치(도 6의 14)에 부착한 마커(1430)는 외부로부터 도달된 적외선을 반사할 수 있고, 직접 적외선을 방출할 수도 있다.

예를 들어, 위치 측정 장치(1410)가 방출한 적외선이 제 4 촬상 장치(도 6의 14)에 부착한 마커(1430)에 도달하면, 제 4 촬상 장치(도 6의 14)에 부착한 마커(1430)는 그 적외선을 반사할 수 있다. 영상 중첩부(도 6의 240)는 이렇게 반사된 적외선이 다시 위치 측정 장치(1410)에 도달한 시간 및 방향을 측정하여 위치 측정 장치(1410)와 제 4 촬상 장치(도 6의 14)간의 위치 관계를 파악할 수 있다. 또 다른 예로, 영상 중첩부(도 6의 240)는 제 4 촬상 장치(도 6의 14)에 부착한 마커(1430)가 직접 방출한 적외선이 위치 측정 장치(1410)에 도달한 시간 및 방향을 측정하여 위치 측정 장치(1410)와 제 4 촬상 장치(도 6의 14)간의 위치 관계를 파악할 수도 있다.

다시 도 6을 참조하면, 위에서 영상 중첩부(240)가 파악한 위치 측정 장치(도 14의 1410)와 제 4 촬상 장치(14) 간의 위치 관계는, 제 4 촬상 장치(14)에 구비된 렌즈와 제 4 촬상 장치(14)에 부착한 마커(도 14의 1430) 사이의 위치 관계는 파악되지 않는다. 엄밀하게 말하면, 제 4 촬상 장치(14)를 이용하여 생성하는 제 3 실시간 영상은 제 4 촬상 장치(14)에 구비된 렌즈를 통하여 생성된 영상이다. 따라서, 위치 측정 장치(도 14의 1410)와 제 4 촬상 장치(14)에 부착한 마커(도 14의 1430) 사이의 위치 관계만으로는 영상 중첩부(240)가 제 3 실시간 영상과 보정된 영상을 정확하게 중첩하기 어려울 수 있다. 따라서, 제 4 촬상 장치(14)에 부착한 마커(도 14의 1430)와 제 4 촬상 장치(14)의 렌즈 사이의 위치 관계를 파악하여야 한다.

이하에서, 제 4 촬상 장치(14)는 스테레오 복강경(stereo laparoscope) 장치인 것으로 설명하나, 이에 한정되지 않는다.

먼저, 위치 측정 장치(도 14의 1410)는 보정 패턴(pattern)을 이용하여 위치 측정 장치(도 14의 1410)로부터 보정 패턴까지의 3차원 거리를 계산한다. 또한, 제 4 촬상 장치(14)는 보정 패턴을 이용하여 제 4 촬상 장치(14)의 좌측 및 우측 렌즈로부터 보정 패턴까지의 3차원 거리를 계산한다.

도 10a 내지 도 10b는 보정 패턴 및 지시자의 일 예를 도시한 도면이다.

도 10a를 참조하면, 제 4 촬상 장치(도 6의 14)의 외부에 보정 패턴(1010)이 존재한다고 가정하면, 제 4 촬상 장치(도 6의 14)의 좌측 및 우측 렌즈 각각이 보정 패턴(1010)의 소정의 지점(1020)을 바라봄으로써, 제 4 촬상 장치(도 6의 14)는 제 4 촬상 장치(도 6의 14)의 좌측 및 우측 렌즈로부터 보정 패턴까지의 3차원 거리를 계산할 수 있다. 또한, 위치 측정 장치(도 14의 1410)는 위치 측정 장치(도 14의 1410)로부터 보정 패턴까지의 3차원 거리도 계산할 수 있다.

여기에서 소정의 지점(1020)은 보정 패턴을 구성하는 검은색 사각형(1030)과 흰색 사각형(1040)이 서로 교차하는 지점으로 설정될 수 있으나, 이에 한정되지 않는다. 또한, 사용자가 지시자(도 10b의 1050)를 이용하여 소정의 지점(1020)을 가리키는 지점이 소정의 지점(1020)이 될 수 있으나, 이에 한정되지 않는다.

위에서 설명한 방법으로 제 4 촬상 장치를 중심으로 한 좌표계에서 측정된 소정의 지점의 3차원 좌표 데이터와, 이에 대응하는 위치 측정 장치(도 14의 1410)를 중심으로 한 좌표계에서 측정된 3차원 좌표 데이터의 대응점들을(correspondences) 정의할 수 있다. 이 대응점들간의 rigid transformation은 이후 설명될 특이값 분해(SVD : Singular Value Decomposition) 방법(후술할, 수학식 8 내지 수학식 14)을 이용하여 구할 수 있다.

먼저, 는제 4 촬상 장치(도 6의 14)는 삼각측량(triangulation) 방식을 이용하여 제 4 촬상 장치(도 6의 14)의 좌측 및 우측 렌즈로부터 소정의 지점(1020)까지의 3차원 거리를 계산한다. 여기에서 3차원 거리는 소정의 지점(1020)의 위치 벡터를 의미할 수 있다. 삼각측량 방식의 구체적인 알고리즘은 당해 기술분야에 속한 통상의 지식을 가진 자에게 자명하므로, 이하 간략하게 설명한다.

도 11은 삼각측량 방식의 일 예를 도시한 도면이다.

도 11을 참조하면, 보정 패턴의 소정의 지점 P(1110), 제 4 촬상 장치(도 6의 14)의 좌측 렌즈를 이용하여 생성한 소정의 지점(도 10a의 1020)에 대한 좌측 영상(1120), 제 4 촬상 장치(도 6의 14)의 우측 렌즈를 이용하여 생성한 소정의 지점(도 10a의 1020)에 대한 우측 영상(1130), 좌측 렌즈의 중심(1140) 및 우측 렌즈의 중심(1150)이 도시되어 있다.

좌측 렌즈의 좌표축을 기준으로 한 P(1110)의 위치 벡터를

라고 가정하고, 우측 렌즈의 좌표축을 기준으로 한 P(1110)의 위치 벡터를

라고 가정하면, 상기 두 벡터 사이의 관계는 아래의 수학식 1과 같이 나타낼 수 있다.

수학식 1에서, R은 로테이션 행렬(rotation matrix), T는 변환 벡터(translation vector)이다. R과 T는 우측 렌즈의 좌표를 좌측 렌즈의 좌표로 변환할 때 활용될 수 있다.

P(1110)가 좌측 영상(1120) 상에 나타난 벡터를

라고 하고, P(1110)가 우측 영상(1130) 상에 나타난 벡터를

라고 한다면, 삼각측량은

및

로부터

및

을 찾는 문제로 귀결된다. 따라서, 수학식 1은 아래의 수학식 2와 같이 나타낼 수 있다.

수학식 2에서

라고 가정하면, 수학식 2의 최소 제곱 해(least square solution)은 아래의 수학식 3과 같이 표현할 수 있다.

위의 수학식 3을 이용하여, 제 4 촬상 장치(도 6의 14)는 P(1110)의 위치에 해당하는 좌표를 구할 수 있다.

다시 도 10a를 참조하면, 제 4 촬상 장치(도 6의 14)는 제 4 촬상 장치(도 6의 14)를 캘리브레이션(calibration)하고, 두 영상들을 교정(rectification)하여 제 4 촬상 장치(도 6의 14)의 좌측 및 우측 렌즈로부터 소정의 지점(1020)까지의 3차원 거리를 계산할 수 있다. 여기에서 3차원 거리는 소정의 지점(1020)의 위치 벡터를 의미할 수 있다. 여기에서 두 영상들은 제 4 촬상 장치(도 6의 14)의 좌측 렌즈를 이용하여 생성한 소정의 지점(1020)에 대한 좌측 영상, 제 4 촬상 장치(도 6의 14)의 우측 렌즈를 이용하여 생성한 소정의 지점(1020)에 대한 우측 영상을 의미한다.

도 12는 보정 패턴(도 10a의 1010)에 대한 영상을 이용하여 제 4 촬상 장치(도 6의 14)를 캘리브레이션 후 교정하는 일 예를 도시한 도면이다.

도 12를 참조하면, 위의 두 영상은 캘리브레이션과 교정을 수행하기 전의 제 4 촬상 장치(도 6의 14)의 좌측 렌즈를 이용하여 생성한 좌측 영상(1210) 및 제 4 촬상 장치(도 6의 14)의 우측 렌즈를 이용하여 생성한 우측 영상(1220)을 의미한다. 캘리브레이션과 교정을 수행하기 전에는, 두 영상(1210, 1220)에 포함된 교정 패턴(도 10a의 1010)이 소정의 기준선(1230)을 기준으로 대응되는 위치로 정렬되어 있지 않다.

아래의 두 영상은 캘리브레이션과 교정을 수행한 후의 좌측 영상(1240) 및 우측 영상(1250)을 의미한다. 캘리브레이션과 교정을 수행한 후에는, 두 영상(1240, 1250)에 포함된 교정 패턴(도 10a의 1010)이 소정의 기준선(1230)을 기준으로 대응되는 위치로 정렬되어 있다.

제 4 촬상 장치를 캘리브레이션 하는 구체적인 방식은 당해 기술 분야에서 통상의 지식을 가진 자에게 자명하므로, 이하 생략한다.

제 4 촬상 장치(도 6의 14)는 캘리브레이션을 수행한 후의 두 영상들을 교정(rectification)한다.

여기에서 교정은 제 4 촬상 장치(도 6의 14)의 좌측 렌즈의 좌표축 x 축 및 우측 렌즈의 좌표축의 x 축이 일치되도록 하는 과정이다. 예를 들어, 좌측 렌즈 중심을 원점으로 하는 좌표계를 고정하고 이를 기준으로 우측 렌즈의 중심을 원점으로 하는 좌표계가 좌측 렌즈 중심 좌표계에 상대적으로 얼마나 회전(rotation)되고 이동(translation)되어 있는지를 구하여 우측 렌즈 중심 좌표계를 변환(transformation)한다. 이렇게 변환하면 각 렌즈의 x 축이 일치하게 된다.

제 4 촬상 장치(도 6의 14)가 수행하는 교정의 구체적인 알고리즘은 당해 기술분야에 속한 통상의 지식을 가진 자에게 자명하므로, 이하 간략하게 설명한다.

도 13은 제 4 촬상 장치(도 6의 14)가 캘리브레이션과 교정을 수행한 후, 제 4 촬상 장치(도 6의 14)에 포함된 좌측 및 우측 카메라의 x 좌표가 가로 방향으로 일치된 결과를 도시한 도면이다.

제 4 촬상 장치(도 6의 14)의 좌측 렌즈의 중심점(1340)을 원점으로 한 좌표축(이하, '좌측 좌표축'이라고 함) 및 제 4 촬상 장치(도 6의 14)의 우측 렌즈의 중심점(1350)을 원점으로 한 좌표축(이하, '우측 좌표축'이라고 함)을 이용하여 보정 패턴(도 10a의 1010)의 소정의 지점 P(1310)에 대한 좌표 성분을 나타내면 아래의 수학식 4와 같다.

위의 수학식 4에서,

,

은 좌측 좌표축 상에서의 P(1310)의 좌표 성분을 의미하고,

,

은 우측 좌표축 상에서의 P(1310)의 좌표 성분을 의미한다. 또한, f는 렌즈의 초점 길이(focal length)를 의미한다. 또한,

와

은 각각 제 4 촬상 장치(도 6의 14)의 좌측 렌즈로 촬영한 영상(1320)의 픽셀의 수평(horizontal) 성분과 수직(vertical) 성분을 의미한다. 또한,

와

은 각각 제 4 촬상 장치(도 6의 14)의 우측 렌즈로 촬영한 영상(1330)의 픽셀의 수평(horizontal) 성분과 수직(vertical) 성분을 의미한다.

제 4 촬상 장치(도 6의 14)의 좌측 렌즈로 촬영한 영상(1320)과 제 4 촬상 장치(도 6의 14)의 우측 렌즈로 촬영한 영상(1330)은 x축에 대하여 평행하므로, 좌측 좌표축의 x축 성분

과 우측 좌표축의 x축 성분

은 아래의 수학식 5와 같은 관계를 가진다.

위의 수학식 5에서, b는 제 4 촬상 장치(도 6의 14)의 좌측 렌즈의 중심점(1340)과 제 4 촬상 장치(도 6의 14)의 우측 렌즈의 중심점(1350) 사이의 거리를 의미한다.

여기에서,

과

의 간격을 d로 정의하면(즉,

),

의 관계 및 수학식 5를 이용하여, 수학식 4를 아래의 수학식 6과 같이 나타낼 수 있다.

위의 수학식 6의 z를 수학식 4에 대입하고, 제 4 촬상 장치(도 6의 14)의 좌측 렌즈의 중심점

(1340)을 제 4 촬상 장치(도 6의 14)의 world coordinate의 중심으로 정의하면, P(1310)의 world coordinate 상의 좌표 성분(즉, X, Y, Z)은 아래의 수학식 7과 같이 표현할 수 있다.

위의 수학식 7을 이용하여, 제 4 촬상 장치(도 6의 14)는 P(1310)의 위치에 해당하는 좌표를 구할 수 있다.

다시 도 10a를 참조하면, 제 4 촬상 장치(도 6의 14)가 삼각측량 방식을 이용하여(즉, 수학식 3을 이용하여) 계산한 소정의 지점(1020)의 좌표와 캘리브레이션 및 영상 교정(rectification)을 이용하여(즉, 수학식 7을 이용하여) 계산한 소정의 지점(1020)의 좌표는 오차가 발생할 수 있다. 구체적으로, 제 4 촬상 장치(도 6의 14)가 삼각측량 방식을 이용하여 소정의 지점(1020)의 좌표를 계산하는 경우, 소정의 지점(1020)의 정확한 위치를 나타내는 좌표를 계산할 수 있으나 처리 시간이 많이 소요된다. 한편, 제 4 촬상 장치(도 6의 14)가 캘리브레이션 및 영상 교정을 이용하여 소정의 지점(1020)의 좌표를 계산하는 경우, 처리 시간은 적게 소요되나 소정의 지점(1020)의 실제 위치와 다소의 오차가 발생할 수 있다.

따라서, 제 4 촬상 장치(도 6의 14)는 삼각측량 방식으로 계산된 좌표를 이용하여, 캘리브레이션 및 영상 교정으로 계산된 좌표의 오차를 보정(compensation)한다. 구체적으로, 제 4 촬상 장치(도 6의 14)는 수학식 3을 이용하여 계산한 소정의 지점(1020)의 좌표 및 수학식 7을 이용하여 계산한 소정의 지점(1020)의 좌표를 기초로 특이값 분해(Singular Value Decomposition, SVD)를 적용하여 로테이션 행렬(rotation matrix) R, 변환 벡터(translation vector) T를 계산한다. 특이값 분해의 구체적인 알고리즘은 당해 기술분야에 속한 통상의 지식을 가진 자에게 자명하므로, 이하 간략하게 설명한다.

먼저, 서로 대응하는 점들의 두 집합 P 와 Q를 각각 과

라고 하면, 로테이션 행렬 R 및 변환 벡터 T는 아래의 수학식 8을 최소화한다.

위의 수학식 8에서

는 각 점들의 쌍에 대한 가중치이며,

의 조건을 갖는다. 또한, n은 정수이다.

로테이션 행렬 R 및 변환 벡터 T를 계산하는 과정은 아래의 5단계를 거친다.

먼저, 아래의 수학식 9를 이용하여, P와 Q의 가중된 중심들(weighted centroids)

,

를 계산한다.

다음으로, 위의

,

를 이용하여, 아래의 수학식 10을 통해 중심 벡터(centered vector)를 계산한다.

다음으로, 위의

,

를 이용하여, 아래의 수학식 11을 통해 공분산 행렬(covariance matrix)를 계산한다.

다음으로, 위의 H를 이용하여, 아래의 수학식 12를 통해 특이값 분해(SVD)를 계산한다.

마지막으로, 위의 수학식 12의 결과를 이용하여 아래의 수학식 13을 통해 R 및 T를 계산한다.

제 4 촬상 장치(도 6의 14)는 계산된 R, T를 이용하여 아래의 수학식 14를 통하여 캘리브레이션 및 영상 교정으로 계산된 좌표 성분인 X, Y, Z의 오차를 보정(compensation)한 좌표 성분인 X_new, Y_new, Z_new를 계산한다.

이렇게 제 4 촬상 장치(도 6의 14)는 캘리브레이션 및 영상 교정으로 계산된 좌표 성분의 오차를 보정(compensation)한 좌표 성분을 계산함으로써, 시간이 많이 소요되는 삼각측량 방식을 이용하지 않고 피검자의 체내 조직의 정확한 위치를 계산할 수 있다. 구체적으로, 위치 측정 장치(미도시)는 피검자에 대한 시술 전에 보정 패턴(1010)의 소정의 지점(1020)에 대하여 제 4 촬상 장치(도 6의 14)의 좌표계를 위치 측정 장치(도 14의 1410)의 좌표계로 변환하는데 사용할 회전 행렬과 이동 벡터를 알고 있으므로, 비실시간 진단 영상 및 실시간 진단 영상, 제 4 촬상 장치에 의한 수술 장면 등을 제 4 촬상 장치의 좌표계로 또는 모두 위치 측정 장치(도 14의 1410)의 좌표계로 표시할 수 있다.

다시 도 6을 참조하면, 영상 중첩부(240)는 위치 측정 장치(도 14의 1410)와 마커(60) 간의 위치 관계 및 위치 측정 장치(도 14의 1410)와 제 4 촬상 장치(14)(구체적으로, 제 4 촬상 장치(14)를 구성하는 렌즈) 간의 위치 관계를 결합하여, 촬상 장치(10)와 마커(60) 간의 제 3 위치 관계를 파악할 수 있다.

영상 중첩부(240)는 제 3 위치 관계를 이용하여 제 3 실시간 영상과 보정된 영상을 중첩한다. 중첩된 영상은 장기 및 그 주변에 관한 3차원 의료 영상일 수 있다. 예를 들어, 생성된 합성 영상은 제 4 촬상 장치(14)에 의해 촬영된 제 3 실시간 영상에 포함된 장기 및 주변에 대한 외부 조직의 영상과, 제 1 촬상 장치(11)에 의해 촬영된 제 1 비 실시간 영상에 포함된 장기 및 주변에 대한 내외부 조직의 영상이 3차원적으로 동시에 표현된 영상이다. 합성 영상은 일종의 증강 영상에 해당될 수 있다.

예를 들어, 영상 중첩부(240)에서 중첩한 영상은 내시경 영상과 비내시경 영상 각각에서 나타난 장기의 위치가 동일하도록 생성한 것일 수 있다. 내시경 영상은 그 자체로 장기 및 그 주변의 실제의 3차원 영상에 해당된다. 그러나, 내시경 영상은 장기 내외부의 조직의 형태 및 위치 등의 정보를 알기 어렵다.

일반적으로, 비내시경 영상은 장기를 단면으로 촬영한 영상들의 집합에 해당될 수 있다. 하지만, 초음파 영상, CT 영상 및 MR 영상과 같은 비내시경 영상은 장기 및 주변의 내외부의 조직의 형태 및 위치 등에 대한 일종의 투시 정보를 포함하고 있다. 따라서, 비내시경 영상에는 장기의 외부 조직뿐만 아니라, 내부 조직의 형태 및 위치 등에 대한 정보도 함께 포함되어 있다. 따라서, 내시경 영상과 비내시경 영상이 합성될 경우, 실제 장기 및 주변의 내외부에 있는 조직들에 대한 정보를 정확하게 알 수 있고, 이것이 사용자에게 제공됨으로서 사용자는 보다 정교하고 세밀한 수술을 진행할 수 있게 된다.

여기에서, 초음파 영상, CT 영상 및 MR 영상과 같은 비내시경 영상은 그 영상을 촬영하는 촬상 장치(10)의 종류에 따라 2차원 영상일 수 있고, 또는 3차원 영상일 수 있다. 만약, 획득된 비내시경 영상이 복수의 2차원적인 비내시경 영상들인 경우, 영상 생성부(210)는 볼륨 렌더링(volume rendering) 등의 이미 알려진 방법들을 통해 2차원 비내시경 영상들을 3차원 비내시경 영상으로 생성하고, 영상 중첩부(240)는 그 생성된 영상을 영상의 중첩에 이용할 수 있다.

도 7은 본 발명의 일 실시예에 따른 영상 보정 시스템(1)의 사용 환경의 다른 예를 도시한 도면이다. 본 실시예에 따른 영상 보정 시스템(1)은 촬상 장치(10), 영상 처리 장치(20) 및 영상 표시 장치(30)로 구성된다.

도 7에 도시된 영상 보정 시스템(1)은 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 8에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

또한, 도 7에 도시된 영상 보정 시스템(1)은 도 1 및 도 6에 도시된 영상 처리 장치(20)의 일 실시예에 해당한다. 이에 따라, 도 1 및 도 6와 관련하여 기재된 내용은 도 7에 도시된 영상 보정 시스템(1)에도 적용 가능하기 때문에 중복되는 설명은 생략한다.

영상 표시 장치(30)는 영상 처리 장치(20)에서 생성된 영상들을 표시한다. 예를 들어, 영상 표시 장치(30)는 영상 보정 시스템(1)에 마련된 디스플레이 패널, 마우스, LCD 화면, 모니터 등의 출력 장치를 모두 포함한다.

도 8은 본 발명의 일 실시예에 따른 영상 처리 장치(20)에서 영상을 보정하는 일 예를 나타내는 흐름도이다.

도 8를 참조하면, 영상을 보정하는 방법은 도 1 및 도 7에 도시된 영상 처리 장치(20) 또는 영상 보정 시스템(1)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 및 도 7에 도시된 영상 처리 장치(20) 또는 영상 보정 시스템(1)에 관하여 이상에서 기술된 내용은 도 8의 영상을 보정하는 방법에도 적용됨을 알 수 있다.

810 단계에서, 사용자는 피검자에 마커를 부착한다. 여기에서 마커는 피검자의 피부에 부착하며, 치료를 요하는 체내 조직과 인접한 피부에 부착할 수 있다.

820 단계에서, 영상 생성부(210)는 피검자가 제 1 자세를 취한 상태에서 마커를 부착한 위치를 포함하는 주변 부위에 대한 피검자의 해부학적 정보가 포함된 제 1 비 실시간 영상 및 제 1 실시간 영상을 생성한다.

830 단계에서, 영상 생성부(210)는 피검자가 제 2 자세를 취한 상태에서 주변 부위에 대한 피검자의 제 2 실시간 영상을 생성한다.

840 단계에서, 이동 정보 획득부(220)는 제 1 실시간 영상 및 제 2 실시간 영상을 이용하여 제 1 자세에서 제 2 자세로 변경됨에 따라 마커가 이동한 정보를 획득한다.

850 단계에서, 영상 보정부(230)는 마커의 이동 정보를 반영하여 제 1 비 실시간 영상을 보정한다.

도 9는 본 발명의 일 실시예에 따른 영상 처리 장치(20)에서 영상을 보정하는 다른 예를 나타내는 흐름도이다.

도 9를 참조하면, 영상을 보정하는 방법은 도 6 및 도 7에 도시된 영상 처리 장치(20) 또는 영상 보정 시스템(1)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 6 및 도 7에 도시된 영상 처리 장치(20) 또는 영상 보정 시스템(1)에 관하여 이상에서 기술된 내용은 도 9의 영상을 보정하는 방법에도 적용됨을 알 수 있다.

910 단계 내지 950 단계는 도 8의 810 단계 내지 850 단계에 각각 대응하므로 이하 생략한다.

960 단계에서, 영상 생성부(210)는 피검자가 제 2 자세를 취한 상태에서 피검자의 체내에 삽입한 촬상 장치를 이용하여 피검자의 주변 부위에 대한 해부학적 정보가 포함된 제 3 실시간 영상을 생성한다.

970 단계에서, 영상 중첩부(240)는 촬상 장치와 마커 간의 제 3 위치 관계를 파악하고, 제 3 위치 관계를 이용하여 제 3 실시간 영상과 영상 보정부(230)에서 보정된 영상을 중첩한다.

상기된 바에 따르면, 영상 처리 장치(20)는 마커(marker)를 이용하여 진단 영상을 수술 영상에 중첩할 때에 환자의 자세 변화로 인한 피부의 이동을 보상하여 정확한 영상을 제공할 수 있다. 또한, 로봇에 의하여 간단한 수술 동작을 수행할 경우, 영상 처리 장치(20)는 로봇을 제어할 수 있는 영상 정보를 제공할 수 있다.

한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등), PC 인터페이스(PC Interface)(예를 들면, PCI, PCI-express, Wifi 등)와 같은 저장매체를 포함한다.

본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10: 촬상 장치
20: 영상 처리 장치
210: 영상 생성부
220: 이동 정보 획득부
230: 영상 보정부

Claims

피검자에 마커(marker)를 부착하고, 상기 피검자가 제 1 자세를 취한 상태에서 상기 마커를 부착한 위치를 포함하는 주변 부위에 대한 상기 피검자의 해부학적 정보가 포함된 제 1 비 실시간 영상 및 제 1 실시간 영상을 생성하는 단계;
상기 피검자가 제 2 자세를 취한 상태에서 상기 주변 부위에 대한 상기 피검자의 제 2 실시간 영상을 생성하는 단계;
상기 제 1 실시간 영상 및 제 2 실시간 영상을 이용하여 상기 제 1 자세에서 상기 제 2 자세로 변경됨에 따라 상기 마커가 이동한 정보를 획득하는 단계; 및
상기 마커의 이동 정보를 반영하여 상기 제 1 비 실시간 영상을 보정하는 단계;를 포함하는 영상을 보정하는 방법.
제 1 항에 있어서,
상기 마커가 이동한 정보를 획득하는 단계는
상기 제 1 실시간 영상에 포함된 데이터들에서 측정한 값이 임계치를 초과하는 지점을 결정하고, 상기 결정된 지점과 상기 마커간의 제 1 위치 관계를 특정하는 단계;
상기 제 2 실시간 영상 상에서 상기 제 1 실시간 영상에서 결정한 상기 지점과 대응되는 지점을 선택하고, 상기 선택된 지점과 상기 마커간의 제 2 위치 관계를 특정하는 단계; 및
상기 제 1 위치 관계 및 상기 제 2 위치 관계를 이용하여 상기 피검자가 자세를 변경함에 따라 상기 마커가 이동한 방향 및 이동량을 산출하는 단계;인 방법.
제 2 항에 있어서,
상기 임계값을 초과하는 지점은 상기 제 1 또는 상기 제 2 실시간 영상에 포함된 체내 조직들 중에서 상기 피검자의 자세 변화에 무관하게 고정된 위치를 갖는 조직에서 선택한 지점이고,
상기 제 1 위치 관계 또는 제 2 위치 관계는 상기 제 1 또는 상기 제 2 실시간 영상 상에서 상기 지점과 상기 마커의 위치를 좌표로 표현하여 나타낸 관계인 방법.
제 3 항에 있어서,
상기 지점은 상기 제 1 또는 상기 제 2 실시간 영상 상에서 상기 고정된 위치를 갖는 조직의 외곽면을 분리(segmentation)하고, 상기 분리된 외곽면에서 선택한 지점인 방법.
제 1 항에 있어서,
상기 피검자가 제 2 자세를 취한 상태에서 상기 피검자의 체내에 삽입한 촬상 장치를 이용하여 상기 피검자의 주변 부위에 대한 해부학적 정보가 포함된 제 3 실시간 영상을 생성하는 단계를 더 포함하고,
상기 제 1 비 실시간 영상, 상기 제 1 실시간 영상 및 상기 제 2 실시간 영상은 상기 피검자의 체외에 구비된 촬상 장치를 이용하여 생성한 영상인 방법.
제 5 항에 있어서,
상기 촬상 장치와 상기 마커간의 제 3 위치 관계를 파악하고, 상기 제 3 위치 관계를 이용하여 상기 제 3 실시간 영상과 상기 보정된 영상을 중첩시키는 단계를 더 포함하는 방법.
제 1 항에 있어서,
상기 제 1 비 실시간 영상은 CT, MR, SPECT, PET 영상 중 어느 하나이고, 상기 제 1 실시간 영상 및 상기 제 2 실시간 영상은 초음파, PAT, X-ray 영상 중 어느 하나인 방법.
제 1 항에 있어서,
상기 마커는 상기 제 1 비 실시간 영상, 제 1 내지 제 2 실시간 영상들에서 식별 가능하고, 상기 피검자의 외부에서도 식별 가능한 부분을 포함하는 것을 특징으로 하는 방법.
제 1 항에 있어서,
상기 보정된 제 1 비 실시간 영상 및 제 1 비 실시간 영상에 다수의 포인트들을 설정하고, 상기 보정된 제 1 비 실시간 영상 및 제 1 비 실시간 영상에서 서로 대응되는 위치에 설정된 포인트 간의 거리를 측정하여 소정의 오차 값 이하에 해당되는지를 판단하는 단계를 더 포함하는 방법.
제 1 항 내지 제 9 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램으로 기록한 컴퓨터로 읽을 수 있는 기록매체.
마커(marker)를 부착한 피검자가 제 1 자세를 취한 상태에서 상기 마커를 부착한 위치를 포함하는 주변 부위에 대한 상기 피검자의 해부학적 정보가 포함된 제 1 비 실시간 영상을 생성하는 제 1 영상 생성부;
상기 피검자가 제 1 자세를 취한 상태에서 상기 주변 부위에 대한 상기 피검자의 해부학적 정보가 포함된 제 1 실시간 영상을 생성하는 제 2 영상 생성부;
상기 피검자가 제 2 자세를 취한 상태에서 상기 주변 부위에 대한 상기 피검자의 제 2 실시간 영상을 생성하는 제 3 영상 생성부;
상기 제 1 실시간 영상 및 제 2 실시간 영상을 이용하여 상기 제 1 자세에서 상기 제 2 자세로 변경됨에 따라 상기 마커가 이동한 정보를 획득하는 이동 정보 획득부; 및
상기 마커의 이동 정보를 반영하여 상기 제 1 비 실시간 영상을 보정하는 영상 보정부;를 포함하는 영상을 보정하는 장치.
제 11 항에 있어서,
상기 이동 정보 획득부는
상기 제 1 실시간 영상에 포함된 데이터들에서 측정한 값이 임계값을 초과하는 지점을 결정하고, 상기 결정된 지점과 상기 마커간의 제 1 위치 관계를 특정하는 제 1 위치 관계 특정부;
상기 제 2 실시간 영상 상에서 상기 제 1 실시간 영상에서 특정한 상기 소정의 지점과 대응되는 지점을 결정하고, 상기 결정된 지점과 상기 마커간의 제 2 위치 관계를 특정하는 제 2 위치 관계 특정부; 및
상기 제 1 위치 관계 및 상기 제 2 위치 관계를 이용하여 상기 피검자가 자세를 변경함에 따라 상기 마커가 이동한 방향 및 이동량을 획득하는 획득부;인 장치.
제 12 항에 있어서,
상기 임계값을 초과하는 지점은 상기 제 1 또는 상기 제 2 실시간 영상에 포함된 체내 조직들 중에서 상기 피검자의 자세 변화에 무관하게 고정된 위치를 갖는 조직에서 선택한 지점이고,
상기 제 1 위치 관계 또는 제 2 위치 관계는 상기 제 1 또는 상기 제 2 실시간 영상 상에서 상기 지점과 상기 마커의 위치를 좌표로 표현하여 나타낸 관계인 장치.
제 13 항에 있어서,
상기 지점은 상기 제 1 또는 상기 제 2 실시간 영상 상에서 상기 고정된 위치를 갖는 조직의 외곽면을 분리(segmentation)하고, 상기 분리된 외곽면에서 선택한 지점인 장치.
제 11 항에 있어서,
상기 피검자가 제 2 자세를 취한 상태에서 상기 피검자의 체내에 삽입한 촬상 장치를 이용하여 상기 피검자의 주변 부위에 대한 해부학적 정보가 포함된 제 3 실시간 영상을 생성하는 제 4 영상 생성부를 더 포함하고,
상기 제 1 비 실시간 영상, 상기 제 1 실시간 영상 및 상기 제 2 실시간 영상은 상기 피검자의 체외에 구비된 촬상 장치를 이용하여 생성한 영상들인 장치.
제 15 항에 있어서,
상기 촬상 장치와 상기 마커간의 제 3 위치 관계를 특정하고, 상기 제 3 위치 관계를 이용하여 상기 제 3 실시간 영상과 상기 보정된 영상을 중첩하는 영상 중첩부;를 더 포함하는 장치.
제 11 항에 있어서,
상기 제 1 비 실시간 영상은 CT, MR, SPECT, PET 영상 중 어느 하나이고, 상기 제 1 실시간 영상 및 상기 제 2 실시간 영상은 초음파, PAT, X-ray 영상 중 어느 하나인 장치.
제 11 항에 있어서,
상기 마커는 상기 제 1 비 실시간 영상, 제 1 내지 제 2 실시간 영상들에서 식별 가능하고, 상기 피검자의 외부에서도 식별 가능한 부분을 포함하는 것을 특징으로 하는 장치.
제 11 항에 있어서,
상기 영상 보정부는
상기 보정된 제 1 비 실시간 영상 및 제 1 비 실시간 영상에 다수의 포인트들을 설정하고, 상기 보정된 제 1 비 실시간 영상 및 제 1 비 실시간 영상에서 서로 대응되는 위치에 설정된 포인트 간의 거리를 측정하여 소정의 오차 값 이하에 해당되는지를 판단하는 평가부;를 더 포함하는 장치.
마커(marker)를 부착한 피검자의 해부학적 정보가 포함된 제 1 비 실시간 영상, 제 1 내지 제 3 실시간 영상을 생성하는 하나 이상의 촬상 장치;
상기 촬상 장치로부터 생성된 상기 피검자의 제 1 실시간 영상 및 제 2 실시간 영상을 이용하여 상기 마커의 이동 정보를 획득하고, 상기 마커의 이동 정보를 반영하여 제 1 비 실시간 영상을 보정하는 영상 처리 장치;를 포함하는 영상 보정 시스템.
촬상 장치로부터 피사체까지의 거리를 측정하는 방법에 있어서,
피사체를 포함하는 두 개 이상의 영상들을 획득하는 단계;
상기 영상들을 기초로 삼각 측량(tiangulation)을 수행하여 상기 촬상 장치로부터 상기 피사체까지의 제 1 거리를 계산하는 단계;
상기 렌즈들의 캘리브레이션(calibration) 및 상기 영상들의 교정(rectification)을 수행한 후 상기 촬상 장치로부터 상기 피사체까지의 제 2 거리를 계산하는 단계;
상기 제 1 거리 및 제 2 거리를 이용하여, 상기 제 2 거리와 상기 촬상 장치로부터 상기 피사체까지의 실제 거리 간의 차이를 보정(compensation)하는 단계;를 포함하는 방법.
제 21 항에 있어서,
상기 두 개 이상의 영상들은
상기 촬상 장치에 포함된 하나 이상의 렌즈를 통해서 생성한 영상들인 방법.
제 21 항에 있어서,
상기 보정하는 단계는
상기 제 1 거리 및 상기 제 2 거리 각각에 대응하는 상기 피사체의 위치를 나타내는 좌표들을 이용하여 로테이션 행렬(rotation matrix) 및 변환 벡터(translation vector)를 계산하는 단계; 및
상기 계산된 로테이션 행렬(rotation matrix) 및 변환 벡터(translation vector)를 반영하여 상기 제 2 거리에 대응하는 상기 피사체의 위치를 나타내는 좌표를 갱신하는 단계인 방법.
제 23항에 있어서,
상기 계산하는 단계는
상기 제 1 거리에 대응하는 상기 피사체의 위치를 나타내는 좌표 및 상기 제 2 거리에 대응하는 상기 피사체의 위치를 나타내는 좌표를 기초로 특이값 분해(Singular Value Decomposition)를 적용하여 상기 로테이션 행렬(rotation matrix) 및 상기 변환 벡터(translation vector)를 계산하는 방법.
제 21항에 있어서,
상기 제 1 거리 및 상기 제 2 거리는
상기 렌즈들의 중심을 원점으로 한 상기 렌즈들 각각의 좌표축을 설정하고, 상기 피사체의 위치를 상기 좌표축을 기초로 한 좌표 성분으로 나타낸 것을 특징으로 하는 방법.