KR20170090527A - 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템 - Google Patents

하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템 Download PDF

Info

Publication number
KR20170090527A
KR20170090527A KR1020177021115A KR20177021115A KR20170090527A KR 20170090527 A KR20170090527 A KR 20170090527A KR 1020177021115 A KR1020177021115 A KR 1020177021115A KR 20177021115 A KR20177021115 A KR 20177021115A KR 20170090527 A KR20170090527 A KR 20170090527A
Authority
KR
South Korea
Prior art keywords
landmark
endoscope
information
patient
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020177021115A
Other languages
English (en)
Other versions
KR101903307B1 (ko
Inventor
쥬세페 프리스코
빈센트 듀인댐
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US12/411,515 external-priority patent/US8337397B2/en
Priority claimed from US12/411,501 external-priority patent/US10004387B2/en
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20170090527A publication Critical patent/KR20170090527A/ko
Application granted granted Critical
Publication of KR101903307B1 publication Critical patent/KR101903307B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Endoscopes (AREA)

Abstract

내시경 디바이스의 팁에 위치하는 이미지 캡처 디바이스에 의해 캡처되고, 디스플레이 스크린 상에 그 시간에 디스플레이되고 있는 현재 이미지와 인접하게 벡터의 그래픽 표현을 디스플레이함으로써 내시경의 운전자에게 랜드마크 방향 안내가 제공된다. 여기서, 벡터 포인트의 그래픽 표현은 내시경 팁이 조직 구조와 같은 연관된 랜드마크를 향해 이동하기 위해 조종되어야 하는 방향을 가리킨다.
길찾기 안내는 레퍼런스 프레임에 대한 내시경의 현재 위치 및 형상을 판정하고, 판정된 위치 및 형상에 따라 내시경 컴퓨터 모델을 생성하고, 그리고 내시경을 조종하는 동안 운전자가 볼 수 있도록 레퍼런스 프레임으로 레퍼런싱된 환자 컴퓨터 모델과 함께 내시경 컴퓨터 모델을 디스플레이함으로써, 운전자에게 제공될 수 있다.

Description

하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템{SYSTEM FOR PROVIDING VISUAL GUIDANCE FOR STEERING A TIP OF AN ENDOSCOPIC DEVICE TOWARDS ONE OR MORE LANDMARKS AND ASSISTING AN OPERATOR IN ENDOSCOPIC NAVIGATION}
본 발명은 일반적으로 조종가능한 내시경에 관한 것이고, 더욱 상세하게는 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 방법 및 시스템에 관한 것이다.
미소절개 수술은 적은 통증, 짧은 입원기간, 정상적인 생활로의 빠른 복귀, 최소 흉터, 짧은 회복 시간, 및 적은 조직 손상을 포함하는 종래의 개복 수술 기술을 능가하는 많은 이점을 제공하는 것으로 알려져 있다. 이러한 수술을 수행하기 위해, 환자 몸속으로의 삽입은 절개부 또는 자연개구부를 통해 이루어질 수 있다. 로봇 및 수동 작동식 미소절개 수술 디바이스가 모두 사용될 수 있다.
미소절개수술 로봇 시스템의 하나의 예는 캘리포니아 서니베일의 인튜어티브 서지컬 인코포레이티드의 다빈치®서지컬 시스템이다. 다빈치®서지컬 시스템은 수술부위에서 이미지 캡처 디바이스에 의해 캡처된 이미지를 수술의가 봄으로써 입력 디바이스의 움직임에 응답하여, 이미지 캡처 디바이스, 및 인튜어티브 서지컬의 소유의 엔도리스트®관절형 수술 기기와 같은, 부착된 의료용 디바이스를 이동시키는 다수의 로봇 암을 가진다. 각각의 의료용 디바이스는 환자 몸속으로 각각의 미소절개 삽입부를 통해 삽입될 수 있고, 수술부위에서 의료 시술을 수행하기 위해 위치조절될 수 있다. 삽입부는 수술 기기들이 의료 시술을 협동적으로 수행하기 위해 사용될 수 있도록 그리고 이미지 캡처 디바이스가 로봇 팔들이 수술동안 충돌하지 않고 볼 수 있도록, 환자의 몸에 접하여 위치한다.
내시경은 자연개구부 또는 수술의가 만든 개구부를 통해 디바이스를 삽입하고 그 디바이스를 환자 몸속의 타겟 위치로 안내함으로써, 내부 몸속 기관의 이미지를 캡처하고 문제를 진단할 수 있게 하는 의료용 기기이다. 몇몇 경우에, 내시경은 내부 몸속 기관에 의료 시술을 수행하기 위해 사용될 수도 있다. 내시경은 그 말단 팁이 길찾기(navigation) 목적으로 제어가능하게 방향조절될 수 있도록 조종가능할 수 있다. 스테레오스코픽 또는 모노스코픽 카메라와 같은 이미지 캡처 디바이스는 펄스펙티브(perspective)로부터 카메라에 의해 캡처된 이미지가 수술의에 의해 디스플레이 스크린 상에서 보여질 수 있도록, 말단 팁에 제공될 수 있다. 타겟 위치에서 다양한 의료 시술을 수행하기 위해, 절단, 잡기, 소작(cauterization) 등을 위해 사용되는 것과 같은 수술 도구들이 내시경의 말단 팁에서 뻗을 수 있다.
내시경은 복강경 수술에 사용되는 것과 같이 리지드형일 수 있고, 환자 내강(lumen)의 굴곡을 따를 수 있도록 플렉시블형일 수도 있다. 내시경은 또한 경화형(rigidizable)일 수 있고, 그리고/또는 로봇형일 수 있다. 경화형 내시경은 기계적 잠금 메커니즘에 의해 실질적으로 리지드하게 될 수 있는, 적어도 일부분의 유연한 몸체를 가진 내시경이다. 로봇형 내시경은 컴퓨터 제어식 서보 메커니즘에 의해 굽혀지는 적어도 하나의 섹션을 가지는 플렉시블 내시경이다. 내시경은 또한 운항 목적을 위해 제어가능하게 방향조절되지 않고, 중력, 조직(anatomy) 또는 다른 수술 디바이스에 의해 가해지는 힘에 의해 환자 조직 내에서 이동되는 경우에 올림푸스의 엔도캡슐, 및 테서드 캡슐과 같은 캡슐일 수 있다.
무흉터수술법("NOTES", Natural Orifice Transluminal Endoscopic Surgery)은 환자에게 수술을 수행하기 위해 조종가능한(steerable) 내시경을 사용할 수 있다. 예를 들어, 플렉시블 내시경은 외부에서 미소절개 삽입부를 통해서 아니라, 신체의 개구부 중 하나를 통해 안내될 수 있고 환자의 몸속으로부터 복부로 들어간다. 예를 들어, "위관통" 수술에서, 기기는 입을 통과하여 위로 들어간다. 그 다음 그 기기가 복부로 들어갈 수 있도록 그리고 수술의에 의해 복강 내부에서 의료수술을 수행하기 위해 사용될 수 있도록, 위장절개가 수행된다. 이러한 수술이 완료된 후, 이러한 기기들은 이러한 과정 동안 제거된 임의의 조직과 함께 인출되고, 삽입부는 다시 봉합된다. 내시경의 삽입을 수용하기 위해 환자 몸에 삽입부가 만들어지지 않기 때문에 NOTES는 미소절개 삽입부를 사용하는 수술보다 훨씬 덜 고통스러울 수 있다. 또한, 몸속으로 들어가기 위한 삽입부를 대신하여 자연개구부를 사용하므로, 일반적인 마취에 대한 필요성이 감소되고, 회복 시간을 더 빠르게 할 수 있다.
NOTES 애플리케이션에서처럼, 조종가능한 내시경의 작동 동안, 내시경 팁은 타겟 위치를 향해 이동하는 동안 여러번 그리고 상이한 방향으로 회전할 수 있다. 그 결과, 플렉시블 내시경은 그 내시경 둘레에 고리(looping)를 감을 수 있고, 캡처된 이미지가 타겟 위치에 대하여 현재 방향을 분명하게 지시할 수 없다면, 운전자가 내시경 팁의 현재 방향의 추적을 어렵게 만들도록 운전자를 혼란시킬 수 있다. 이와 대조적으로, 운전자는 종래의 복강경 수술에서 화면에 대한 비교적 단단한 연결을 가질 수 있다.
운전자가 내시경 팁을 뜻하지 않게 잘못된 방향으로 이동시킨다면, 그 팁은 의도하지 않은 구멍을 만들거나, 환자에게 해롭게 하는 조직 손상을 일으킬 수 있다. 이러한 손상은 내시경 팁을 주의 깊게 이동함으로써 피할 수 있지만, 환자 몸속의 타겟 위치에 대하여 내시경의 실제 방향을 반복적으로 확인하기 위해 추가적인 시간이 요구된다. 그러므로, 수술을 수행하기 위해 필요한 시간이 길어지고, 이는 수술 비용을 증가시키고, 건강과 안전상의 우려를 증가시킨다.
따라서, 본 발명의 하나 이상의 형태의 목적은 환자 몸속의 하나 이상의 랜드마크를 향해 내시경 디바이스를 조종하기 위해 운전자에게 시각적 안내를 제공하는 방법, 및 그 방법을 수행하는 시스템이다.
본 발명의 하나 이상의 형태의 다른 목적은 운전자가 환자 몸속의 하나의 위치를 향해 내시경을 조종하는 것을 돕기 위해 길찾기 안내를 제공하는 방법 및 그 방법을 수행하는 시스템이다.
본 발명의 하나 이상의 형태의 다른 목적은 내시경 팁이 현재 향하여 가리키는 방향을 시각적으로 나타내는 정보를 내시경의 운전자에게 제공하는 방법, 및 그 방법을 수행하는 시스템이다.
본 발명의 하나 이상의 형태의 또 다른 목적은 환자의 조직에 대하여 내시경의 현재 위치 및 형상을 시각적으로 나타내는 정보를 내시경의 운전자에게 제공하는 방법 및 그 방법을 수행하는 시스템이다.
이러한 목적 및 부가적인 목적은 본 발명의 다양한 형태에 의해 달성되는데, 간략히 말하자면, 하나의 형태는 하나 이상의 랜드마크를 항해 내시경 디바이스를 조종하기 위한 안내를 제공하는 컴퓨터 구현된 방법이다. 본 방법은 레퍼런스 프레임에 대하여 내시경 디바이스 상의 레펀런스 포인트의 현재 위치를 판정하는 단계, 레퍼런스 프레임에 대하여 제1 랜드마크의 위치에 대한 레퍼런스 포인트의 현재 위치로부터 제1 벡터를 판정하는 단계, 제1 벡터를 상기 레퍼런스 프레임으로부터 내시경 디바이스 팁에 위치한 이미지 캡처링 디바이스의 펄스펙티브에 대응하는 이미지 레퍼런스 프레임으로 변환하는 단계, 및 제1 랜드마크를 향해 내시경 디바이스의 팁을 조종하기 위해 방향을 나타내기 위해 디스플레이 스크린 상에 이미지 캡처 디바이스에 의해 캡처된 현재 이미지와 함께 변환된 제1 벡터의 그래픽 표현을 디스플레이하는 단계를 포함한다.
다른 형태는 디스플레이 스크린, 내시경 디바이스, 레퍼런스 프레임에 대하여 내시경 디바이스 상의 레퍼런스 포인트의 현재 위치를 판정하고, 레퍼런스 프레임에 대하여 제1 랜드마크의 위치에 대한 레퍼런스 포인트의 현재 위치로부터 제1 벡터를 판정하고, 제1 벡터를 상기 레퍼런스 프레임에서 내시경 디바이스의 팁에 위치한 이미지 캡쳐 디바이스의 펄스펙티브에 대응하는 이미지 레퍼런스 프레임으로 변환하고, 제1 랜드마크를 향해 내시경 디바이스의 팁을 조종하기 위해 방향을 나타내기 위해 디스플레이 스크린 상에 이미지 캡처 디바이스에 의해 캡처된 현재 이미지와 함께 변환된 제1 벡터의 그래픽 리프리젠테이션을 디스플레이하도록 조절된 하나 이상의 프로세서를 포함하는 시스템이다.
다른 형태는 운전자의 내시경 운항을 돕기 위한 컴퓨터 구현된 방법이고, 본 방법은 환자의 컴퓨터 모델을 레퍼런스 프레임으로 레퍼런싱하는 단계, 레퍼런스 프레임에 대하여 내시경 디바이스의 현재 위치 및 형상을 판정하는 단계, 판정된 현재 위치 및 형상에 따라 내시경 디바이스의 컴퓨터 모델을 생성하는 단계, 및 운전자에게 내시경 길찾기하는데 도움을 제공하기 위해 디스플레이 스크린 상에 내시경 디바이스의 컴퓨터 모델 및 환자를 디스플레이하는 단계를 포함한다.
다른 형태는 디스플레이 스크린, 내시경 디바이스, 및 환자의 컴퓨터 모델을 레퍼런스 프레임으로 레퍼런싱하고, 레퍼런스 프레임에 대하여 내시경 디바이스의 현재 위치 및 형상을 판정하고, 판정된 현재 위치 및 형상에 따라 내시경 디바이스의 컴퓨터 모델을 생성하고, 그리고 운전자에게 내시경 길찾기하는데 도움을 제공하기 위해 디스플레이 스크린 상에 내시경 디바이스의 컴퓨터 모델 및 환자를 디스플레이하도록 조절된 프로세서를 포함하는 시스템이다.
본 발명의 다양한 형태의 추가적인 목적, 특징, 및 장점들은 첨부된 도면과 함께 아래의 바람직한 실시예의 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명의 형태를 사용한 조종가능한 내시경 시스템을 도시한다.
도 2는 본 발명의 형태를 사용한 조종가능한 내시경 시스템의 프로세싱 부의 블록 다이어그램을 도시한다.
도 3은 본 발명의 형태를 사용한 조종가능한 내시경 시스템의 원격조작 부의 블록 다이어그램을 도시한다.
도 4는 본 발명의 형태를 사용한, 내시경 길찾기에서 운전자를 돕는 컴퓨터 구현된 방법의 흐름도를 도시한다.
도 5는 본 발명의 형태를 사용한 조종가능한 내시경 시스템의 위치 판정 부의 일부분을 도시한다.
도 6은 본 발명의 형태를 사용한 시스템에서 보여지는 조종가능한 내시경에 의해 캡처된 이미지를 디스플레이하는 주 디스플레이 스크린을 도시한다.
도 7은 본 발명의 형태를 사용한 시스템에 의해 생성된 내시경 디바이스 모델과 레지스터링된 환자의 앞-뒤 화면을 디스플레이하는 보조 디스플레이 스크린을 도시한다.
도 8은 본 발명의 형태를 사용한 시스템에 의해 생성된 내시경 디바이스 모델 및 환자의 비스듬한 화면을 디스플레이하는 보조 디스플레이 스크린을 도시한다.
도 9는 본 발명의 형태를 사용한 시스템에 의해 생성된 내시경 디바이스 모델과 환자의 측-중앙 화면을 디스플레이하는 보조 디스플레이 스크린을 도시한다.
도 10은 메인 윈도우 영역에 내시경 디바이스에 의해 캡처된 이미지를 디스플레이하고, 본 발명의 형태를 사용한 시스템에 의해 생성된 화면속화면 윈도우 영역에 환자 및 내시경 디바이스 모델의 경사진 화면을 디스플레이하는 주 디스플레이 스크린을 도시힌다.
도 11은 제1 영역에 내시경 디바이스에 의해 캡처된 이미지를 디스플레이하고, 제2 영역에 본 발명의 형태를 사용한 시스템에 의해 내시경 디바이스 모델 및 환자의 경사진 화면을 디스플레이하는 주 디스플레이 스크린을 도시한다.
도 12는 본 발명의 형태를 사용하여, 하나 이상의 랜드 마크로 내시경 디바이스를 조종하기 위한 방향 안내를 제공하는 컴퓨터 구현된 방법의 흐름도를 도시한다.
도 13은 본 발명의 형태를 사용하여, 랜드마크에 의해 내시경이 이동할 때 내시경 디바이스를 사용하여 랜드마크를 형성하는 컴퓨터 구현된 방법의 흐름도를 도시한다.
도 14는 환자 흉부와 그로 삽입된 내시경 디바이스의 경사진 화면, 및 본 발명의 하나의 형태를 사용하는 시스템에 사용된 다양한 랜드마크의 예를 도시한다.
도 15는 본 발명의 형태를 사용하는 방법에 따라, 하나의 랜드마크와 연관된 이미지와 함께 대응하는 랜드마크에 대한 방향을 나타내는 다양한 벡터의 그래픽 리프리젠테이션, 및 내시경 디바이스에 의해 캡처된 현재 이미지를 디스플레이하는 주 디스플레이 스크린을 도시한다.
도 1은, 예컨대, 내시경(110), 내시경(110) 내에 삽입된 광섬유 케이블(120), 위치 프로세서(130), 이미지 프로세서(140), 이미지 캡처 디바이스(141), 디스플레이 프로세서(150), 주 디스플레이 스크린(600), 및 보조 디스플레이 스크린(160)을 포함하는 시스템(100)을 도시한다. 개별적인 유닛으로 도시되어 있으나, 위치 프로세서(130), 이미지 프로세서(140), 및 디스플레이 프로세서(150)는 각각 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있으며, 서로 상호작용하거나, 도 2에 도시된 하나 이상의 컴퓨터(200)와 같은 하나 이상의 컴퓨터에 의해 수행될 수 있다. 주 및 보조 디스플레이 스크린(600 및 160)은 시스템(100)의 운전자에게 3차원 이미지를 디스플레이할 수 있는 컴퓨터 모니터인 것이 바람직하다. 그러나, 비용을 고려하여, 주 및 보조 디스플레이 스크린(600 및 160) 중 하나 또는 모두는 2차원 이미지만 디스플레이할 수 있는 표준 컴퓨터 모니터일 수도 있다.
내시경(110)은, 본 예에서, 플렉시블 몸체(114), 말단 끝부(111)에 있는 조종가능한 팁(112), 근단 끝부(115)에 있는 핸들 또는 전기기계식 인터페이스(116)를 포함한다. (도시되지 않은) 제어 케이블 또는 다른 제어 수단은 전형적으로 팁(112)이, 예컨대, 굽은 팁(112)이 점선 버전으로 도시된 바와 같이 제어가능하게 굽거나 회전될 수 있도록, 핸들 또는 전기기계식 인터페이스(116)에서 조종가능한 팁(112)까지 뻗어 있다. 본 예에서, 조종가능한 내시경이 서술되어 있으나, 본 발명은 이러한 타입의 내시경으로 제한되지 않으며, (리지드형, 경화형, 로봇형, 또는 캡슐 내시경과 같은) 다른 내시경 디바이스와 함께 실시될 수 있다.
스테레오스코픽 또는 모노스코픽 카메라(141)는 본 명세서에 서술된 본 발명의 다양한 형태에 따라, 이미지 프로세서(140) 및/또는 디스플레이 프로세서(150)에 의해 전송되고 프로세싱되고 주 디스플레이 스크린(600) 및/또는 보조 디스플레이 스크린(160)에 디스플레이되는 이미지를 캡처하기 위해 말단 끝부(111)에 제공된다. 복수의 광섬유 케이블(120) 중 하나는 말단 끝부(111)에 있는 조명 목적의 (도시되지 않은) 광원까지 그 근단 끝부에서 연결된다. 다른 광섬유 케이블(120)들은 광섬유 케이블을 통과하는 광이 말단 팁(112)의 방향을 포함한 내시경(110)의 현재 위치 및 형상을 판정하기 위해 위치 프로세서(130)에 의해 프로세싱되도록, 섬유 브래그 격자(또는 레일리 산란을 이용하는 것과 같은 다른 스트레인 센서)와 같은 굽힘(bend) 또는 형상 센서와 함께 구성될 수 있다. 내시경(110)을 통해 뻗어 있는 광섬유 케이블(120)와 더불어, 스트레인 센서와 함께 구성된 (도시되지 않은) 하나 이상의 추가적인 광섬유 케이블이 부착 지점에서 내시경(110)의 위치 정보를 제공하기 위해 내시경(110)에 부착될 수 있다.
조종가능한 내시경(110)이 운전자에 의해 수동적으로 조종될 때, 핸들(116)은 핸들(116)의 제어 메커니즘을 팁(112)에 연결하는 (도시되지 않은) 적절한 케이블을 당김으로써 내시경 팁(112)을 제어가능하게 방향조절하기 위한 적절한 레버 또는 다른 제어 메커니즘과 함께 사용된다. 한편, 조종가능한 내시경(110)이 운전자에 의해 원격 조종될 때, 전기기계식 인터페이스(116)가 핸들 대신 사용된다.
도 3에 도시된 바와 같이, 전기기계식 인터페이스(116)는 내시경(110)이 입력 디바이스(303)의 운전자 조종에 응답하여 컨트롤러(302)에 의해 그 움직임이 제어되는 로봇 팔(301)에 전기적으로 그리고 기계적으로 연결될 수 있게 한다. 인터페이스(116) 및 로봇 팔(301) 중 하나 또는 모두는 내시경 팁(112)을 조종하기 위해 사용되는 케이블을 구동시키는 모터를 포함한다. 내시경 팁(112)의 굽힘을 제어함과 더불어, 로봇 팔(301)은 또한 환자 몸속의 애퍼어처(예컨대, 자연개구부 또는 미소절개 삽입부)로 내시경(110)을 삽입하거나 그로부터 인출하고, 그 중심축에 대하여 내시경(110)을 회전시키고, 그리고/또는 그 애퍼어처에서 피벗 포인트에 대하여 전기기계식 인터페이스(116)를 회전시키도록 구성될 수 있다. 컨트롤러(302)는 프로세서(130, 140, 150)와 함께 하나 이상의 컴퓨터(200)에서 하드웨어, 펌웨어, 또는 소프트웨어(또는 이들의 조합)으로 구현되는 것이 바람직하다.
섬유 브래그 격자를 사용하여 내시경의 위치 및 굽힘을 판정하는 것에 대한 상세한 설명은, 예컨대, "섬유 브래그 격자를 사용하는 위치 센서를 포함하는 로봇 수술 시스팀"이란 제목의 U.S. 2007/0156019 A1, "레일리 산란을 기초로 한 광섬유 위치 및/또는 형상 센싱"이란 제목의 U.S. 2008/0212082 A1, "브래그 섬유 센서를 사용한 로봇 수술 기기 및 방법"이란 제목의 U.S. 2008/0218770 A1, 및 "광 섬유 형상 센서"란 제목의 미국특허 출원번호 제12/164,829호에서 찾을 수 있다. 종래의 조종가능한 내시경에 대한 상세한 설명은, 예컨대, "조종가능한 내시경 및 향상된 삽입 방법"이란 제목의 U.S. 6,869,396 B2에서 찾을 수 있다.
도 4는, 하나의 예로서, 환자 몸속의 하나의 위치를 향해 조종가능한 내시경(110)의 내시경 길찾기에 있어서 운전자를 돕기 위한 컴퓨터 구현된 방법(400)의 흐름도를 도시한다. 이러한 경우에 컴퓨터는 프로세서(130, 140, 150)를 포함하는 하나 이상의 컴퓨터(200)인 것이 바람직하다.
단계(401)에서, 메모리(155)에 저장된 환자 컴퓨터 모델은 먼저 수술대 위에 일반적으로 엎드려 있는 살아 있는 환자 상의 포인트를 고정된 레퍼런스 프레임과 레퍼런싱한 후, 그 레퍼런싱된 포인트를 환자 컴퓨터 모델 상의 대응하는 점과 연결시킴으로써, 고정 레퍼런스 프레임(즉, 내시경(110)을 사용하여 수행되는 의료 시술 동안 움직이지 않는 프레임)에 대하여여 레퍼런스된다.
예를 들어, (내시경 팁(112)과 같은) 포인터 디바이스의 팁 위치가 고정 레퍼런스 프레임에서 쉽게 판정될 수 있는 포인터 디바이스를 사용하여, 운전자는 환자 컴퓨터 모델의 입에 대응하는 제1 레퍼런스 포인트을 정립하기 위해 포인터 디바이스가 환자의 입을 먼저 터치하도록 포인터 디바이스를 이동시킬 수 있다. 운전자는 그 다음 환자 컴퓨터 모델의 장골(iliac)의 좌우 흉부에 대응하는 제2 레퍼런스 포인트을 정립하기 위해 포인터 디바이스가 환자의 장골의 좌우 흉부를 터치하도록 그 포인터 디바이스를 이동시킬 수 있다. 배꼽 및 좌우 팔과 같은 다른 포인트들 또한 더 많은 레퍼런스 포인트를 정립하기 위해 사용될 수 있다. 이러한 방식으로 환자 컴퓨터 모델을 환자에 레퍼런싱함으로써, 환자 컴퓨터 모델의 적합한 크기(즉, 길이 및 폭)가 고정 레퍼런스 프레임에서 그 위치와 환자와의 정렬과 마찬가지로 정립될 수 있다. 그러므로, 단지 수개의 포인트와 함께, 환자 컴퓨터 모델은 메모리(155) 내의 인체측정학(anthropometry) 데이터베이스 내의 모델 정보를 사용하여 그 환자에 대하여 적절하게 스케일링되고(scale) 정렬될 수 있다(즉, 순응될 수 있다).
수개의 환자 컴퓨터 모델이 메모리(155)에 저장될 수 있다. 예를 들어, 다수의 일반적인 환자 컴퓨터 모델은 환자의 나이, 성별, 크기 등에 따라 상이한 모델이 사용될 수 있도록 저장될 수 있다. 각각의 모델은 모든 자연개구부는 물론 환자에게 진단 또는 수술을 수행하기 위한 잠재적인 타겟 위치가 포함되도록 (도 7-9에 도시된 바와 같이) 적어도 머리 및 흉부를 포함하는 3차원 컴퓨터 모델인 것이 바람직하다. 실제 환자의 3차원 컴퓨터 모델은 또한, 사용가능하다면, 컴퓨터 단층 촬영(CT) 스캔을 사용하여 생성될 수 있는 것과 같은 현재의 시스템과 함께 저장되고 사용될 수 있다. 대안으로서, 수술의 또는 보조들이 그 프로파일을 맵핑시키기 위해 환자의 신체 표면 위로 말단 팁(112)을 이동시키고, 메모리(155)에 저장되는 환자의 3차원 컴퓨터 모델에 대한 정보를 생성하기 위해, 위치 프로세서(130)에 충분한 정보를 제공할 수 있다.
단계(402)에서, 운전자가 시작 안내 커맨드를 발생했는지 여부에 대한 판정이 이루어진다. 운전자는 조종가능한 내시경(110)이 원격 제어되고 있을 때 입력 디바이스(303) 상의 입력 버튼을 누르거나 스위치를 플립핑(flipping)하는 것, 또는 조종가능한 내시경(110)이 수동적으로 제어되고 있을 때 핸들(116) 상의 입력 버튼을 누르거나 스위치를 플립핑하는 것과 같은, 다양한 방법 중 하나로 스타트 안내 커맨드를 발생시킬 수 있다. 다른 방법은 하나 이상의 컴퓨터(200) 내에 구현되어 있거나, 동작적으로 연결되어 있는 (도시되지 않은) 마이크로폰 및 음성 인식 프로세스를 사용하는 음성 조작, 안내를 온 또는 오프시키기 위해 운전자에 의해 눌러질 수 있는 (도시되지 않은) 풋 페달, 및 운전자가 입력 디바이스를 사용하여 상호작용할 수 있는 보조 디스플레이 스크린(160), 주 디스플레이 스크린(600), 또는 (도시되지 않은) 다른 디스플레이 스크린을 사용하는 그래픽 사용자 인터페이스를 포함할 수 있다.
단계(402)에서의 판정이 NO라면(즉, 길찾기 안내 모드가 운전자에 의해 개시되지 않았다면), 본 방법은 YES 판정이 내려져 본 방법이 단계(403)로 진행할 때까지, 각각의 프로세스 사이클(또는 다른 프로그래밍된 사이클)에 걸쳐 단계(402)를 루프(loop)한다.
단계(403)에서, 내시경(110)의 현재 위치 및 형상(즉, 굽힘)이 내시경(110)의 플렉시블 몸체(114)로 삽입된 형상 센서와 함께 구성되어 있는 하나 이상의 광섬유로부터 수신된 정보를 사용하여 위치 프로세서(130)에 의해 판정된다. 이러한 광섬유의 하나의 예로서, 도 5를 참조하면, 광섬유(501)의 말단 끝부는 내시경 팁(112)으로 뻗어 있고, 그 근단 끝부는 베이스 포인트(502)에 부착되어 있는데, 이 베이스 포인트는 고정 레퍼런스 프레임 내에서의 그 위치가 위치 프로세서(130)에 의해 알고 있거나 쉽게 판정가능하다. 위치 프로세서(130)는 또한 위치 프로세서(130)가 베이스 포인트에서 광섬유(501)의 굽힘 센서로부터 정보를 수신할 수 있도록, 베이스 포인트(502)에 부착되거나 연결될 수 있다.
광섬유 케이블(501)의 길이를 알고 있고, 그 케이블의 근단 끝부가 주지된 위치에 고정되어 있고, 그 말단 끝부는 내시경 팁(112)까지 뻗어 있으므로, 고정 레퍼런스 프레임 내의 팁(112)의 현재 위치 및 방향은 굽힘 센서로부터 수신된 정보에 의해 지시되는 광섬유(501)의 현재 굽힘 상태로부터 쉽게 판정될 수 있다. 설명의 목적으로 하나의 광섬유 케이블(501)만 도시되어 있으나, 복수의 광섬유 또는 스트레인 센서와 함께 구성된 복수의 코어를 가진 하나의 광섬유가 참조문헌 U.S. 2007/0156019 A1, U.S. 2008/0212082 A1, 및 미국특허 출원번호 제12/164,829호에 형상 센서를 사용하여 서술된 바와 같이, 내시경 몸체(114) 및 말단 팁(112)의 형상을 판정하기 위해 사용되는 것이 바람직하다.
단계(404)에서, 플렉시블 내시경(110)의 현재 구성을 나타내는 컴퓨터 모델이 메모리(155)에 저장된 내시경의 모델을 사용하여, 그리고 형상 센서로 구성된 광섬유로부터 수신된 형상 정보를 반영하도록 그것을 수정하여 생성된다. 내시경(110)의 저장되고 생성된 컴퓨터 모델은 모두 3차원 모델인 것이 바람직하다.
단계(405)에서는, 단계(401)에서 생성된 환자 컴퓨터 모델과 단계(404)에서 생성된 내시경 컴퓨터 모델은 보조 디스플레이 스크린(160) 상에 고정 레퍼런스 프레임 내의 그들 각각의 위치에 따라 서로에 대하여 적절하게 함께 레지스터링(register)되어 디스플레이된다. 그러므로, 조종가능한 내시경(110)의 운전자는 환자 몸속의 타겟 위치로 내시경(110) 길찾기를 위한 운전자에게 안내를 제공하기 위해 환자의 몸에 대한 내시경(110)의 현재 형상의 화면을 제공받는다. 내시경(110)이 타겟 위치까지 그 경로를 통과하거나 만날 수 있는 임의의 조직 구조 또는 신체 내강의 컴퓨터 모델 또는 다른 지시와 함께, 타겟 위치의 시각적 지시가 또한 디스플레이될 수 있다.
환자 및 내시경 컴퓨터 모델이 보조 디스플레이 스크린(160)에 디스플레이되는 방식은 보조 디스플레이 스크린(160) 및/또는 주 디스플레이 스크린(600) 상에 제공된 클릭가능한 아이콘, 및 풀다운 메뉴와 같은 다수의 주지된 기술 중 임의의 하나 이상의 기술을 사용하여 운전자에 의해 선택가능한 것이 바람직하다. 예를 들어, 운전자가 도 7, 8, 및 9에 각각 도시된 바와 같은, 환자 및 내시경(110)의 앞뒤 화면(750), 경사진 화면(751), 또는 측면-중앙 화면(752)을 컴퓨터 마우스 또는 다른 적합한 디바이스를 사용하여 적합한 아이콘을 클릭함으로써 선택할 수 있도록 보조 디스플레이 스크린(160) 상에 아이콘이 제공될 수 있다.
도 7을 참조하면, 환자 컴퓨터 모델(720) 및 내시경 컴퓨터 모델(710)의 앞뒤 화면(750)이 보조 디스플레이 스크린(160) 상에 내시경의 경로를 따라 다양한 랜드마크(즉, 입, 식도, 위장입구, 및 결장)의 지시와 함께 도시되어 있다. 또한, (주 디스플레이 스크린(600)에 디스플레이되어 있는 도 6에 도시된 캡처된 이미지(650)와 같은) 내시경(110)에 의해 캡처된 실시간 이미지 또한 내시경 컴퓨터 모델(710)의 말단 끝부(711)와 인접한(또는 그로부터 뻗어나오도록 나타난) 보조 디스플레이 스크린(160) 상에 디스플레이될 수 있다.
보조 디스플레이 스크린(160) 상에 환자 및 내시경 컴퓨터 모델(720 및 710)을 디스플레이함과 더불어(또는 대신하여), 컴퓨터 모델은 캡처된 이미지(650)와 함께 주 디스플레이 스크린(600) 상에 디스플레이될 수 있다. 예를 들어, 경사진 화면(751)은 도 10에 도시된 바와 같이 주 디스플레이 스크린(600) 상에 캡처된 이미지(650)에 대한 화면 속 화면 삽입으로서 도시되거나, 도 11에 도시된 바와 같이 주 디스플레이 스크린(600) 상에 캡처된 이미지(650)에 인접한 윈도우 내에 도시될 수 있다.
도 4를 다시 참조하면, 단계(406)에서, 운전자가 안내 중지 커맨드를 발생하였는지 여부에 대한 판정이 이루어진다. 운전자가 안내 개시 커맨드를 발생하는 방식과 유사하지만 상보적인 다양한 방식 중 임의의 방식으로, 운전자는 안내 중지 커맨드를 발생할 수 있다.
단계(406)에서의 판정이 NO라면(즉, 길찾기 안내 모드가 운전자에 의해 중지되지 않았다면, 본 방법은 내시경(110)의 현재 위치 및 굽힘 상태를 갱신하고, 후속 프로세스 사이클(또는 다른 프로그래밍된 사이클) 동안 환자의 컴퓨터 모델과 함께, 내시경의 컴퓨터 모델을 디스플레이하기 위해 다시 단계(403)로 루프한다. 한편, 단계(406)에서의 판정이 YES라면(즉, 길찾기 안내 모드가 운전자에 의해 중지되었다면, 본 방법은 디스플레이 프로세서(150)가 환자 및 내시경의 컴퓨터 모델이 보조 디스플레이 스크린(160) 및/또는 주 디스플레이 스크린(600)에 더 이상 디스플레이되지 않게 하거나, 디스플레이 스크린 상의 컴퓨터 모델을 정지(freeze)시키는 단계(407)로 진행한다.
전체 내시경 수술 동안, 환자의 몸속으로 내시경(110)의 삽입으로부터 시작하여, 본 제안된 방법 및 발명은 카메라(141)에 의해 주기적으로 캡처된 이미지의 디지털 버전을 그 이미지가 캡쳐 되었던 시간에 (예컨대, 30HZ의 처리속도로) 환자 조직에 대한 (위치 프로세서(130)에 의해 판정된) 카메라(141)의 3차원(3-D) 위치 및 방향 정보와 함께 메모리 디바이스(155)에 저장한다. 이러한 시간을 나타내는 시간스탬프 또한 메모리 디바이스(155)에 저장된다. 결과적인 데이터베이스는 찾아갈 조직의 합성 2차원(2-D) 및 3차원(3-D) 화면을 계산할 목적으로 디스플레이 프로세서(150)에 의해 임의의 연속적인 시간에 액세스될 수 있는 고정 레퍼런스 프레임에서의 그 각각의 3-D 위치에 의해 트래깅되는 내시경 이미지들을 제공한다. 그러므로, 내시경 수술의 전체 기록이 메모리 디바이스(155)(바람직하게는 이러한 애플리케이션에 대하여 하드 드라이브와 같은, 대용량 저장 디바이스)에 저장될 수 있어, 교육 및/또는 기록 목적으로 디스플레이 스크린(600 및 160) 상에 다시 재생될 수 있다.
제1 합성 2-D 화면은 이웃한 3-D 위치로부터 얻어진 복수의 내시경 화면을 모자이킹으로 알려져 있는 주지된 컴퓨터 비전 기술에 따라 하나의 더 큰 파노라마 이미지로 어셈블링(함께 스티칭)함으로써 계산될 수 있다(예컨대, 알. 스줴리스키, 에이치.와이. 슘의, 전체 화면 파노라마 이미지 모자이크 및 주변 맵 생성, ACM SIGGRAPH의 회의록, 1997, 세미나 워크 참조). 내시경 파노라마는 더 넓은 시야를 제공함으로써 향상된 내시경 길찾기를 가능하게 하고, 내시경 카메라는 수술의에게 주변 조직의 더 높은 인식성을 전달할 수 있다. 그러므로, 주 디스플레이 스크린(600) 상의 본 명세서의 다수의 도면에 도시된 캡처된 이미지들은 카메라(141)에 의해 가장 최근에 캡처된 이미지를 나타내는, 메모리 디바이스(155)로부터 검색된 이미지를 모자이킹함으로써 디스플레이 프로세서(150)에 의해 생성된 파노라마 이미지인 것이 바람직하다.
부가적인 내시경 길찾기 도구로서, 환자 몸속의 앞서 정의된 랜드마크에 대한 조종 방향을 보여주는 그래픽 지시 또한 본 발명의 하나의 형태로 제공된다.
도 12는, 하나의 예로서, 환자 몸속의 하나 이상의 랜드마크로 조종가능한 내시경(110)을 조종하기 위한 방향 안내를 제공하는 컴퓨터 구현된 방법(1200)의 흐름도를 도시한다. 컴퓨터는 이러한 경우에 프로세서(130, 140, 150)를 포함하는 하나 이상의 컴퓨터(200)인 것이 바람직하다.
단계(1201)에서, 운전자가 랜드마크 방향 안내 모드를 켰는지 여부에 대한 판정이 내려진다. 운전자는 조종가능한 내시경(110)이 원격 제어되고 있을 때 입력 디바이스(303) 상의 입력 버튼을 누르거나 스위치를 플립핑하는 것, 또는 조종가능한 내시경(110)이 수동 제어되고 있을 때 핸들(116)상의 입력 버튼을 누르거나 스위치를 플립핑하는 것과 같은 다양한 방법 중 임의의 방법으로 이러한 모드를 턴 온 및/또는 오프할 수 있다. 다른 방법은 하나 이상의 컴퓨터(200) 내에 구현되어 있거나, 동작적으로 연결되어 있는 (도시되지 않은) 마이크로폰 및 음성 인식 프로세스를 사용하는 음성 조작, 이러한 모드를 온 또는 오프시키기 위해 운전자에 의해 눌러질 수 있는 (도시되지 않은) 풋 페달, 및 운전자가 이러한 모드를 온오프시키기 위해 도 2에 도시된 입력 디바이스(201)를 사용하여 상호작용할 수 있고, 본 명세서에 서술된 방법의 파라미터 또는 다른 형태들을 명시하는 디스플레이 스크린(600)을 사용하는 그래픽 사용자 인터페이스(GUI)(202)를 포함할 수 있다.
단계(1201)에서의 판정이 NO라면(즉, 랜드마크 방향 안내가 꺼지면), 본 방법은 YES 판정이 내려져 본 방법이 단계(1202)로 진행할 때까지, 단계(1201) 각각의 프로세스 사이클(또는 다른 프로그래밍된 사이클)을 루프한다.
단계(1202)에서, 고정 레퍼런스 프레임(즉, 내시경(110)을 사용하는 의료 시술의 진행 동안 움직이지 않는 레퍼런스 프레임) 내에서의 내시경 팁(112)의 현재 위치는 내시경(110)의 플렉시블 몸체(114)로 삽입된 스트레인 센서와 함께 구성되어 있는 광섬유(예컨대, 도 5의 광섬유(501))로부터 수신된 정보를 사용하여 위치 프로세서(130)에 의해 판정된다.
내시경 팁(112)의 현재 위치 및 방향은 광섬유의 길이를 알고 있고, (도 5에 도시된 바와 같이 광섬유(501)가 베이스 포인트(502)에 고정된 것과 같이) 그 근단 끝부가 알고 있는 위치에 고정되어 있고, 그 원단 끝부가 내시경 팁(112)까지 뻗어 있으므로, 스트레인 센서로부터 수신된 정보에 의해 지시되는 광섬유의 현재 굽힘 상태로부터, (도 4의 단계(403)를 참조하여 앞서 설명한 바와 같이) 고정 레퍼런스 프레임 내에서 쉽게 판정될 수 있다.
단계(1203)에서, 내시경 팁(112)의 현재 위치를 안내 지시가 제공되어야 하는 각각의 랜드마크의 위치에 연결하는 벡터는 단계(1202)에서 판정된 내시경 팁의 위치, 및 메모리 디바이스(155)에 저장된 랜드마크 위치를 사용하여 디스플레이 프로세서(150)에 의해 판정된다.
전형적으로, 랜드마크는 삽입 포인트에서 환자 몸속의 타겟 위치까지 그 경로를 따라 조종가능한 내시경(110)을 안내하는 운전자에 의해 정해진다. 하나의 예로서, 도 14는 조종가능한 내시경(110)이 환자의 입을 통해 삽입된 환자의 머리 및 흉부, 및 타겟 위치로 안내되는 내시경 팁(112)의 경사진 화면을 도시한다. 이 예에서, 내시경(110)은 식도를 통해 환자의 위장으로 안내된다. 그 다음 위장으로 삽입되고 내시경(110)은 타겟 위치로 안내된다. 이러한 방식에 따라, 랜드마크는 도 13을 참조하여 아래에 서술된 바와 같은 방법을 사용하여 구강 및 위장입구에서 결정된다.
대안으로서, 환자 몸속의 랜드마크의 위치는 CAT(computer axial tomography), 자기공명영상(MRI), 또는 X-레이에 의해 생성되는 것과 같은 수술전 측정된 데이터를 기초로 할 수 있다. 이러한 경우에, (수술대 위에 누워 있는) 환자의 몸은 고정 레퍼런스 프레임으로 레퍼런싱되고, 랜드마크는 그 각각의 위치가 환자의 몸에서의 각각의 위치에 의해 고정 레퍼런스 프레임 내에서 판정가능하도록, 환자의 몸과 레지스터링된다. 랜드마크 포지션은 그다음 메모리 디바이스(155)(또는, 디스플레이 프로세서(150)에 접근가능한 다른 저장 디바이스)에 저장된다. 이러한 방식으로 랜드마크를 정하는 것이 시간소비적이고 높은 비용일 수 있지만, 이는 본 명세서에 서술된 방법이 내시경 팁의 바로 뒤(즉, 환자로의 삽입점과 내시경 팁의 현재 위치 사이)가 아니라, 내시경 팁(112)의 앞(즉, 내시경 팁의 현재 위치와 타겟 위치 사이)의 랜드마크로의 방향 안내를 제공할 수 있게 한다.
단계(1204)에서는, 단계(1203)에서 판정된 벡터가 디스플레이 프로세서(150)에 의해 고정 레퍼런스 프레임에서 내시경 팁(112)(또는 카메라(141)에 연결된 레퍼런스 프레임으로 변환된다.
단계(1205)에서는, 단계(1204)에서 판정된 변환된 벡터를 나타내는 3-D 화살표(또는 다른 그래픽 표현)가 디스플레이 프로세서(150)에 의해 생성된다. 이 3-D 화살표의 방향은 화살표의 방향이 운전자가 앞서 서술한 바와 같이 핸들 또는 전기기계적 인터페이스(116)를 사용하여 내시경 팁(112)을 조종해야 하는 방향에 대응하도록 내시경 팁의 레퍼런스 프레임으로 레퍼런스된다.
한편, 3-D 화살표의 크기는 더 멀리 떨어진 랜드마크가 더 큰 화살표에 의해 표현되도록, 변환된 벡터의 크기에 비례하도록 생성될 수 있다. 하나의 대안으로서, 화살표의 크기는 더 멀리 떨어진 랜드마크가 더 작은 화살표로 표현되도록, 변환된 벡터의 크기에 반비례하도록 생성될 수도 있다. 또 다른 대안으로서, 화살표의 크기는 (도 15의 화살표(1511, 1512, 및 1513)에 의해 도시된 바와 같이, 각각 동일한 길이를 가지도록 생성될 수도 있다.
또한, 3-D 화살표는 각각의 화살표의 색상이 특정한 조직 구조와 고유하게 연관되도록 컬러-코딩될 수 있다. 예를 들어, 도 15를 참조하면, 구강 삽입부 랜드마크를 향하는 조종 방향을 나타내는 3-D 화살표(1511)는 적색일 수 있고, 위장 삽입부 랜드마크를 향하는 조종 방향을 나타내는 3-D 화살표(1512)는 노란색일 수 있고, 그리고 결장 삽입부 랜드마크를 향하는 조종 방향을 나타내는 3-D 화살표(1513)는 청색일 수 있다. 대안으로서, 디스플레이 스크린(600)의 에지는 랜드마크에 대응하는 색상일 수 있다. 본 명세서에 사용된 이러한 색상 스킴은 사용자 정의될 수 있고, MR 뷰어 상에 사용된 색상 스킴에 대응할 수 있다.
단계(1206)에서는, 단계(1205)에서 생성된 3-D 화살표(또는 다른 그래픽 표현) 및 내시경 팁(112)에서 현재 캡쳐되고 이미지 프로세서(140)에 의해 프로세싱되는) 현재 이미지(또는 현재 및 이전에 캡처된 이미지의 모자이킹을 사용하는 앞서 서술된 바와 같은 파노라마 이미지)가 디스플레이 프로세서(150)에 의해 주 디스플레이 스크린(600) 상에 디스플레이된다. 또한, 랜드마크의 이전에 캡처된 이미지는 또한 메모리 디바이스(155)로부터 선택적으로 또는 자동적으로 검색될 수 있고, 그 각각의 3-D 화살표에 인접하거나 근접하게 디스플레이될 수 있다. 3-D 화살표의 위치는 예컨대, 좌측을 가리키는 화살표는 이미지의 좌측에 위치하고, 우측을 가르키는 화살표는 이미지의 우측 상에 위치하도록, 변환된 벡터의 방향에 관련되도록 디스플레이 스크린(600) 상에 디스플레이될 수 있다. 대안으로서, 3-D 화살표는 모두 이미지의 동일한 측면 부근에 또는 그 이미지의 주변 공간에 위치될 수 있다. 디스플레이 스크린(600)의 에지가 랜드마크에 대응하는 색상인 경우에, 각각의 랜드마크에 대응하는 3-D 화살표는 그 3-D 화살표 및 랜드마크의 연관이 분명하도록 그 각각의 색상을 가진 에지 부근에 디스플레이된다.
주 디스플레이 스크린(600) 상의 현재 내시경 이미지에 또는 그 부근에 3-D 화살표와 같은 랜드마크를 나타내는 것과 더불어, 이러한 랜드마크는 저장된 랜드마크의 위치가 환자 컴퓨터 모델에 대하여 그들의 적합한 위치에 도시될 수 있는 보조 디스플레이 스크린(160)상에 디스플레이되고 있는 3-D 환자 및 내시경 컴퓨터 모델과 함께 디스플레이될 수 있다. 이러한 랜드마크는, 예컨대, 랜드마크 명칭, 썸네일, 랜드마크와 함께 캡처된 저장된 내시경 이미지, 랜드마크의 타입에 관련된 소형 그래픽 아이콘, 또는 랜드마크의 적절한 3-D 모델을 포함하는 텍스트 라벨에 의해 지시될 수 있다.
만약 있다면, 디스플레이될 랜드마크 이미지의 선택은, 예컨대, 모든 랜드마크 이미지가 디스플레이, 랜드마크 이미지가 디스플레이되지 않음, 및 가장 가까운 랜드마크 이미지 하나만 디스플레이됨을 포함하는 메뉴로부터 하나의 디스플레이 옵션을 선택하기 위해, 입력 디바이스(201) 및 GUI(202)를 사용하여, 운전자에 의해 이루어질 수 있다. 대안으로서, 운전자는 디스플레이 프로세서(150)에 사전 선택되고 프로그래밍된 옵션 및 선택을 제공받지 않을 수도 있다. 디스플레이 스크린(600) 상에 3-D 화살표를 디스플레이하기 위한 위치, 크기, 색상 및 다른 옵션은 도 2에 도시된 바와 같이 입력 디바이스(201) 및 GUI(202)를 사용하여 운전자에 의해 선택될 수 있다.
이러한 디스플레이의 하나의 예로서, 도 15는 각각 구강 삽입부, 위장 삽입부 및 결장 삽입부 랜드마크로의 방향 안내를 제공하는 화살표(1511, 1512, 및 1513)와 함께 디스플레이된 현재 이미지(1501)(즉, 내시경(110)에 의해 현재 캡처된 이미지, 또는 본 명세서에 서술된 파노라믹 이미지)를 포함하는 디스플레이 스크린(600)을 도시한다. 또한, 결장 삽입 랜드카므의 이전 캡처된 이미지(1523)는 내시경 팁(112)의 현재 위치와 가장 가까운 랜드마크일 수 있는 그것의 연관된 화살표(1513)와 인접한 윈도우 내에 디스플레이되어 보여진다.
단계(1207)에서, 운전자가 랜드마크 방향 안내 모드를 껐는지 여부가 판정된다. 운전자는 운전자가 랜드마크 안내 모드를 꼈던 것과 유사한 다양한 방법 중 하나의 방법으로(그러나, 그 반대의 방식으로)(예컨대, 스위치를 "오프" 대 "온" 위치로 놓음으로써) 랜드마크 방향 안내 모드를 끌 수 있다.
단계((1207)에서의 판정이 NO라면(즉, 랜드마크 방향 안내 모드가 운전자에 의해 꺼지지 않았다면), 본 방법은 랜드마크 방향 벡터(예컨대, 도 15의 1511, 1512, 1513)를 갱신하기 위해 내시경 팁(112)이 타겟 위치로 안내되고 있고, 내시경(110)에 의해 캡처된 현재 이미지와 함께 디스플레이 스크린(600) 상에 변환된 벡터의 갱신된 그래픽 표현을 디스플레이하는 단계(1202)로 다시 루핑한다. 한편, 단계(1207)에서의 판정이 YES이면(즉, 랜드마크 방향 안내 모드가 운전자에 의해 꺼지면), 본 방법은 디스플레이 프로세서(150)가 변환된 벡터의 그래픽 표현 및 임의의 대응하는 랜드마크 캡처된 이미지가 디스플레이 스크린(600) 상에 더 이상 디스플레이되지 않게 하는 단계(1208)로 진행한다.
랜드마크 방향 안내 모드가 꺼졌다 하더라도, 운전자는 여전히 타겟 위치를 향해 조종가능한 내시경(110)을 안내 받을 수 있고, 내시경 팁(112)에서 캡처되는(그리고 이미지 프로세서(130)에 의해 프로세싱되는) 지속적으로 갱신되는 이미지는 여전히 디스플레이 프로세서(150)에 의해 디스플레이 스크린(600)에 디스플레이될 수 있음을 이해해야 한다. 예를 들어, 도 15를 참조하면, 화살표(1511, 1512, 1513) 및 랜드마크 이미지(1523)는 운전자가 랜드마크 방향 안내 모드를 끈 후 더 이상 디스플레이 되지 않지만, 디스플레이 스크린(600)은 여전히 스크린에 디스플레이된 현재 또는 파노라마 이미지(1501)를 포함할 수 있다.
운전자가 방향 안내가 타겟 위치를 향해 조종가능한 내시경(110)을 안내하는 임의의 시간에 제공될 수 있는 랜드마크를 상호작용적으로 정할 수 있음을 이해해야 한다. 더욱 상세하게는, 랜드마크를 정하는 것은 랜드마크 방향 안내 모드가 켜진 동안 물론 꺼진 동안에도 수행될 수 있다.
도 13은 조종가능한 내시경(110)이 환자 몸을 통해 안내되는 조직 구조 랜드마크를 결정하기 위한 컴퓨터 구현된 방법(1300)을, 하나의 예로서, 도시한다. 도 12를 참조하여 서술된 방법(1200)의 경우와 마찬가지로, 이 경우의 컴퓨터는 프로세서(130, 140, 150)를 포함하는 하나 이상의 컴퓨터(200)인 것이 바람직하다. 더욱 상세하게는, 본 방법은 본 명세서에 서술된 디스플레이 프로세서(150)에 의해 수행되는 다른 행동과 동시에 디스플레이 프로세서(150)에 의해 수행되는 것이 바람직하다.
단계(1301)에서, 랜드마크 결정 요청이 운전자로부터 수신된다. 운전자는 랜드마크 방향 안내 모드를 켜고 끄는 것에 대하여 앞서 서술된 내용을 포함하는 다양한 주지된 상호작용 기술 중 임의의 기술로 이러한 요청을 개시할 수 있다(그러나, 두 액션을 혼동시키지 않기 위해 상이한 기술인 것이 바람직하다).
단계(1302)에서, 고정 레퍼런스 프레임에서의 내시경 팁(112)의 현재 위치가 판정된다. 랜드마크 방향 안내 모드가 켜져 있다면, 이 액션은 방법(1200)의 단계(1202)와 동일하고, 이러한 경우 단계(1202)로부터의 결과가 사용될 수 있으므로, 수행되지 않을 수 있음을 이해해야 한다(즉, 동일한 프로세스 사이클을 두번 수행할 필요가 없다).
단계(1303)에서, 내시경 팁(112)의 현재 위치는 그 다음 메모리 디바이스(155)에 저장되고, 결정이 요청된 랜드마크의 위치로 레퍼런싱된다. 단계(1304)에서, 내시경 팁(112)에 캡처된 현재 이미지는 랜드마크의 이미지로 식별되고, 단계(1305)에서, 그 이미지의 정보는 또한 메모리 디바이스(155)에 저장되고, 결정이 요청된 랜드마크의 이미지로 레퍼런싱된다.
방법(1300)을 수행함에 있어 알 수 있는 바와 같이, 액션(1302 및 1304)의 순서는 중요하지 않다. 실제로, 이미지 프로세서(140)는 위치 프로세서(130)가 내시경 팁(112)의 현재 위치를 판정하는 레이트와 상이한 레이트로 캡처된 이미지를 프로세싱할 수 있다. 그러므로, 두 액션은 두 액션이 각각 발생하는 시간은 물론 순서가 상이할 수 있다. 임의의 이벤트에서, 단계(1301)에서 랜드마크 결정 요청을 수신한 후, 어떤 것이 먼저 발생하였는지에 대한 염려 없이, 내시경 팁(112)의 다음 판정된 위치는 메모리 디바이스(155)에 저장되고, 위치 프로세서(130)로부터 수신된 다음 캡처된 이미지는 메모리 디바이스(155)에 저장된다.
환자 몸속에서 타겟 위치를 향해 내시경(110)을 길찾기하는 동안 랜드마크의 결정과 더불어, (식도, 위장, 결장 등과 같은) 조직 구조는 조직 구조의 하나의 끝부에서 다른 끝부로 이동할 때, 내시경 팁(112)의 위치 정보를 사용하여 측정될 수 있다. 측정된 조직 구조의 정보는 그 다음 조직 구조의 사전 측정된 데이터 또는 3D 모델을 환자 몸 내부의 그 적절한 위치로 정렬하고 크기조절하고, 보조 디스플레이 스크린(160) 상에 3-D 환자 컴퓨터 모델과 함께 조직 구조를 디스플레이하기 위해 사용될 수 있다. 하나의 예로서, 도 13는 구강 및 위장 삽입부 랜드마크의 측정된 위치가, 구강과 위장 삽입부를 연결하는 식도의 3D 모델을 정렬하고 크기조절하기 위해, 내시경의 중간 형상과 함께, 어떻게 사용되는지 보여준다. 식도 모델은 그 다음 3-D 굽은 보조 디스플레이 스크린(160) 상에 환자 및 내시경(110)의 3-D 모델과 함께, 튜브(1401)로서 디스플레이 가능하다.
본 발명의 다양한 형태가 하나 이상의 바람직한 실시예에 대하여 서술되었으나, 본 발명은 첨부된 청구항의 전체 범위 내에서 완전히 보호됨을 이해해야 한다.

Claims (18)

  1. 조종가능한 기기 및
    프로세서를 포함하고,
    상기 프로세서는
    제1 랜드마크 결정 요청을 수신하고;
    상기 요청을 수신하는 것에 응답하여, 제1 조직 랜드마크에 위치한 상기 조종가능한 기기의 레퍼런스 부분에 관한 정보를 기록하고;
    상기 기록된 정보를 제1 랜드마크 정보로서 레퍼런싱(reference)하고;
    상기 제1 랜드마크 정보를 환자 조직의 모델에 레지스터링(register)하고;
    상기 제1 조직 랜드마크를 포함하는 복수의 조직 랜드마크를 통과하는 경로를 따라 타겟 위치까지 상기 조종가능한 기기의 길찾기를 위한 안내를 제공하도록 구성되는, 시스템
  2. 제1항에 있어서, 상기 제1 랜드마크 정보는 위치 정보를 포함하는, 시스템.
  3. 제1항에 있어서, 상기 제1 랜드마크 정보는 이미지 캡처 디바이스에 의해 캡처된 상기 조종가능한 기기의 레퍼런스 위치로부터의 이미지를 포함하는, 시스템.
  4. 제1항에 있어서, 상기 제1 랜드마크 정보는 형상 정보를 포함하는, 시스템.
  5. 제1항에 있어서, 상기 제1 랜드마크 정보는 시간스탬프를 포함하는, 시스템.
  6. 제1항에 있어서, 상기 제1 랜드마크 정보는 그래픽 표현을 포함하는, 시스템.
  7. 제6항에 있어서, 상기 프로세서는 상기 그래픽 표현으로 레지스터링된 환자 조직의 모델을 디스플레이하도록 더 구성되는, 시스템.
  8. 제1항에 있어서, 상기 안내는 상기 복수의 조직 랜드마크 사이의 경로의 모델을 포함하는, 시스템.
  9. 제8항에 있어서, 상기 프로세서는 상기 환자 조직의 모델로 레지스터링된 경로의 모델을 디스플레이하도록 더 구성되는, 시스템.
  10. 조종가능한 기기 및
    프로세서를 포함하고,
    상기 프로세서는
    제1 조직 랜드마크에 위치한 상기 조종가능한 기기의 레퍼런스 부분에 관한 제1 정보를 기록하고;
    상기 기록된 제1 정보를 제1 랜드마크 정보로서 레퍼런싱하고, 여기서 상기 기록된 제1 정보는 상기 제1 조직 랜드마크에 위치한 레퍼런스 부분에 대한 위치 정보를 포함하고 상기 레퍼런스 부분이 제1 조직 위치에 위치하는 동안 상기 조종가능한 기기에 의해 캡처된 이미지를 포함하고;
    제2 조직 랜드마크에 위치한 상기 조종가능한 기기의 레퍼런스 부분에 관한 제2 정보를 기록하고;
    상기 기록된 제2 정보를 제2 랜드마크 정보로서 레퍼런싱하고, 여기서 상기 기록된 제2 정보는 상기 제2 조직 랜드마크에 위치한 레퍼런스 부분에 대한 위치 정보를 포함하고 상기 레퍼런스 부분이 제2 조직 위치에 위치하는 동안 상기 조종가능한 기기에 의해 캡처된 이미지를 포함하고; 및
    상기 제1 및 제2 조직 랜드마크를 통과하는 경로를 따라 안내 기기의 길찾기를 위한 안내를 제공하도록 구성되는, 시스템
  11. 제10항에 있어서, 상기 제1 및 제2 랜드마크 정보의 위치 정보는 고정된 레퍼런스 프레임에 대해 기록되는, 시스템.
  12. 제10항에 있어서, 상기 프로세서는 제1 및 제2 랜드마크 정보를 환자 조직의 모델에 레지스터링하도록 더 구성되는, 시스템.
  13. 제12항에 있어서, 상기 프로세서는 상기 제1 및 제2 랜드마크 정보의 그래픽 표현으로 레지스터링된 상기 환자 조직의 모델을 디스플레이하도록 더 구성되는, 시스템.
  14. 제12항에 있어서, 상기 안내는 상기 제1 및 제2 조직 랜드마크 사이의 경로의 모델을 포함하는, 시스템.
  15. 제14항에 있어서, 상기 프로세서는 상기 환자 조직의 모델로 레지스터링된 경로의 모델을 디스플레이하도록 더 구성되는, 시스템.
  16. 제10항에 있어서, 상기 조종가능한 기기는 이미지 캡처 디바이스를 포함하는, 시스템.
  17. 제10항에 있어서, 상기 안내 기기는 상기 조종가능한 기기인, 시스템.
  18. 제10항에 있어서, 상기 제1 및 제2 랜드마크 정보는 각각 상기 조종가능한 기기의 형상에 관한 정보; 시간스탬프; 및 그래픽 표현 중 적어도 하나를 포함하는, 시스템.
KR1020177021115A 2009-03-26 2010-03-17 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템 Active KR101903307B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US12/411,515 US8337397B2 (en) 2009-03-26 2009-03-26 Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
US12/411,501 US10004387B2 (en) 2009-03-26 2009-03-26 Method and system for assisting an operator in endoscopic navigation
US12/411,515 2009-03-26
US12/411,501 2009-03-26
PCT/US2010/027660 WO2010111090A1 (en) 2009-03-26 2010-03-17 System for providing visual guidance for steering a tip of an endoscopic device towards one or more landmarks and assisting an operator in endoscopic navigation

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020117024734A Division KR101764438B1 (ko) 2009-03-26 2010-03-17 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템

Publications (2)

Publication Number Publication Date
KR20170090527A true KR20170090527A (ko) 2017-08-07
KR101903307B1 KR101903307B1 (ko) 2018-10-01

Family

ID=42244093

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020117024734A Active KR101764438B1 (ko) 2009-03-26 2010-03-17 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템
KR1020177021115A Active KR101903307B1 (ko) 2009-03-26 2010-03-17 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020117024734A Active KR101764438B1 (ko) 2009-03-26 2010-03-17 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템

Country Status (4)

Country Link
EP (5) EP3859682A1 (ko)
KR (2) KR101764438B1 (ko)
CN (2) CN102449666B (ko)
WO (1) WO2010111090A1 (ko)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046202A1 (en) * 2010-10-08 2012-04-12 Koninklijke Philips Electronics N.V. Flexible tether with integrated sensors for dynamic instrument tracking
CA2827523C (en) * 2011-02-17 2019-09-10 Tyto Care Ltd. System and method for performing an automatic and self-guided medical examination
AU2012219077B2 (en) 2011-02-17 2016-07-07 Tyto Care Ltd System and method for performing an automatic and remote trained personnel guided medical examination
DE102011005259A1 (de) * 2011-03-08 2012-09-13 Olympus Winter & Ibe Gmbh Verfahren und System zur Darstellung videoendoskopischer Bilddaten eines Videoendoskops
JP6195822B2 (ja) * 2011-03-31 2017-09-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療処置を支援する形状検出
US8900131B2 (en) * 2011-05-13 2014-12-02 Intuitive Surgical Operations, Inc. Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
EP2538398B1 (en) * 2011-06-19 2015-08-26 Centrum Transferu Technologii Medycznych Park Technologiczny Sp. z o.o. System and method for transesophageal echocardiography simulations
US20140222370A1 (en) * 2011-09-02 2014-08-07 Robert Manzke Rapid dense point cloud imaging using probabilistic voxel maps
US11109775B2 (en) 2011-10-20 2021-09-07 Koninklijke Philips N.V. Shape sensing assisted medical procedure
US11452464B2 (en) * 2012-04-19 2022-09-27 Koninklijke Philips N.V. Guidance tools to manually steer endoscope using pre-operative and intra-operative 3D images
US10085671B2 (en) 2012-05-14 2018-10-02 Intuitive Surgical Operations, Inc. Systems and methods for deformation compensation using shape sensing
WO2013171672A1 (en) * 2012-05-18 2013-11-21 Koninklijke Philips N.V. Voxel tagging using fiber optic shape sensing
US10194801B2 (en) 2012-06-28 2019-02-05 Koninklijke Philips N.V. Fiber optic sensor guided navigation for vascular visualization and monitoring
US9044254B2 (en) 2012-08-07 2015-06-02 Covidien Lp Microwave ablation catheter and method of utilizing the same
US9861336B2 (en) * 2012-09-07 2018-01-09 Gynesonics, Inc. Methods and systems for controlled deployment of needle structures in tissue
US9008757B2 (en) 2012-09-26 2015-04-14 Stryker Corporation Navigation system including optical and non-optical sensors
CN108403088A (zh) 2012-10-02 2018-08-17 皇家飞利浦有限公司 使用光学形状传感器的体积映射
JP6128792B2 (ja) * 2012-10-16 2017-05-17 オリンパス株式会社 観察装置、観察支援装置、観察装置の作動方法及びプログラム
US9566120B2 (en) 2013-01-16 2017-02-14 Stryker Corporation Navigation systems and methods for indicating and reducing line-of-sight errors
US9993273B2 (en) 2013-01-16 2018-06-12 Mako Surgical Corp. Bone plate and tracking device using a bone plate for attaching to a patient's anatomy
JP6132585B2 (ja) * 2013-02-21 2017-05-24 オリンパス株式会社 被検体挿入システム
EP3027138B1 (en) 2013-07-29 2025-02-26 Intuitive Surgical Operations, Inc. Shape sensor systems with redundant sensing
EP3689284B1 (en) 2013-10-24 2025-02-26 Auris Health, Inc. System for robotic-assisted endolumenal surgery
JP2017511712A (ja) 2014-02-04 2017-04-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 介入ツールの仮想ナビゲーションのための組織の非剛体変形のためのシステム及び方法
EP4383272A3 (en) * 2014-02-21 2024-11-20 The University of Akron Imaging and display system for guiding medical interventions
EP4091572A1 (en) 2014-09-09 2022-11-23 Intuitive Surgical Operations, Inc. Flexible medical instrument
US10507056B2 (en) * 2015-10-01 2019-12-17 General Electric Company System and method for representation and visualization of catheter applied force and power
US10537395B2 (en) 2016-05-26 2020-01-21 MAKO Surgical Group Navigation tracker with kinematic connector assembly
CN106137103A (zh) * 2016-07-18 2016-11-23 王存金 内窥镜及内窥镜系统
US9931025B1 (en) * 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
AU2017359338B2 (en) 2016-11-11 2022-09-08 Gynesonics, Inc. Controlled treatment of tissue and dynamic interaction with, and comparison of, tissue and/or treatment data
CN108074259A (zh) * 2016-11-14 2018-05-25 镱钛科技股份有限公司 植入物环景影像检视方法及其系统
WO2018144698A1 (en) 2017-02-01 2018-08-09 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided procedures
GB2599323B (en) 2017-02-07 2022-08-03 Cmr Surgical Ltd Mounting an endoscope to a surgical robot
DE102017103198A1 (de) * 2017-02-16 2018-08-16 avateramedical GmBH Vorrichtung zum Festlegen und Wiederauffinden eines Bezugspunkts während eines chirurgischen Eingriffs
CN107133941A (zh) * 2017-04-18 2017-09-05 重庆金山医疗器械有限公司 一种无线胶囊内窥镜图像突出血管奇变以及凸起部位的显示方法
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US20190269468A1 (en) * 2018-03-01 2019-09-05 Auris Health, Inc. Methods and systems for mapping and navigation
CN108577977B (zh) * 2018-03-19 2020-10-30 山东大学 穿刺针及穿刺针运动轨迹的三维重建方法及系统
WO2019203006A1 (ja) * 2018-04-17 2019-10-24 富士フイルム株式会社 内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法
US11147629B2 (en) * 2018-06-08 2021-10-19 Acclarent, Inc. Surgical navigation system with automatically driven endoscope
JP6987243B2 (ja) * 2018-06-22 2021-12-22 オリンパス株式会社 ランドマーク推定方法、内視鏡装置、及び、位置推定プログラム
US11514576B2 (en) * 2018-12-14 2022-11-29 Acclarent, Inc. Surgical system with combination of sensor-based navigation and endoscopy
CN113853151A (zh) * 2018-12-28 2021-12-28 艾科缇弗外科公司 用于在手术期间定向远程相机的用户界面元件
WO2021039101A1 (ja) * 2019-08-27 2021-03-04 富士フイルム株式会社 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
MX2022002822A (es) * 2019-09-09 2023-01-30 Help Me See Inc Sistemas y metodos de simulador quirurgico.
CN110742690A (zh) * 2019-09-12 2020-02-04 东南大学苏州医疗器械研究院 一种用于配置内窥镜的方法及终端设备
WO2021115857A1 (en) * 2019-12-12 2021-06-17 Koninklijke Philips N.V. Guided anatomical manipulation for endoscopic procedures
CN113014871B (zh) * 2021-02-20 2023-11-10 青岛小鸟看看科技有限公司 内窥镜图像显示方法、装置及内窥镜手术辅助系统
CN114770596B (zh) * 2022-04-28 2023-08-11 东南大学 基于主动视觉和听觉的医疗行为采集机器人及控制方法
CN115670537B (zh) * 2022-11-18 2025-09-02 中国科学院深圳先进技术研究院 一种末端定位的多自由度柔性活检钳
KR20250037631A (ko) * 2023-09-08 2025-03-18 재단법인 한국마이크로의료로봇연구원 캡슐내시경의 3차원 위 내비게이션 방법 및 시스템
CN118021446A (zh) * 2024-02-07 2024-05-14 常州市康辉医疗器械有限公司 用于光学硬镜手术的导航方法、电子设备、导航系统及机器人系统

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5776050A (en) * 1995-07-24 1998-07-07 Medical Media Systems Anatomical visualization system
US5638819A (en) * 1995-08-29 1997-06-17 Manwaring; Kim H. Method and apparatus for guiding an instrument to a target
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
JP4054104B2 (ja) * 1998-04-10 2008-02-27 オリンパス株式会社 内視鏡画像処理装置
US6511417B1 (en) * 1998-09-03 2003-01-28 Olympus Optical Co., Ltd. System for detecting the shape of an endoscope using source coils and sense coils
US6522906B1 (en) * 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6466815B1 (en) * 1999-03-30 2002-10-15 Olympus Optical Co., Ltd. Navigation apparatus and surgical operation image acquisition/display apparatus using the same
WO2001033165A1 (en) * 1999-10-29 2001-05-10 Advanced Sensor Technology, Llc Optical fiber navigation system
US6468203B2 (en) 2000-04-03 2002-10-22 Neoguide Systems, Inc. Steerable endoscope and improved method of insertion
US6610007B2 (en) * 2000-04-03 2003-08-26 Neoguide Systems, Inc. Steerable segmented endoscope and method of insertion
WO2002024051A2 (en) * 2000-09-23 2002-03-28 The Board Of Trustees Of The Leland Stanford Junior University Endoscopic targeting method and system
US6663559B2 (en) * 2001-12-14 2003-12-16 Endactive, Inc. Interface for a variable direction of view endoscope
US7998062B2 (en) * 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
DE60330335D1 (de) * 2002-10-29 2010-01-14 Olympus Corp Endoskopinformationsprozessor und verarbeitungsmethode
JP2004251779A (ja) * 2003-02-20 2004-09-09 Fuji Photo Optical Co Ltd 長尺可撓部材の三次元形状検出装置
DE10322739B4 (de) * 2003-05-20 2006-10-26 Siemens Ag Verfahren zur markerlosen Navigation in präoperativen 3D-Bildern unter Verwendung eines intraoperativ gewonnenen 3D-C-Bogen-Bildes
US7232409B2 (en) * 2003-11-20 2007-06-19 Karl Storz Development Corp. Method and apparatus for displaying endoscopic images
EP1691666B1 (en) * 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
US7772541B2 (en) 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
CN100525699C (zh) * 2004-09-27 2009-08-12 奥林巴斯株式会社 弯曲控制装置
WO2007023771A1 (ja) * 2005-08-22 2007-03-01 Olympus Corporation 画像表示装置
US20090131955A1 (en) * 2005-09-29 2009-05-21 Corindus Ltd. Methods and apparatuses for treatment of hollow organs
US8190238B2 (en) * 2005-12-09 2012-05-29 Hansen Medical, Inc. Robotic catheter system and methods
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
DE102006014626A1 (de) * 2006-03-29 2007-10-11 Siemens Ag Verfahren zur Positionierung einer magnetisch mittels eines Magnetspulensystems navigierbaren Endoskopie-Kapsel
US8784303B2 (en) * 2007-01-29 2014-07-22 Intuitive Surgical Operations, Inc. System for controlling an instrument using shape sensors
WO2008097853A2 (en) 2007-02-02 2008-08-14 Hansen Medical, Inc. Mounting support assembly for suspending a medical instrument driver above an operating table
US7813538B2 (en) * 2007-04-17 2010-10-12 University Of Washington Shadowing pipe mosaicing algorithms with application to esophageal endoscopy
US8050523B2 (en) * 2007-04-20 2011-11-01 Koninklijke Philips Electronics N.V. Optical fiber shape sensing systems

Also Published As

Publication number Publication date
KR20120014242A (ko) 2012-02-16
EP2411966B1 (en) 2016-05-11
EP3553751A2 (en) 2019-10-16
KR101903307B1 (ko) 2018-10-01
EP3859682A1 (en) 2021-08-04
WO2010111090A1 (en) 2010-09-30
EP3023941A2 (en) 2016-05-25
EP3553751A3 (en) 2019-12-18
CN105596005B (zh) 2019-01-22
EP4012658B1 (en) 2026-02-18
CN102449666A (zh) 2012-05-09
EP4012658A1 (en) 2022-06-15
KR101764438B1 (ko) 2017-08-02
EP3023941A3 (en) 2016-08-03
CN105596005A (zh) 2016-05-25
EP2411966A1 (en) 2012-02-01
EP3023941B1 (en) 2019-05-08
CN102449666B (zh) 2016-01-20

Similar Documents

Publication Publication Date Title
US12514435B2 (en) Method and system for assisting an operator in endoscopic navigation
KR101903307B1 (ko) 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템
US20210177299A1 (en) Method And System For Providing Visual Guidance To An Operator For Steering A Tip Of An Endoscopic Device Towards One Or More Landmarks In A Patient
US6902528B1 (en) Method and apparatus for magnetically controlling endoscopes in body lumens and cavities
US12156704B2 (en) Intraluminal navigation using ghost instrument information
US12594126B2 (en) Intraluminal navigation using virtual satellite targets
US20250143812A1 (en) Robotic catheter system and method of replaying targeting trajectory
CN116940298A (zh) 来自单个感应拾取线圈传感器的六个自由度
US20250107854A1 (en) Bronchoscope graphical user interface with improved navigation
US20250170384A1 (en) Hub attachment collar for surgical catheter systems and methods for use thereof
US12042121B2 (en) Medical system with medical device overlay display
KR20250050920A (ko) 의료 절차에서 해부학적 채널을 내비게이팅하기 위한 사용자 인터페이스

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

St.27 status event code: A-0-1-A10-A18-div-PA0104

St.27 status event code: A-0-1-A10-A16-div-PA0104

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20210910

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20220914

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 8