KR20140033128A - 영상유도수술을 위해 해부학적 구조의 모델을 동적으로 등록시키는 의료 시스템 - Google Patents

영상유도수술을 위해 해부학적 구조의 모델을 동적으로 등록시키는 의료 시스템 Download PDF

Info

Publication number
KR20140033128A
KR20140033128A KR1020137033281A KR20137033281A KR20140033128A KR 20140033128 A KR20140033128 A KR 20140033128A KR 1020137033281 A KR1020137033281 A KR 1020137033281A KR 20137033281 A KR20137033281 A KR 20137033281A KR 20140033128 A KR20140033128 A KR 20140033128A
Authority
KR
South Korea
Prior art keywords
medical device
anatomical structure
medical
computer model
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020137033281A
Other languages
English (en)
Other versions
KR101930774B1 (ko
Inventor
프라샨트 초프라
케이틀린 큐. 돈호웨
빈센트 뒨담
기우세페 마리아 프리스코
Original Assignee
인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 filed Critical 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드
Publication of KR20140033128A publication Critical patent/KR20140033128A/ko
Application granted granted Critical
Publication of KR101930774B1 publication Critical patent/KR101930774B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/0051—Flexible endoscopes with controlled bending of insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/009—Flexible endoscopes with bending or curvature detection of the insertion part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/005—Flexible endoscopes
    • A61B1/01—Guiding arrangements therefore
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus, e.g. for MRI, optical tomography or impedance tomography apparatus; Arrangements of imaging apparatus in a room
    • A61B5/0037—Performing a preliminary scan, e.g. a prescan for identifying a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0084—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for introduction into the body, e.g. by catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/02028—Determining haemodynamic parameters not otherwise provided for, e.g. cardiac contractility or left ventricular ejection fraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/026—Measuring blood flow
    • A61B5/0265—Measuring blood flow using electromagnetic means, e.g. electromagnetic flowmeter
    • A61B5/027—Measuring blood flow using electromagnetic means, e.g. electromagnetic flowmeter using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/08—Measuring devices for evaluating the respiratory organs
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/20—Measuring for diagnostic purposes; Identification of persons for measuring urological functions restricted to the evaluation of the urinary system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6846—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive
    • A61B5/6847—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be brought in contact with an internal body part, i.e. invasive mounted on an invasive device
    • A61B5/6852—Catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B17/00234—Surgical instruments, devices or methods for minimally invasive surgery
    • A61B2017/00292—Surgical instruments, devices or methods for minimally invasive surgery mounted on or guided by flexible, e.g. catheter-like, means
    • A61B2017/003—Steerable
    • A61B2017/00318—Steering mechanisms
    • A61B2017/00323—Cables or rods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A61B2017/00699—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body correcting for movement caused by respiration, e.g. by triggering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00694—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body
    • A61B2017/00703—Aspects not otherwise provided for with means correcting for movement of or for synchronisation with the body correcting for movement of heart, e.g. ECG-triggered
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/023—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Physiology (AREA)
  • Pulmonology (AREA)
  • Software Systems (AREA)
  • Cardiology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Neurology (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurosurgery (AREA)
  • Urology & Nephrology (AREA)
  • Psychology (AREA)
  • Vascular Medicine (AREA)
  • Endocrinology (AREA)
  • Gastroenterology & Hepatology (AREA)

Abstract

의료 시스템은 의사가 해부학적 구조 내부 또는 인접한 타겟으로 해부학적 구조의 링크된 통로를 통해 가요성 의료 장치를 항해시킬 수 있도록 의사에게 네비게이션 도움을 제공한다. 이러한 의료 장치가 이러한 링크된 통로를 통해 이동함에 따라, 촬상 소자에 의해 그 말단부에서 이미지가 포착되고 의료장치에 대한 포즈 및 형상 정보가 의료 장치 내부에 배치된 센서로부터 수신된다. 해부학적 구조의 4-D 컴퓨터 모델이 4-D 형상 등록 및 가상 카메라 등록의 하나 또는 모두를 사용하여 의료 장치에 등록되어서, 포착된 이미지 및 가상 카메라의 관점으로부터 생성된 가상 이미지가 서로 등록되고 타겟으로의 네비게이션 경로의 표시를 제공할 때 표시된다.

Description

영상유도수술을 위해 해부학적 구조의 모델을 동적으로 등록시키는 의료 시스템{MEDICAL SYSTEM PROVIDING DYNAMIC REGISTRATION OF A MODEL OF AN ANATOMICAL STRUCTURE FOR IMAGE-GUIDED SURGERY}
본 발명은 일반적으로 의료 시스템에 관한 것이고 특히, 영상유도수술을 위한 해부학적 구조의 모델을 동적으로 등록시키는 의료 시스템에 관한 것이다.
영상유도수술은 의사가 의료장치를 환자 내부의 타겟에 항해시키도록 도와서 치료 시술 및/또는 진단 시술이 타겟에 행해지도록 할 수 있다. 안내를 위해 의료 장치의 작업 단부의 포즈(즉, 위치 및 방위)는 추적되고 그 이미지가 타겟과 연관된 해부학적 구조의 모델을 따라 표시되거나 해부학적 구조의 모델에 중첩될 수 있다. 이러한 모델은 x선, 초음파, 형광투시법, 컴퓨터 단층촬영장치(CT), 자기 공명 영상(MRI), 및 다른 영상 기술과 같은 수술전 및/또는 수술간 환자 해부학적 스캔 데이터로부터 컴퓨터 생성될 수 있다. 이러한 의료 장치는 내시경, 카테터 또는, 환자의 해부학적 구조 내부의 타겟에 이르는 신체 통로에 일치할 수 있는 유연체(flexible body) 및 조향가능한 팁을 갖는 의료 기기일 수 있다.
치료 및/또는 의료 시술이 시행될 타겟, 이러한 타겟이 존재하거나 인접한 해부학적 구조의 모델 및, 이러한 해주학적 구조의 모델에 중첩된 의료 장치의 작업 단부의 영상은 의사가 의료 장치를 자연 및/또는 인공 신체 통로를 통해, 해부학적 구조로 그리고 해부학적 구조를 통해 타겟으로 안내하도록 돕는데 특히 유용할 수 있다. 그러나, 이러한 모델의 의료 장치로의 적합한 등록은 환자의 폐 또는 박동하는 심장의 경우에서 처럼 해부학적 구조가 부동이 아니고 강성을 갖지도 않고 대신에 해부학적 구조의 주기적 또는 비주기적 이동에 따라 이동하고 및/또는 형상이 변할 때 매우 어려울 수 있다.
따라서, 본 발명의 하나 이상의 특징의 하나의 목적은 영상유도수술을 위해 수술간 해부학적 정보를 가지고 해부학적 구조의 모델을 등록하기 위한 의료 시스템 및 방법을 구현하는 것이다.
본 발명의 하나 이상의 특징의 다른 목적은 구현이 용이하고 고가의 추적 시스템이 필요없는, 영상유도수술을 위해 수술간 해부학적 정보를 가지고 해부학적 구조의 모델을 동적으로 등록시키는 의료 시스템 및 방법을 구현하는 것이다.
본 발명의 하나 이상의 특징의 다른 목적은 실시간 적용에 적합하고 계산 효율성이 높은, 영상유도수술 동안에 해부학적 구조의 모델을 동적으로 등록시키는 의료 시스템 및 방법을 구현하는 것이다.
본 발명의 하나 이상의 특징의 다른 목적은 정확한, 영상유도수술 동안 해부학적 구조의 모델을 동적으로 등록시키는 의료 시스템 및 방법을 구현하는 것이다.
이러한 목적 및 추가 목적은 간략하게 기술된 본 발명의 다양한 특징에 의해 달성되고, 하나의 특징은 해부학적 구조의 컴퓨터 모델의 정보를 저장하는 메모리; 유연체 및 상기 유연체의 길이를 따라 분포된 복수의 센서를 갖고 있는 의료 장치; 및 동일한 시점에서 상기 복수의 센서에 의해 제공된 정보를 사용하여 상기 해부학적 구조의 통로에 배치되어 있는 동안 상기 유연체의 포즈 및 형상을 결정하고 적어도 상기 유연체의 결정된 형상을 상기 해부학적 구조의 컴퓨터 모델에서의 하나 이상의 잠재적인 통로의 형상중 가장 잘 맞는 형상으로 등록하도록 프로그램화된 프로세서를 포함하는 의료 시스템이다.
다른 특징은 해부학적 구조의 컴퓨터 모델을 상기 해부학적 구조의 통로 내부에 배치된 가요성 의료 장치에 등록하기 위한 방법이고, 상기 가요성 의료 장치는 상기 가요성 의료 장치의 길이를 따라 분포된 복수의 센서를 갖고 있고, 상기 방법은, 동일한 시점에 상기 복수의 센서에 의해 제공된 정보를 사용하여 상기 가요성 의료 장치의 현 포즈 및 형상을 결정하는 단계; 및 적어도 상기 가요성 의료 장치의 결정된 형상을 상기 컴퓨터 모델에서의 잠재적인 통로의 형상중 가장 잘 맞는 형상에 매치함으로써 상기 해부학적 구조의 컴퓨터 모델을 상기 가요성 의료 장치에 등록하는 단계를 포함한다.
다른 특징은 해부학적 구조의 컴퓨터 모델의 정보를 저장하는 메모리; 의료 장치; 상기 의료 장치의 말단부의 관점으로부터 이미지를 포착하기 위한 촬상 장치; 및 상기 해부학적 구조의 통로에 배치되어 있는 동안 상기 의료 장치의 포즈 및 형상을 결정하고 적어도 상기 의료 장치의 결정된 형상을 상기 해부학적 구조의 컴퓨터 모델에서의 하나 이상의 잠재적인 통로의 형상중 가장 잘 맞는 형상에 매치함으로써 상기 의료 장치로의 상기 컴퓨터 모델의 포괄적인 등록을 주기적으로 실행한 다음, 상기 촬상 장치에 의해 포착된 이미지를 상기 해부학적 구조의 컴퓨터 모델의 복수의 가상 뷰와 비교함으로써 상기 의료 장치로의 상기 컴퓨터 모델의 국부적인 등록을 실행하도록 프로그램화된 프로세서를 포함하고, 상기 복수의 가상 뷰는 가상 카메라의 관점으로부터 생성되고 상기 가상 카메라의 포즈는 초기에 상기 의료 장치의 말단부의 포즈에서 설정된 다음에 초기 포즈에 대해 교란되는 의료 시스템이다.
또 다른 특징은 해부학적 구조의 컴퓨터 모델을 의료 장치에 등록하기 위한 방법으로서, 상기 해부학적 구조의 통로에 배치되어 있는 동안 상기 의료 장치의 포즈 및 형상을 결정하고 적어도 상기 의료 장치의 결정된 형상을 상기 해부학적 구조의 컴퓨터 모델에서의 하나 이상의 잠재적인 통로의 형상중 가장 잘 맞는 형상에 매치함으로써 상기 의료 장치로의 상기 컴퓨터 모델의 포괄적인 등록을 주기적으로 실행한 다음, 상기 촬상 장치에 의해 포착된 이미지를 상기 해부학적 구조의 컴퓨터 모델의 복수의 가상 뷰와 비교함으로써 상기 의료 장치로의 상기 컴퓨터 모델의 국부적인 등록을 실행하는 단계를 포함하고, 상기 복수의 가상 뷰는 가상 카메라의 관점으로부터 생성되고 상기 가상 카메라의 포즈는 초기에 상기 의료 장치의 말단부의 포즈에서 설정된 다음에 초기 포즈에 대해 교란되는 해부학적 구조의 컴퓨터 모델 등록 방법이다.
본 발명의 다양한 특징의 추가 목적, 특징 및 장점은 다음의 도면과 함께 다음의 상세한 설명으로부터 명백해질 것이다.
도 1은 수동 의료 장치를 포함하는, 본 발명의 특징을 이용한 의료 시스템을 도시하는 도면이다.
도 2는 원격조정 의료 장치를 포함하는, 본 발명의 특징을 이용한, 대안의 의료 시스템을 도시하는 도면이다.
도 3은 환자의 해부학적 구조 내부로 삽입된 의료 장치의 도면이다.
도 4는 환자에게 의료 시술을 행하기 전에 수행되는 수술전 태스트의 순서도이다.
도 5는 호흡 사이클 동안의 폐의 이동을 설명하는 도면이다.
도 6은 의료 장치에 해부학적 구조의 컴퓨터 모델을 등록하기 전의 해부학적 구조 내의 타겟 영역으로의 의료 장치의 네이게이션 동안의 주요 스크린의 도면이다.
도 7은 해부학적 구조 내의 타겟 영역으로의 의료 장치의 네비게이션 동안의 보조 스크린의 도면이다.
도 8은 의료 장치에 의해 해부학적 구조의 컴퓨터 모델을 등록하기 위한, 본 발명의 특징을 이용한, 제1 방법 및 제2 방법중 하나를 포함하는 의료 시술을 행하기 위한 방법의 순서도이다.
도 9는 의료 장치에 의해 해부학적 구조의 컴퓨터 모델을 등록하기 위한, 본 발명의 특징을 이용한, 제1 방법의 순서도이다.
도 10은 의료 장치에 의해 해부학적 구조의 컴퓨터 모델을 등록하기 위한, 본 발명의 특징을 이용한, 제2 방법의 순서도이다.
도 11은 의료 장치에 의해 해부학적 구조의 컴퓨터 모델을 등록하기 위한, 본 발명의 특징을 이용한, 제1 방법 및 제2 방법 모두를 포함하는 의료 시술을 행하기 위한 방법의 순서도이다.
도 12a 내지 도 12c는 의료 장치가 환자의 해부학적 구조의 통로를 통해 이동할 때의 3개의 상이한 포인트에서 각각 단일 단부 센서를 갖는 의료 장치의 개략도이다.
도 13은 의료 장치가 환자의 해부학적 구조의 통로에 배치되어 있는 동안 단일 시점에서 복수의 분포된 센서를 갖는 의료 장치의 개략도이다.
도 14는 해부학적 구조의 컴퓨터 모델을 의료 장치에 등록한 후의 해부학적 구조의 타겟 영역으로의 의료 장치의 네비게이션 동안의 주요 스크린의 도면이다.
도 15는 본 발명의 특징을 사용하는 의료 시스템에 옵션으로 사용되는 가상 현실 시스템을 도시하는 도면이다.
도 1은 예를 들어, 조향가능 의료 장치(110), 의료 장치(110)에 삽입되는 하나 이상의 광섬유 케이블(120), 포즈/형상 프로세서(130), 이미지 프로세서(140), 촬상 소자(141), 디스플레이 프로세서(150), 주요 디스플레이 스크린(151), 보조 디스플레이 스크린(152), 네비게이션 프로세서(160) 및 메모리(161)를 포함하는 의료 시스템(100)을 도시하고 있다. 별개의 유닛으로 도시되어 있지만, 포즈/형상 프로세서(130), 이미지 프로세서(140), 디스플레이 프로세서(150), 및 네비게이션 프로세서(160) 각각은 하나 이상의 컴퓨터 프로세서와 상호작용하거나 하나 이상의 컴퓨터 프로세서에 의해 실행되는, 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로서 구현될 수 있다. 주요 디스플레이 스크린(151) 및 보조 디스플레이 스크린(152)는 시스템(100)의 조작자에게 3차원의 이미지를 표시할 수 있는 컴퓨터 모니터일 것이 바람직하다. 그러나, 비용을 감안할 때, 주요 디스플레이 스크린(151) 및 보조 디스플레이 스크린(152)중 어느 하나 또는 모두는 2차원 이미지를 표시할 수 있는 표준 컴퓨터 모니터일 수 있다.
의료 장치(110)는 그 말단부(111)에 유연체(flexible body)(114), 조향가능 팁(112)을 갖고 그 근접 단부(115)에 수동가능 핸들(116)을 갖고 있다. 제어 케이블(도시되지 않음) 또는 다른 제어 수단이 보통 핸들(116)로부터 조향가능 팁(112)으로 뻗어 있어 조향가능 팁(112)이 예를 들어, 구부러진 팁(112)의 점선으로 도시된 바와 같이 제어가능하게 구부러지거나 돌려질 수 있다. 의료 장치(110)는 내시경, 카테터 또는 유연체 및 조향가능 팁을 갖는 다른 의료 기기일 수 있다.
촬상 소자(141)는 이미지 프로세서(140) 및/또는 디스플레이 프로세서(150)에 전송되고 처리되고 주요 디스플레이 스크린(151), 보조 디스플레이 스크린(152) 및/또는 여기에 기술된 바와 같은 본 발명의 다양한 특징에 따른 다른 디스플레이 수단에 표시되는 이미지를 포착하기 위해 촬상 소자(141)의 말단부에 배치된 스테레오스코픽 또는 모노스코픽 카메라일 수 있다. 대안으로, 촬상 소자(141)는 파이버스코프와 같은, 의료 장치(110)의 근접 단부의 이미징 및 프로세싱 시스템에 결합되는 코히어런트 광섬유 번들일 수 있다. 이러한 촬상 소자(141)는 또한 가시 또는 적외선/자외선 스펙트럼에서 이미지 데이터를 포착하는 단일 또는 멀티 스펙트럼일 수 있다. 따라서, 여기에 언급된 임의의 촬상 소자, 장치 또는 시스템은 이러한 이미징 기술 및 다른 이미징 기술의 어느 하나 또는 그 조합일 수 있다. 복수의 광섬유 케이블(120)중 하나는 그 말단부(111)에서의 조명 목적을 위해 그 근접 단부에서 광원(도시되지 않음)에 결합될 수 있다. 광섬유 케이블(120)의 다른 것은 의료 장치(110)의 길이를 따라 분포된 광섬유 브래그 격자와 같은 포지션 및 벤드 또는 형상 센서(또는 레일리 산란을 채용하는 것과 같은 다른 스트레인 센서)로 구성될 수 있어서, 광섬유 케이블을 통과하는 광은 의료 장치(110)의 현 포즈 및 형상을 결정하기 위해 포즈/형상 프로세서(130)에 의해 처리된다.
도 2는 예로서, 핸들(116)이 의료 장치(110)를 원격조정하기 위한 전기기계 인터페이스(170), 제어기(180), 및 입력 장치(190)에 의해 대체된 의료 시스템(100)의 대안의 실시예를 도시하고 있다. 이러한 인터페이스(170)는 의료 장치(110)를 자연 인체 구멍 또는 의사에 의해 생성된 것과 같은 입구 포트를 통해 환자 내로 삽입하거나 환자 밖으로 끌어낼 수 있도록 전체 의료 장치(110)를 전후방으로 이동시키기 위한 구동기는 물론 팁(112)을 조향하기 위해 의료 장치(110) 내부의 케이블을 구동하기 위한 구동기를 포함하고 있다. 제어기(180)는 프로세서(130, 140, 150, 160)와 같은 동일한 하나 이상의 컴퓨터 프로세서 또는 상이한 컴퓨터 프로세서에 하드웨어, 펌웨어 또는 소프트웨어(또는 그 조합)으로서 구현되는 것이 바람직하다. 유연체(114)는 이러한 구현예에서 수동으로 또는 능동으로 구부러질 수 있다.
이러한 조향가능한 의료 장치의 예가 각각 여기에 언급되어 통합된 "Method and System for Assisting an Operator in Endoscopic Navigation" 표제의 U.S. 2010/0249506 Al 및 "Apparatus and Methods for Automatically Controlling an Endoscope" 표제의 WO 2009/097461 Al에 기술되어 있다. 광섬유 브래그 격자를 사용한 내시경의 위치 및 구부림의 결정에 대해서는 예를 들어, 여기에 각각 언급되어 통합된, "Robotic Surgery System Including Position Sensors Using Fiber Bragg Gratings" 표제의 U.S. 2007/0156019 Al, "Fiber Optic Position and/or Shape Sensing Based on Rayleigh Scatter" 표제의 U.S. 2008/0212082 Al, "Robotic Surgical Instrument and Methods using Bragg Fiber Sensors" 표제의 U.S. 2008/0218770 Al, 및 "Fiber Optic Shape Sensor" 표제의 U.S. 2009/0324161 Al에 상세하게 설명되어 있다.
도 3은 예로서, 입구 포트(310)를 통해 삽입되고 환자의 해부학적 구조(330) 내로 뻗은 의료 장치(110)의 도면을 도시하고 있다. 이러한 예에서, 해부학적 구조(330)는 기관, 기관지 및 세기관지를 포함하는 복수의 자연 신체 통로를 갖는 한 쌍의 폐이고, 입구 포트(310)는 환자의 입이고, 의료 장치(110)는 기관지경이다. 이러한 폐의 성질로 인해, 의료 장치(110)는 기관지나무의 수많은 링크된 통로를 통해 안내될 수 있다. 이렇게 하는데 있어서, 의료장치(110)의 유연체(114)는 그것이 이동하는 통로에 일치한다. 한 쌍의 폐가 본 예에서 도시되어 있지만, 본 발명의 다양한 특징이 호흡기 계통에 더하여, 심장, 뇌, 소화기 계통, 순환계 및 비뇨기계와 같은 다른 해부학적 구조에도 적용가능하고 사용될 수 있다는 것을 이해해야 한다. 또한, 단지 자연 신체 통로가 도시되어 있지만, 여기에 기술된 방법은 또한 의료 시술 동안 또는 그 이전에 형성될 수 있고 환자 해부학 구조의 컴퓨터 모델에 중첩될 수 있는 인공 또는 의사가 생성한 통로에도 적용가능하다.
도 4는 예로서, 환자에게 의료 시술을 위해 준비되어 실행되는 수술전 태스트의 순서도이다. 다음의 예에서, 해부학적 구조는 공기 및 혈액 순환계의 주기적 운동 또는 자극에 대한 신체 응답과 같은 비주기적 운동과 같은 식별가능한 방식으로 의료 시술 동안 이동하는 것으로 간주된다. 본 발명의 특징이 해부학적 구조가 의료 시술 동안 이동하지 않을 때도 적용가능하고 유용하지만, 본 발명의 온전한 장점은 해부학적 구조가 의료 시술 동안 식별가능하거나 공지된 방식으로 이동하는 환경에서 최상으로 얻어진다.
블록 401에서, 환자의 하나 이상의 이미지가 해부학적 구조의 3차원(3-D) 컴퓨터 모델의 세트가 발생될 수 있는 적합한 이미징 기술을 사용하여 획득되고, 각 3-D 컴퓨터 모델은 임의의 시간 동안 상이한 시점과 연관되어 있어서 시간은 4차원을 나타내고 이러한 이미지는 여기에서 4차원(4-D) 이미지로 불린다. 또한 추가 차원이 여기에 기술된 방법에서 정의될 수 있고 사용될 수 있다. 이러한 이미징 기술의 예는 형광투시법, 자기 공명 영상, 서모그래피, 단층촬영, 초음파, 광단층 촬영(Optical Coherence Tomography), 열 사진법, 임피던스 이미징, 레이저 이미징, 나노튜브 X선 이미징등을 포함하지만 이제 제한되는 것은 아니다.
이미지가 포착되는 시간은 관심의 해부학적 구조 및 운동에 따라 다르다. 예를 들어, 해부학적 구조가 폐일 때, 하나의 세트의 이미지는 폐가 최대 배출 상태(501)(실선)로부터 최대 흡입 상태(502)(점선)로 확장되는 도 5에 도시된 호흡 사이클과 같은 주기적 운동에 대한 것일 수 있다. 다른 세트의 이미지는 폐의 운동을 유발하는 기침이나 자극에 대한 다른 신체 반응과 같은 비주기적 운동에 대한 것일 수 있다. 다른 예로서, 해부학적 구조가 심장일 때, 하나의 세트의 이미지는 혈액 순환 사이클과 같은 주기적 운동에 대한 것일 수 있다. 이러한 3-D 컴퓨터 모델의 수를 결정하는 샘플링 레이트가 선택되어 이러한 운동의 주기 동안 해부학적 구조의 이동은 정확한 등록 및 네비게이션 목적을 위해 충분히 기술된다.
블록 402에서, 4-D 형상 정보가 획득된 해부학적 구조의 이미지로부터 추출된다. 이러한 획득된 이미지가 운동의 주기 동안 (예를 들어, 샘플링 레이트에 따른) 증분된 시점에서 샘플링된 해부학적 구조의 2차원(2-D) 슬라이스의 세트일 때, 해부학적 구조에 대한 3-D 형상 정보가 동일한 시점에 상응하는 2-D 슬라이스의 각 세트에 대해 발생된다. 따라서, n개의 시점에 대해, "n" 개의 세트의 3-D 형상 정보가 추출되는데, 여기에서, "n"은 운동 주기 동안 샘플링 시점의 수이다.
블록 403에서, 하나 이상의 타겟이 해부학적 구조에서 식별된다. 이러한 타겟은 의료 시술이 실행될 해부학적 구조 내부의 또는 인접한 위치 또는 대상이다. 예를 들어, 이러한 타겟은 해부학적 구조 내부 또는 인접한 종양일 수 있다. 이러한 타겟은 추출된 4-D 형상 정보 또는 해부학적 구조의 획득된 이미지의 분석에 의해 종래의 방식으로 의사에 의해 식별될 수 있는데, 어느 것이든 이러한 식별을 위해 보다 편리하고 및/또는 신뢰할만하다.
블록 404에서, 의료 장치(110)의 작업 단부가 각 타겟으로 이동하기 위해 해부학적 구조에 그리고 해부학적 구조를 통해 네비게이션 통로가 결정된다. 이러한 경우에, 이러한 작업 단부는 의료 장치(110)의 말단부(111)인 것으로 가정한다. 의사는 최단 시간 및/또는 최단 경로는 물론 의료 장치(110)가 타겟쪽으로 이동할 때 유발할 수 있는 환자에 대한 임의의 피해를 고려하기 위해 추출된 4-D 형상 정보 또는 해부학적 구조의 포착된 이미지를 분석함으로써 타겟으로의 적합한 네비게이션 경로를 결정할 수 있다. 대안으로, 컴퓨터 프로그램에 의해 프로세서는 인공지능 기술을 사용하여 네비게이션 경로를 결정하기 위해 이러한 분석을 실행할 수 있다.
도 6은 예로서, 해부학적 구조의 컴퓨터 모델을 의료 장치에 등록하기 전에 해부학적 구조 내부의 타겟 에어리어로의 의료 장치(110)의 네비게이션 동안의 주요 스크린(151)의 뷰를 도시하고 있다. 좌측 이미지(610)는 폐 내부의 가지를 보는 동안 촬상 소자(141)에 의해 포착된 이미지이고, 여기에서 이러한 가지는 하나 또는 다른 의료 장치(110)가 폐 내부로 더 삽입될 때 통과할 수 있는 좌측 통로(611) 및 우측 통로(612)를 나타낸다. 또한 4-D 컴퓨터 모델이 의료 장치(110)에 임의의 방식으로 등록되기 전에 도 4의 블록 402에서 추출된 4-D 형상 정보로부터 발생된 해부학적 구조의 4-D 컴퓨터 모델에서의 상응하는 위치를 보는 가상 카메라에 의해 발생된 가상 이미지인 우측 이미지(620)가 도시되어 있다. 특히, 통로(611) 및 통로(612)에 상응하는 좌측 통로(621) 및 우측 통로(622)가 도시되어 있지만, 이들의 크기 및 정렬은 의료 장치(110)로의 해부학적 구조의 4-D 컴퓨터 모델과 관련된 등록 변환에서의 전환 및 회전 에러로 인하여 상이하다.
도 7은 예로서, 해부학적 구조 내부의 타겟 에어리어로의 의료 장치(110)의 네비게이션 동안의 보조 스크린(152)의 뷰를 도시하고 있다. 이러한 뷰는 의료 장치(110)의 컴퓨터 모델(710) 및 해부학적 구조(330)의 컴퓨터 모델(720)의 2-D 또는 3-D 뷰일 수 있는데, 이러한 뷰는 의료 장치(110)가 해부학적 구조(330)를 통과하여 이동함에 따라 실시간으로 갱신된다. 또한 타겟의 표시(721)가 도시되어 있다. 따라서, 보조 스크린(152)은 의사가 의료 장치(110)를 해부학적 구조(330)를 통하여 타겟으로 조향시키도록 돕는다.
도 8은 예로서, 환자에게 의료 시술을 행하기 위한 방법의 순서도이다. 블록 801에서, 다수의 수술전 태스크가 실행되어 의료 시술의 실행을 준비한다. 먼저, 의료 장치(110)는 예를 들어, 고정된 기준 프레임 내의 공지되고 정지된 포인트에 의료 장치(110)의 말단부(111)를 터치함으로써 종래 방식으로, 고정된 기준 프레임에 국부화된다. 두번째로, 환자는 환자의 하나 이상의 포인트에 의료 장치(110)의 말단부(111)를 터치하고 유지함으로써 종래의 방식으로, 고정된 기준 프레임에 등록될 수 있는데, 이러한 포인트는 4-D 컴퓨터 모델과 연관된 운동의 주기 동안, 도 4의 블록 401에 기술된 바와 같은 환자의 획득된 이미지 위의 식별가능한 포인트에 상응한다. 따라서, 환자 위의 하나 이상의 포인트 사이의 공지된 관계를 해부학적 구조(330)에 적용함으로써, 해부학적 구조의 컴퓨터 모델은 환장의 해부학적 구조, 고정된 기준 프레임 및 의료 장치(110)에 등록될 수 있다.
타겟으로의 해부학적 구조(330)의 링크된 통로를 통한 의료 장치(110)의 네비게이션은 도 8의 시작으로부터 종료까지 실행된다. 블록 802에서, 의료 장치(110)는 의사에 의해 사용되고 있는 의료 시스템(100)의 구현에 따라, 핸들(116) 또는 입력 장치(190)를 조작하는 의사에 의해 삽입 또는 수축 방향으로, 링크된 통로를 통해 이동된다. 블록 803에서, 네비게이션 프로세서(160)는 포즈/형상 프로세서(130)로부터 의료 장치(110)에 대한 포즈 및 형상 정보를 수신하고 이미지 프로세서(140)로부터 이미지 데이터를 수신한다. 따라서, 네비게이션 프로세서(160)는 해당 시각에 촬상 소자(141)에 의해 포착된 이미지를 따른 의료 장치(110)의 유연체(114)의 형상 및 의료 장치(110)의 말단부(111)의 현 위치 및 방위(즉, 포즈)에 대한 정보를 갖고 있다.
블록 804에서, 네비게이션 프로세서(160)는 의료 장치(110)로의 해부학적 구조(330)의 4-D 컴퓨터 모델의 등록을 보정한다. 이러한 등록을 실행하기 위한 하나의 방법은 도 9를 참조하여 기술되어 있고 다른 방법은 도 10을 참조하여 기술되어 있다. 대안으로, 이러한 2개의 방법중 하나 또는 다른 하나를 실행하지 않고 도 11을 참조하여 도시되고 기술된 바와 같이 양측 방법 모두를 실행할 수 있다. 블록 804을 실행하는데 있어서, 의료 장치(110)의 형상은 해당 시각에 의료 장치(110)가 배치된 해부학적 구조의 통로의 형상과 일치하는 것으로 가정한다. 따라서, 의료 장치(110)로의 컴퓨터 모델의 등록에 의해 해부학적 구조의 컴퓨터 모델을 환장의 실제 해부학적 구조에 효과적으로 등록시킬 수 있다.
블록 805에서, 해부학적 구조(330)의 4-D 컴퓨터 모델의 의료 장치(110)로의 적합한 등록으로 인해, 도 14에 도시된 바와 같이, 가상 이미지(620)가 포착된 이미지(610)의 것과 닮도록 이제 조정된 것을 제외하곤 도 6을 참조하여 도시되고 기술된 것과 유사한 방식으로 이러한 포착된 이미지 및 가상 이미지가 표시되어 있다. 특히, 가상 이미지(620)의 좌측 통로(621) 및 우측 통로(622)의 크기 및 방위는 포착된 이미지(610)의 좌측 통로(611) 및 우측 통로(612)의 것과 매치한다. 블록 806에서, 가상 이미지(620) 내부의 화살표(623)와 같은 네비게이션 경로 표시가 제공되어 의사는 의료 장치(110)가 표시된 통로 내부로 조향될 것을 알게 된다.
블록 807에서, 의료 장치(110)의 작업 단부(111)가 타겟에 대해 임계 거리 내에 도달하였는지에 대해 판정한다. 이러한 경우에서 임계 거리는 해부학적 구조(330) 내부로 의료 장치(110)를 추가 삽입할 필요없이 그 의도된 목적을 실행하도록 의사에 의해 의료 장치(110)의 작업 단부(111)가 조작될 수 있기에 충분한 거리이다. 807에서 판정이 YES라면, 타겟으로의 안내된 네비게이션은 완료되고 방법은 종료된다. 한편, 의료 장치(110)가 타겟에 대한 임계 거리에 도달하지 못하였다면, 방법은 802로 가서, 의사에 사용되고 의료 시스템(100)의 구현에 따라, 입력 장치(190) 또는 핸들(116)을 조작하는 의사에 의해, 링크된 통로를 통해 의료 장치(110)가 추가 이동된다.
도 9는 예로서, 해부학적 구조의 컴퓨터 모델을 의료 장치와 함께 등록하기 위한 네비게이션 프로세서(160)에 의해 실행가능한 ("형상 등록"으로 불리는) 제1 방법의 순서도를 설명하고 있다. 이러한 방법은 특히, 촬상 소자(141)가 제거되거나 그 뷰가 차단된 때와 같이, 실시간 이미지가 의료 장치(110)의 관점에서 유용하지 않은 때에 특히 유용하다.
이전에 설명된 바와 같이, 유연체(114)는 의료 장치(110)가 해당 시각에 통과하고 있는 해부학적 구조의 통로의 형상과 일치하기 때문에, 의료 장치(110)의 형상은 통로의 형상과 유사하다. 따라서, 해부학적 구조의 컴퓨터 모델을 의료 장치(110)에 등록함으로써, 이것은 해부학적 구조의 컴퓨터 모델을 실제 해부학적 구조에 등록하는 것과 동일한 효과를 얻는다. 대안으로, 통로의 형상은 의료 장치(110)가 해부학적 구조(1200)의 통로(1202)를 통하여 이동함에 따라 말단부 센서(1210)의 포즈가 상이한 시점에 기록되는, 도 12a 내지 도 12c를 참조하여 기술된 바와 같은 접근법을 사용하여 결정될 수도 있다. 하지만, 이러한 접근법의 하나의 문제점은 해부학적 구조(1200)가 이동하고 있을 때, 상이한 시점(해부학적 구조의 동적 이동의 상이한 시점일 수도 있다)에서 이루어진 상이한 위치 측정이 에러 또는 복잡한 보정의 조정에 이를 수 있다는 것이다. 따라서, 본 발명의 바람직한 실시예는 모든 포즈 및 형상 측정이 동일한 시점에서 정확하게 이루어질 수 있도록 그 수가 충분하고 의료 장치(110)의 길이를 따라 적합하게 분포된 복수의 센서(1310a-1310k)가 채용되는 도 13에 도시되어 있다.
블록 901에서, 의료 장치(110)의 현 포즈 및 형상에 상응하는 3-D 컴퓨터 모델이 포즈/형상 프로세서(130)로부터 수신된 포즈 및 형상 정보를 사용하여 생성된다. 이러한 포즈 및 형상 정보는 의료 장치(110) 내부에 배치된 위치 및 형상 센서로부터 용이하게 생성되기 때문에, 의료 장치의 포즈 및 형상의 계산적 판정이 신속하게 이루어진다.
블록 902에서, 의료 장치(110)의 형상은 링크된 통로의 가장 가까운 매치를 찾기 위해 각 샘플링된 시점에 대한 3-D 컴퓨터 모델의 링크된 통로의 형상과 비교된다. 예를 들어, 여기에 언급되어 통합된, U.S. 2005/0182319 A1에 기술된 바와 같은 Iterative Closest Point (ICP) 알고리즘 또는 Singular Value Decomposition (SVD) 알고리즘과 같은 다수의 주지된 매칭 기술이 이러한 기능을 실행하기 위해 사용될 수 있다. 따라서, 동적 모션 사이클의 각 샘플 시간에 대해, 의료 장치(110)의 현 형상(그리고 그 시각에 의료 장치(110)가 배치된 통로)와 해부학적 구조의 컴퓨터 모델에서의 링크된 통로중 하나와의 가장 가까운 매치가 결정된다.
블록 903에서, 의료 장치(110)의 형상과 902에서 결정된 링크된 통로의 각 가장 가까운 매치 사이의 편차가 결정된다. 그다음, 의료 장치(110)의 현 형상과 최소 편차를 갖고 있는 링크된 통로의 가장 가까운 매치가 이러한 매치들 중에 "가장 잘 맞는 것(best fit)"인 것으로 결정된다. 따라서, 블록 902는 각 3-D 컴퓨터 모델에 대해, 의료 장치의 현 형상과의 하나 이상의 컴퓨터 모델의 통로 사이의 가장 가까운 매치를 결정하고, 블록 903은 모든 3-D 컴퓨터 모델의 가장 가까운 매치중 "가장 잘 맞는 것"(즉, 가장 가까운 매치)인 링크된 통로의 가장 가까운 매치를 갖는 3-D 컴퓨터 모델을 결정한다. 그다음, 904에서, 해부학적 구조의 4-D 컴퓨터 모델의 링크된 통로의 "가장 잘 맞는 것"이 "가장 잘 맞는 것"으로 판정된 의료 장치(110)의 부분으로 국부화되어서, 이러한 4-D 컴퓨터 모델은 의료 장치(110) (그리고, 결과적으로, 환자의 해부학적 구조)에 등록된다.
도 10은 예로서, 의료 장치로의 해부학적 구조의 컴퓨터 모델의 등록을 보정하기 위해 네비게이션 프로세서에 의해 실행가능한 ("가상 카메라 등록"으로 불리는) 제2 방법의 순서도를 설명하고 있다. 이러한 방법을 실행하는데 있어서, (도 8의 초기에 블록 801에서와 같이) 4-D 컴퓨터 모델과 의료 장치(110)의 종래 등록이 실행된 것으로 가정한다.
블록 1001에서, 처음에 가상 카메라가 의료 장치(110)의 말단부의 현 포즈에 배치된 것으로 가정한다. 블록 1002에서, 해부학적 구조의 4-D 컴퓨터 모델의 하나 이상의 가상 이미지가 가상 카메라의 현 포즈를 전환 및/또는 방위 측면에서 교란시킴으로써 가상 카메라에 의해 포착된 것처럼 생성된다. 블록 1003에서, 이러한 하나 이상의 가상 이미지가 촬상 소자(141)에 의해 포착된 해부학적 구조의 현 이미지와 비교된다. 블록 1004에서, 가상 카메라 포즈가 블록 1003에서 실행된 비교에 따라 조정되어서, 조정된 포즈에서 가상 카메라에 의해 포착된 가상 이미지가 촬상 소자(141)에 의해 포착된 해부학적 구조의 현 이미지와 보다 더 잘 매치시킨다. 블록 1005에서, 4-D 컴퓨터 모델의 가상 이미지가 조정된 포즈에서 가상 카메라에 의해 포착된 것처럼 생성된다. 블록 1006에서, 조정된 포즈에서 가상 카메라에 의해 포착된 가상 이미지는 촬상 소자(141)에 의해 포착된 해부학적 구조의 현 이미지와 비교된다. 블록 1007에서, 가상 이미지와 실제 포착된 이미지 사이의 편차가 허용 오차 내에 있는지 판정한다. 이러한 허용 오차는 적당한 기간에 수용가능한 매치를 얻기 위해 임의의 방식으로 이전에 결정된 값을 제한하도록 사전 설정될 수 있다. 대안으로, 알고리즘은 블록 1002-1007의 루프를 통한 처리의 결과의 함수로서 초기 허용 오차를 증분하여 변경하도록 사용될 수 있다.
판정이 YES라면, 1008에서, 가상 카메라의 조정된 포즈가 해부학적 구조의 4-D 컴퓨터을 의료 장치(110)에 등록하도록 등록 변형을 생성하는데 사용되고, 이러한 등록 변형은 4-D 컴퓨터 모델을 의료 장치(110)에 국부화하도록 사용된다. 한편, 판정이 NO라면, 가상 카메라의 조정된 포즈를 교란시킴으로써 가상 카메라의 관점에서 해부학적 구조의 4-D 컴퓨터 모델의 하나 이상의 가상 이미지를 생성하기 위해 방법이 블록 1002로 되돌아간다. 그다음, 이러한 방법은 블록 1007에서 판정이 YES일 때까지 블록 1002-1007을 계속 순환한다.
도 11은 예로서, 의료 장치에 해부학적 구조의 컴퓨터 모델을 등록하기 위해 제1 및 제2 방법 모두를 포함하는 의료 시술을 실행하기 위한 방법의 순서도를 설명하고 있다. 이러한 방법에서, 블록 1101-1103은 도 8의 블록 801-803과 동일하게 실행되고 블록 1106-1108은 도 8의 블록 805-807과 동일하게 실행된다. 블록 1104은 도 9을 참조하여 설명된 방법과 동일하게 실행되고, 비교적 고속 실행되는 포괄적인 또는 거친 등록으로 생각될 수 있다. 블록 1105는 도 10을 참조하여 설명된 방법과 동일하게 실행되고, 블록 1104의 실행후에 남아 있을 수 있는 임의의 "잔류 에러"를 보정하는 국부 또는 정교한 등록으로 생각될 수 있다. 따라서, 이러한 예에서, 도 9 및 도 10을 참조하여 설명된 방법의 조합을 주기적으로 실행함으로써 의료 장치(110)에 해부학적 구조의 4-D 컴퓨터 모델을 보다 정확하게 등록시킬 수 있다. 또한, 블록 1104의 포괄적인 등록을 주기적으로 실행함으로써 도 8의 블록 801과 같은 초기 등록 후에 블록 1105를 단지 주기적으로 실행함으로써 얻을 수 있는 임의의 "표류(drift)" 에러를 차단하는 기능을 얻을 수 있다.
여기에 기술된 등록 방법중 어느 하나를 실행한 후에, 최종 가상 이미지(620)가 여전히 (주요 디스플레이 스크린(151)에서 보여지는 것처럼) 포착된 이미지(610)와 시각적으로 오정렬되어 있다면, 수동 등록 수단이 제공되어 가상 이미지와 포착된 이미지가 정렬된 것으로 나타날 때까지 컴퓨터 모델을 입력 장치의 운전자 조작에 따라 변환시키고 및/또는 방위지정할 수 있다.
도 15은 예로서, 환자 내부의 해부학적 구조 내부의 또는 인접한 타겟에 대한 가상 현실 환경에서 의사에게 네비게이션 안내를 제공하기 위한 의료 시스템(100)에 옵션으로 사용되는 가상 현실 시스템(1500)을 설명하고 있다. 가상 현실 시스템(1500)에서, 의사에 의해 착용된 입체 고글 또는 안경(1501)은 의사가 해부학적 구조를 통해 의료 장치(110)를 이동시킴에 따라 촬상 소자(141)에 의해 포착된 실시간 이미지 또는 가상 카메라에 의해 생성된 가상 이미지를 3-D로 표시한다. 의사가 해부학적 구조의 링크된 통로에서 각 가지에 접근함에 따라, 취해지는 네비게이션 경로의 표시가 하나 이상의 감각 양식으로 제공될 수 있다. 예를 들어, 네비게이션 프로세서(160)는 도 8을 참조하여 설명된 바와 같이 단계 801-805를 실행할 수 있지만, 주요 디스플레이 스크린(151) 위의 가상 이미지(620)에 화살표를 표시하는 대신에, 의사가 정확한 네비게이션 경로의 시각적인 표시를 받도록 (디스플레이 프로세서(150)를 통해) 입체 안경(1501)에서 취해지는 정확한 통로를 표시하는 화살표로서 네비게이션 표시를 제공할 수 있다.
대안으로 또는 추가적으로, 네비게이션 통로 표시는 의사가 잘못된 경로에 들어가려고 의료 장치(110)의 말단부(111)를 지향시키는 경우에 들리는 경고 소리 및/또는 의사가 정확한 통로에 들어가려고 의료 장치(110)의 말단부(111)를 지향시키는 경우에 들리는 보증 소리에 의해 의료 장치(110)가 가지에 접근할 때 청각 시스템(1502)을 통해 제공될 수 있다. 대안으로 또는 추가적으로, 네비게이션 통로 표시는 의사가 잘못된 경로에 들어가려고 의료 장치(110)의 말단부(111)를 지향시키는 경우에 나는 악취 및/또는 의사가 정확한 통로에 들어가려고 의료 장치(110)의 말단부(111)를 지향시키는 경우에 드리는 상쾌한 냄새에 의해 의료 장치(110)가 가지에 접근할 때 후각 시스템(1503)을 통해 제공될 수 있다. 네비게이션 통로 표시는 의사가 잘못된 경로에 들어가려고 의료 장치(110)의 말단부(111)를 지향시키는 경우에 의사의 입에 삽입되는 마우스피스(1515)에서 감지되는 쓴 맛 및/또는 의사가 정확한 통로에 들어가려고 의료 장치(110)의 말단부(111)를 지향시키는 경우에 이러한 마우스피스(1515)에서 감지되는 단 맛에 의해 의료 장치(110)가 가지에 접근할 때 미각 시스템(1504)을 통해 제공될 수 있다. 네비게이션 통로 표시는 의사가 잘못된 경로에 들어가려고 의료 장치(110)의 말단부(111)를 지향시키는 경우에 입력 장치(190)에서 느껴지는 저항력 및/또는 의사가 정확한 통로에 들어가려고 의료 장치(110)의 말단부(111)를 지향시키는 경우에 입력 장치(190)에서 느껴지는 순방향 미는 힘(forward nudging force)에 의해 의료 장치(110)가 가지에 접근할 때 촉각 시스템(1505)을 통해 제공될 수 있다.
본 발명의 다양한 특징이 하나 이상의 실시예에 대해 설명되었지만, 본 발명은 첨부된 청구범위에 의해 보호된다는 것을 이해할 것이다.

Claims (36)

  1. 의료 시스템으로서,
    해부학적 구조의 컴퓨터 모델의 정보를 저장하는 메모리;
    유연체 및 상기 유연체의 길이를 따라 분포된 복수의 센서를 갖고 있는 의료 장치; 및
    동일한 시점에서 상기 복수의 센서에 의해 제공된 정보를 사용하여 상기 해부학적 구조의 통로에 배치되어 있는 동안 상기 유연체의 포즈 및 형상을 결정하고 적어도 상기 유연체의 결정된 형상을 상기 해부학적 구조의 컴퓨터 모델에서의 하나 이상의 잠재적인 통로의 형상중 가장 잘 맞는 형상으로 등록하도록 프로그램화된 프로세서를 포함하는 것을 특징으로 하는 의료 시스템.
  2. 제1항에 있어서, 상기 메모리는 상기 해부학적 구조 내부의 타겟으로의 상기 컴퓨터 모델에 대해 네비게이션 경로의 정보를 저장하고, 상기 프로세서는 상기 컴퓨터 모델을 상기 의료 장치에 등록한 후에 상기 네비게이션 경로의 표시를 상기 의료 장치에 대한 조향 방향으로서 제공하도록 프로그램화된 것을 특징으로 하는 의료 시스템.
  3. 제2항에 있어서, 디스플레이를 더 포함하고,
    상기 프로세서는 상기 의료 장치의 말단부의 관점으로부터 상기 해부학적 구조의 내부의 컴퓨터 모델에 가상 뷰를 생성하고 상기 디스플레이에 상기 생성된 가상 뷰 및 상기 네비게이션 경로의 표시를 표시하도록 프로그램화된 것을 특징으로 하는 의료 시스템.
  4. 제3항에 있어서, 상기 의료 장치의 말단부의 관점에서 이미지를 포착하기 위한 촬상 장치를 더 포함하고,
    상기 프로세서는 상기 디스플레이에 상기 포착된 이미지를 표시하도록 프로그램화된 것을 특징으로 하는 의료 시스템.
  5. 제2항에 있어서, 가상 현실 환경을 더 포함하고,
    상기 프로세서는 상기 의료 장치의 말단부의 관점으로부터 상기 해부학적 구조의 내부의 가상 현실 환경에 가상 뷰를 생성하고 상기 네비게이션 경로의 하나 이상의 감각 표시를 따라 상기 생성된 가상 뷰의 하나 이상의 감각 표시를 제공하도록 프로그램화된 것을 특징으로 하는 의료 시스템.
  6. 제5항에 있어서, 상기 네이게이션 경로의 하나 이상의 감각 표시는 청각, 시각, 촉각, 후각 및 미각의 오감중 하나 이상을 포함하는 것을 특징으로 하는 의료 시스템.
  7. 제2항에 있어서, 상기 복수의 센서는 복수의 변형 센서(strain sensor)인 것을 특징으로 하는 의료 시스템.
  8. 제7항에 있어서, 상기 복수의 센서는 레일리 산란(Rayleigh scattering)을 채용하는 센서를 포함하는 것을 특징으로 하는 의료 시스템.
  9. 제7항에 있어서, 상기 의료 장치는 상기 유연체를 통해 뻗은 하나 이상의 광섬유를 갖고 있고 상기 복수의 센서는 상기 하나 이상의 광섬유에 광섬유 브래그 격자를 채용하는 센서를 포함하는 것을 특징으로 하는 의료 시스템.
  10. 제2항에 있어서, 상기 해부학적 구조는 폐이고 상기 하나 이상의 잠재적인 통로는 기관, 기관지 및 세기관지를 포함하는 것을 특징으로 하는 의료 시스템.
  11. 제2항에 있어서, 상기 해부학적 구조는 심장, 뇌, 소화기 계통, 순환계 및 비뇨기계중 하나인 것을 특징으로 하는 의료 시스템.
  12. 제2항에 있어서,
    입력 장치;
    상기 의료 장치에 결합된 하나 이상의 구동기를 더 포함하고,
    상기 프로세서는 상기 하나 이상의 구동기가 상기 입력 장치의 운전자 이동에 응답하여 상기 의료 장치를 이동시키도록 명령하기 위해 프로그램화된 것을 특징으로 하는 의료 시스템.
  13. 제2항에 있어서, 상기 의료 장치는 내시경, 카테터 및 의료 기기중 하나를 포함하는 것을 특징으로 하는 의료 시스템.
  14. 제2항에 있어서, 상기 프로세서는 상기 해부학적 구조의 운동을 식별하고 상기 식별된 운동에서의 포인트와 연관된 트리거를 채용함으로써 상기 해부학적 운동을 보상하도록 프로그램화된 것을 특징으로 하는 의료 시스템.
  15. 제14항에 있어서, 상기 운동은 상기 해부학적 구조와 연관된 주기적 운동 및 비주기적 운동의 하나 또는 조합인 것을 특징으로 하는 의료 시스템.
  16. 제15항에 있어서, 상기 주기적 운동은 공기 및 혈액중 적어도 하나의 신체 내부에서의 순환을 포함하는 것을 특징으로 하는 의료 시스템.
  17. 제15항에 있어서, 상기 비주기적 운동은 자극에 대한 신체 반응으로부터 나타나는 것을 특징으로 하는 의료 시스템.
  18. 제2항에 있어서, 상기 메모리는 상기 해부학적 구조의 복수의 컴퓨터 모델의 정보를 저장하고, 상기 복수의 컴퓨터 모델의 각각은 상기 해부학적 구조의 운동의 주기의 상이한 시점에 상응하고, 상기 프로세서는 적어도 상기 유연체의 상기 결정된 형상을 상기 해부학적 구조의 복수의 컴퓨터 모델에서의 잠재적인 통로의 형상중 가장 잘 맞는 형상에 매치시킴으로써 상기 컴퓨터 모델을 상기 의료 장치에 등록하도록 프로그램화된 것을 특징으로 하는 의료 시스템.
  19. 제18항에 있어서, 상기 운동의 주기는 식별가능한 주기적 운동 및 식별가능한 비주기적 운동중 적어도 하나와 연관된 것을 특징으로 하는 의료 시스템.
  20. 제19항에 있어서, 상기 식별가능한 주기적 운동은 공기 및 혈액중 적어도 하나의 신체내 순환을 포함하는 것을 특징으로 하는 의료 시스템.
  21. 제19항에 있어서, 상기 식별가능한 비주기적 운동은 자극에 대한 신체 반응으로부터 얻어지는 것을 특징으로 하는 의료 시스템.
  22. 해부학적 구조의 컴퓨터 모델을 상기 해부학적 구조의 통로 내부에 배치된 가요성 의료 장치에 등록하기 위한 방법으로서,
    상기 가요성 의료 장치는 상기 가요성 의료 장치의 길이를 따라 분포된 복수의 센서를 갖고 있고, 상기 방법은,
    동일한 시점에 상기 복수의 센서에 의해 제공된 정보를 사용하여 상기 가요성 의료 장치의 현 포즈 및 형상을 결정하는 단계; 및
    적어도 상기 가요성 의료 장치의 결정된 형상을 상기 컴퓨터 모델에서의 잠재적인 통로의 형상중 가장 잘 맞는 형상에 매치함으로써 상기 해부학적 구조의 컴퓨터 모델을 상기 가요성 의료 장치에 등록하는 단계를 포함하는 것을 특징으로 하는 해부학적 구조의 컴퓨터 모델 등록 방법.
  23. 의료 시스템으로서,
    해부학적 구조의 컴퓨터 모델의 정보를 저장하는 메모리;
    의료 장치;
    상기 의료 장치의 말단부의 관점으로부터 이미지를 포착하기 위한 촬상 장치; 및
    상기 해부학적 구조의 통로에 배치되어 있는 동안 상기 의료 장치의 포즈 및 형상을 결정하고 적어도 상기 의료 장치의 결정된 형상을 상기 해부학적 구조의 컴퓨터 모델에서의 하나 이상의 잠재적인 통로의 형상중 가장 잘 맞는 형상에 매치함으로써 상기 의료 장치로의 상기 컴퓨터 모델의 포괄적인 등록을 주기적으로 실행한 다음, 상기 촬상 장치에 의해 포착된 이미지를 상기 해부학적 구조의 컴퓨터 모델의 복수의 가상 뷰와 비교함으로써 상기 의료 장치로의 상기 컴퓨터 모델의 국부적인 등록을 실행하도록 프로그램화된 프로세서를 포함하고,
    상기 복수의 가상 뷰는 가상 카메라의 관점으로부터 생성되고 상기 가상 카메라의 포즈는 초기에 상기 의료 장치의 말단부의 포즈에서 설정된 다음에 초기 포즈에 대해 교란되는 것을 특징으로 하는 의료 시스템.
  24. 제23항에 있어서, 디스플레이를 더 포함하고, 상기 메모리는 상기 해부학적 구조 내부의 타겟으로의 네비게이션 경로의 정보를 저장하고, 상기 프로세서는 상기 해부학적 구조의 컴퓨터 모델의 주기적으로 실행된 포괄적인 등록 및 국부적인 등록을 사용하여 상기 해부학적 구조의 보정된 가상 뷰를 생성하고 상기 디스플레이에 상기 포착된 이미지, 상기 보정된 가상 뷰 및 상기 네비게이션 경로의 표시를 표시하도록 프로그램화된 것을 특징으로 하는 의료 시스템.
  25. 제24항에 있어서, 상기 프로세서는 상기 포착된 이미지 및 상기 보정된 가상 뷰를 인접한 창들에서 표시하고 상기 보정된 가상 뷰에서 취해지는 방향을 나타내는 화살표로서 상기 네비게이션 경로의 표시를 상기 디스플레이에 표시하도록 프로그램화된 것을 특징으로 하는 의료 시스템.
  26. 제24항에 있어서,
    입력 장치; 및
    상기 입력 장치에 결합된 하나 이상의 구동기를 더 포함하고,
    상기 프로세서는 상기 하나 이상의 구동기가 상기 입력 장치의 운전자 이동에 응답하여 상기 의료 장치를 이동시키도록 명령하기 위해 프로그램화된 것을 특징으로 하는 의료 시스템.
  27. 제23항에 있어서, 상기 의료 장치는 내시경, 카테터 및 의료 기기중 하나를 포함하는 것을 특징으로 하는 의료 시스템.
  28. 제23항에 있어서, 상기 프로세서는 상기 해부학적 구조의 운동을 식별하고 상기 식별된 운동에서의 포인트와 연관된 트리거를 채용함으로써 상기 해부학적 운동을 보상하도록 프로그램화된 것을 특징으로 하는 의료 시스템.
  29. 제28항에 있어서, 상기 운동은 상기 해부학적 구조와 연관된 주기적 운동 및 비주기적 운동의 하나 또는 조합인 것을 특징으로 하는 의료 시스템.
  30. 제29항에 있어서, 상기 주기적 운동은 공기 및 혈액중 적어도 하나의 신체 내부에서의 순환을 포함하는 것을 특징으로 하는 의료 시스템.
  31. 제29항에 있어서, 상기 비주기적 운동은 자극에 대한 신체 반응으로부터 나타나는 것을 특징으로 하는 의료 시스템.
  32. 제23항에 있어서, 상기 메모리는 상기 해부학적 구조의 복수의 컴퓨터 모델의 정보를 저장하고, 상기 복수의 컴퓨터 모델의 각각은 상기 해부학적 구조의 운동의 주기의 상이한 시점에 상응하고, 상기 프로세서는 적어도 상기 유연체의 상기 결정된 형상을 복수의 컴퓨터 모델에서의 잠재적인 통로의 형상중 가장 잘 맞는 형상에 매치시킴으로써 상기 컴퓨터 모델을 상기 의료 장치에 등록하도록 프로그램화되어 있고, 상기 복수의 가상 뷰를 생성하기 위한 프로세서에 의해 사용된 컴퓨터 모델은 상기 매치된 통로에 상응하는 컴퓨터 모델인 것을 특징으로 하는 의료 시스템.
  33. 제32항에 있어서, 상기 운동의 주기는 식별가능한 주기적 운동 및 식별가능한 비주기적 운동중 적어도 하나와 연관된 것을 특징으로 하는 의료 시스템.
  34. 제33항에 있어서, 상기 식별가능한 주기적 운동은 공기 및 혈액중 적어도 하나의 신체내 순환을 포함하는 것을 특징으로 하는 의료 시스템.
  35. 제33항에 있어서, 상기 식별가능한 비주기적 운동은 자극에 대한 신체 반응으로부터 얻어지는 것을 특징으로 하는 의료 시스템.
  36. 해부학적 구조의 컴퓨터 모델을 의료 장치에 등록하기 위한 방법으로서,
    상기 해부학적 구조의 통로에 배치되어 있는 동안 상기 의료 장치의 포즈 및 형상을 결정하고 적어도 상기 의료 장치의 결정된 형상을 상기 해부학적 구조의 컴퓨터 모델에서의 하나 이상의 잠재적인 통로의 형상중 가장 잘 맞는 형상에 매치함으로써 상기 의료 장치로의 상기 컴퓨터 모델의 포괄적인 등록을 주기적으로 실행한 다음, 상기 촬상 장치에 의해 포착된 이미지를 상기 해부학적 구조의 컴퓨터 모델의 복수의 가상 뷰와 비교함으로써 상기 의료 장치로의 상기 컴퓨터 모델의 국부적인 등록을 실행하는 단계를 포함하고,
    상기 복수의 가상 뷰는 가상 카메라의 관점으로부터 생성되고 상기 가상 카메라의 포즈는 초기에 상기 의료 장치의 말단부의 포즈에서 설정된 다음에 초기 포즈에 대해 교란되는 것을 특징으로 하는 해부학적 구조의 컴퓨터 모델 등록 방법.
KR1020137033281A 2011-05-13 2012-04-27 영상유도수술을 위해 해부학적 구조의 모델을 동적으로 등록시키는 의료 시스템 Active KR101930774B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/107,562 US8900131B2 (en) 2011-05-13 2011-05-13 Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery
US13/107,562 2011-05-13
PCT/US2012/035390 WO2012158324A2 (en) 2011-05-13 2012-04-27 Medical system providing dynamic registration of a model of an anatomical structure for image-guided surgery

Publications (2)

Publication Number Publication Date
KR20140033128A true KR20140033128A (ko) 2014-03-17
KR101930774B1 KR101930774B1 (ko) 2018-12-19

Family

ID=47142305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137033281A Active KR101930774B1 (ko) 2011-05-13 2012-04-27 영상유도수술을 위해 해부학적 구조의 모델을 동적으로 등록시키는 의료 시스템

Country Status (5)

Country Link
US (2) US8900131B2 (ko)
EP (2) EP3058889B1 (ko)
KR (1) KR101930774B1 (ko)
CN (2) CN105919547B (ko)
WO (1) WO2012158324A2 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180000733A (ko) * 2015-05-22 2018-01-03 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내 수술에서의 상관 보상의 시스템 및 방법
KR20190041902A (ko) * 2017-10-13 2019-04-23 한양대학교 산학협력단 인공지능 기반의 자동 삽관 장치 및 그 구동 방법
WO2019074331A3 (ko) * 2017-10-13 2019-06-27 한양대학교 산학협력단 인공지능 기반의 자동 삽관 장치 및 그 구동 방법
KR20230082051A (ko) * 2016-12-28 2023-06-08 아우리스 헬스, 인코포레이티드 가요성 기구 삽입을 위한 장치
US12582485B2 (en) 2017-12-14 2026-03-24 Auris Health, Inc. Multiple-input instrument position determination

Families Citing this family (339)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130165945A9 (en) * 2007-08-14 2013-06-27 Hansen Medical, Inc. Methods and devices for controlling a shapeable instrument
US8218847B2 (en) 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US9254123B2 (en) 2009-04-29 2016-02-09 Hansen Medical, Inc. Flexible and steerable elongate instruments with shape control and support elements
JP2013517909A (ja) * 2010-01-28 2013-05-20 ザ ペン ステイト リサーチ ファンデーション 気管支鏡検査法ガイダンスに適用される画像ベースのグローバル登録
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US20120191107A1 (en) 2010-09-17 2012-07-26 Tanner Neal A Systems and methods for positioning an elongate member inside a body
JP6195822B2 (ja) * 2011-03-31 2017-09-13 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 医療処置を支援する形状検出
US8827934B2 (en) 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object
US11109775B2 (en) * 2011-10-20 2021-09-07 Koninklijke Philips N.V. Shape sensing assisted medical procedure
DE102012200921B4 (de) * 2012-01-23 2014-08-21 Siemens Aktiengesellschaft Verfahren zum Ermitteln einer Abweichung eines medizinischen Instruments von einer Zielposition
US9636040B2 (en) 2012-02-03 2017-05-02 Intuitive Surgical Operations, Inc. Steerable flexible needle with embedded shape sensing
EP2849668B1 (en) 2012-05-14 2018-11-14 Intuitive Surgical Operations Inc. Systems and methods for registration of a medical device using rapid pose search
US10085671B2 (en) 2012-05-14 2018-10-02 Intuitive Surgical Operations, Inc. Systems and methods for deformation compensation using shape sensing
JP6386998B2 (ja) 2012-05-14 2018-09-05 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 制限された探索空間を使用した医療装置のレジストレーションのためのシステム及び方法
US10039473B2 (en) 2012-05-14 2018-08-07 Intuitive Surgical Operations, Inc. Systems and methods for navigation based on ordered sensor records
US9429696B2 (en) 2012-06-25 2016-08-30 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error in optical fiber shape sensors
CN106562757B (zh) 2012-08-14 2019-05-14 直观外科手术操作公司 用于多个视觉系统的配准的系统和方法
KR102196291B1 (ko) 2012-10-12 2020-12-30 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 분지형 해부학적 구조물 내에서의 의료 장치의 위치 결정
US20140240713A1 (en) * 2012-12-21 2014-08-28 Volcano Corporation Apparatuses and methods for imaging inside a vessel
US20140188440A1 (en) 2012-12-31 2014-07-03 Intuitive Surgical Operations, Inc. Systems And Methods For Interventional Procedure Planning
BR112015019171A2 (pt) * 2013-02-14 2017-07-18 Koninklijke Philips Nv sistema de intervenção, método de intervenção, e, programa de computador
US9839481B2 (en) 2013-03-07 2017-12-12 Intuitive Surgical Operations, Inc. Hybrid manual and robotic interventional instruments and methods of use
US10149720B2 (en) 2013-03-08 2018-12-11 Auris Health, Inc. Method, apparatus, and a system for facilitating bending of an instrument in a surgical or medical robotic environment
US20140257095A1 (en) * 2013-03-11 2014-09-11 Volcano Corporation Shape sensing interventional catheters and methods of use
EP2904958A4 (en) * 2013-03-12 2016-08-24 Olympus Corp ENDOSCOPE SYSTEM
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US10376672B2 (en) 2013-03-15 2019-08-13 Auris Health, Inc. Catheter insertion system and method of fabrication
US9918659B2 (en) 2013-03-15 2018-03-20 Intuitive Surgical Operations, Inc. Shape sensor systems for tracking interventional instruments and mehods of use
US10206747B2 (en) 2013-05-15 2019-02-19 Intuitive Surgical Operations, Inc. Guide apparatus for delivery of a flexible instrument and methods of use
US9592095B2 (en) 2013-05-16 2017-03-14 Intuitive Surgical Operations, Inc. Systems and methods for robotic medical system integration with external imaging
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
US11432900B2 (en) 2013-07-03 2022-09-06 Histosonics, Inc. Articulating arm limiter for cavitational ultrasound therapy system
EP3027138B1 (en) 2013-07-29 2025-02-26 Intuitive Surgical Operations, Inc. Shape sensor systems with redundant sensing
WO2015023671A1 (en) * 2013-08-15 2015-02-19 Intuitive Surgical Operations, Inc. Systems and methods for medical procedure confirmation
US11800991B2 (en) 2013-08-15 2023-10-31 Intuitive Surgical Operations, Inc. Graphical user interface for catheter positioning and insertion
US10780298B2 (en) 2013-08-22 2020-09-22 The Regents Of The University Of Michigan Histotripsy using very short monopolar ultrasound pulses
CN105555205B (zh) 2013-09-12 2019-10-22 直观外科手术操作公司 用于定位可移动目标的形状传感器系统
EP3689284B1 (en) 2013-10-24 2025-02-26 Auris Health, Inc. System for robotic-assisted endolumenal surgery
CN110833455B (zh) 2013-10-25 2023-02-28 直观外科手术操作公司 带有嵌入式致动导管的柔性器械
EP3060289B1 (en) 2013-10-25 2018-06-27 Intuitive Surgical Operations, Inc. Flexible instrument with grooved steerable tube
WO2015061793A1 (en) * 2013-10-25 2015-04-30 The University Of Akron Multipurpose imaging and display system
WO2015089013A1 (en) 2013-12-09 2015-06-18 Intuitive Surgical Operations, Inc. Systems and methods for device-aware flexible tool registration
EP3079597B1 (en) 2013-12-13 2023-07-26 Intuitive Surgical Operations, Inc. Telescoping biopsy needle
CN105899138B (zh) * 2014-01-06 2019-11-05 皇家飞利浦有限公司 部署建模
JP6334714B2 (ja) * 2014-01-24 2018-05-30 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ロボット手術のための連続画像統合を行う制御ユニット又はロボットガイドシステム
US11617623B2 (en) * 2014-01-24 2023-04-04 Koninklijke Philips N.V. Virtual image with optical shape sensing device perspective
JP2017511712A (ja) 2014-02-04 2017-04-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 介入ツールの仮想ナビゲーションのための組織の非剛体変形のためのシステム及び方法
DE102014203097A1 (de) * 2014-02-20 2015-08-20 Siemens Aktiengesellschaft Verfahren zum Unterstützen einer Navigation einer endoskopischen Vorrichtung
EP2923669B1 (en) 2014-03-24 2017-06-28 Hansen Medical, Inc. Systems and devices for catheter driving instinctiveness
US10912523B2 (en) * 2014-03-24 2021-02-09 Intuitive Surgical Operations, Inc. Systems and methods for anatomic motion compensation
EP3122232B1 (en) * 2014-03-28 2020-10-21 Intuitive Surgical Operations Inc. Alignment of q3d models with 3d images
CN110251047B (zh) 2014-03-28 2022-01-18 直观外科手术操作公司 手术植入物的定量三维成像和打印
KR102387096B1 (ko) 2014-03-28 2022-04-15 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 시계 내의 기기들의 정량적 3차원 시각화
KR102397670B1 (ko) 2014-03-28 2022-05-16 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 정량적 3차원 영상화에 기초한 햅틱 피드백을 갖는 수술 시스템
US10334227B2 (en) 2014-03-28 2019-06-25 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging of surgical scenes from multiport perspectives
JP2017518147A (ja) 2014-03-28 2017-07-06 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術シーンの定量的三次元撮像
US20150272698A1 (en) * 2014-03-31 2015-10-01 Regents Of The University Of Minnesota Navigation tools using shape sensing technology
FR3021518A1 (fr) * 2014-05-27 2015-12-04 Francois Duret Dispositif de visualisation pour faciliter la mesure et le diagnostic 3d par empreinte optique en dentisterie
US9561083B2 (en) 2014-07-01 2017-02-07 Auris Surgical Robotics, Inc. Articulating flexible endoscopic tool with roll capabilities
US9744335B2 (en) 2014-07-01 2017-08-29 Auris Surgical Robotics, Inc. Apparatuses and methods for monitoring tendons of steerable catheters
US10792464B2 (en) 2014-07-01 2020-10-06 Auris Health, Inc. Tool and method for using surgical endoscope with spiral lumens
US9633431B2 (en) 2014-07-02 2017-04-25 Covidien Lp Fluoroscopic pose estimation
EP4233707A3 (en) * 2014-07-02 2023-10-11 Covidien LP System and program for providing distance and orientation feedback while navigating in 3d
US9603668B2 (en) 2014-07-02 2017-03-28 Covidien Lp Dynamic 3D lung map view for tool navigation inside the lung
CN106714724B (zh) 2014-07-28 2019-10-25 直观外科手术操作公司 用于规划多个介入程序的系统和方法
KR20170038012A (ko) 2014-07-28 2017-04-05 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술중 세그먼트화를 위한 시스템 및 방법
EP3179949B1 (en) 2014-07-28 2022-01-19 Intuitive Surgical Operations, Inc. Guide apparatus for delivery of a flexible instrument
JP6615871B2 (ja) 2014-08-22 2019-12-04 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 適応入力マッピングのためのシステム及び方法
CN106794012B (zh) * 2014-08-23 2022-09-16 直观外科手术操作公司 用于动态轨迹控制的系统和方法
EP3182875B1 (en) * 2014-08-23 2021-04-07 Intuitive Surgical Operations, Inc. Systems for display of pathological data in an image guided procedure
US10791908B2 (en) 2014-08-25 2020-10-06 Intuitive Surgical Operations, Inc. Systems and methods for medical instrument force sensing
US10373719B2 (en) 2014-09-10 2019-08-06 Intuitive Surgical Operations, Inc. Systems and methods for pre-operative modeling
US11273290B2 (en) 2014-09-10 2022-03-15 Intuitive Surgical Operations, Inc. Flexible instrument with nested conduits
US10314513B2 (en) * 2014-10-10 2019-06-11 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error using optical fiber shape sensors
WO2016061431A1 (en) 2014-10-17 2016-04-21 Intuitive Surgical Operations, Inc. Systems and methods for reducing measurement error using optical fiber shape sensing
US10314463B2 (en) 2014-10-24 2019-06-11 Auris Health, Inc. Automated endoscope calibration
US9986983B2 (en) 2014-10-31 2018-06-05 Covidien Lp Computed tomography enhanced fluoroscopic system, device, and method of utilizing the same
US20170325896A1 (en) 2014-11-13 2017-11-16 Intuitive Surgical Operations, Inc. Systems and methods for filtering localization data
EP3037056B1 (en) 2014-12-23 2021-04-21 Stryker European Holdings I, LLC System for reconstructing a trajectory of an optical fiber
US11844576B2 (en) 2015-01-22 2023-12-19 Koninklijke Philips N.V. Endograft visualization with optical shape sensing
JP6348078B2 (ja) * 2015-03-06 2018-06-27 富士フイルム株式会社 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11819636B2 (en) 2015-03-30 2023-11-21 Auris Health, Inc. Endoscope pull wire electrical circuit
CN114795471B (zh) 2015-04-06 2026-02-27 直观外科手术操作公司 在图像引导的外科手术中的配准补偿的系统和方法
US10108882B1 (en) * 2015-05-16 2018-10-23 Sturfee, Inc. Method to post and access information onto a map through pictures
US9622831B2 (en) * 2015-05-20 2017-04-18 Siemens Healthcare Gmbh Method and apparatus to provide updated patient images during robotic surgery
KR102523779B1 (ko) 2015-06-09 2023-04-20 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 수술 절차 아틀라스를 갖는 수술 시스템의 구성
EP4230262A3 (en) 2015-06-24 2023-11-22 The Regents Of The University Of Michigan Histotripsy therapy systems for the treatment of brain tissue
WO2017009905A1 (ja) * 2015-07-10 2017-01-19 オリンパス株式会社 可撓管挿入装置
US10716525B2 (en) 2015-08-06 2020-07-21 Covidien Lp System and method for navigating to target and performing procedure on target utilizing fluoroscopic-based local three dimensional volume reconstruction
US10674982B2 (en) 2015-08-06 2020-06-09 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10702226B2 (en) 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
EP3795061B1 (en) 2015-08-14 2025-12-03 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
US11202680B2 (en) 2015-08-14 2021-12-21 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided surgery
WO2017033728A1 (ja) * 2015-08-26 2017-03-02 オリンパス株式会社 内視鏡装置
CN108024693B (zh) * 2015-09-10 2021-07-09 直观外科手术操作公司 在图像引导医疗程序中利用跟踪的系统和方法
CN108778113B (zh) 2015-09-18 2022-04-15 奥瑞斯健康公司 管状网络的导航
EP3355780B1 (en) * 2015-10-02 2025-07-30 Koninklijke Philips N.V. Hub for device navigation with optical shape sensed guidewire
US10709352B2 (en) * 2015-10-27 2020-07-14 Covidien Lp Method of using lung airway carina locations to improve ENB registration
KR20180068336A (ko) 2015-11-12 2018-06-21 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 훈련 또는 보조 기능들을 갖는 수술 시스템
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
EP4375934A3 (en) 2016-02-12 2024-07-31 Intuitive Surgical Operations, Inc. Systems and methods of pose estimation and calibration of perspective imaging system in image guided surgery
CN119856989A (zh) 2016-02-12 2025-04-22 直观外科手术操作公司 用于在图像引导手术中使用配准荧光透视图像的系统和方法
US10191615B2 (en) * 2016-04-28 2019-01-29 Medtronic Navigation, Inc. Method and apparatus for image-based navigation
EP3478172A4 (en) * 2016-06-29 2020-02-26 Vision Quest Industries Incorporated Dba VQ Orthocare MEASUREMENT AND CONTROL SYSTEM FOR ORTHOPEDIC DEVICES.
EP3478355B1 (en) 2016-06-30 2025-03-05 Intuitive Surgical Operations, Inc. Systems of steerable elongate device
CN114027987B (zh) * 2016-06-30 2024-09-13 直观外科手术操作公司 在图像引导程序期间以多种模式显示指导信息的图形用户界面
KR20190015581A (ko) 2016-06-30 2019-02-13 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 의료용 로봇 시스템의 결함 반응 메커니즘을 위한 시스템 및 방법
EP4238490B1 (en) * 2016-06-30 2025-09-17 Intuitive Surgical Operations, Inc. Graphical user interface for displaying guidance information during an image-guided procedure
US11344376B2 (en) * 2016-07-01 2022-05-31 Intuitive Surgical Operations, Inc. Systems and methods for flexible computer-assisted instrument control
CN109475721B (zh) 2016-07-08 2021-06-08 直观外科手术操作公司 用于输送细长设备的引导装置和使用方法
EP3503834B1 (en) 2016-08-23 2024-06-12 Intuitive Surgical Operations, Inc. Systems for monitoring patient motion during a medical procedure
US10729886B2 (en) 2016-08-24 2020-08-04 Intuitive Surgical Operations, Inc. Axial support structure for a flexible elongate device
US10463439B2 (en) 2016-08-26 2019-11-05 Auris Health, Inc. Steerable catheter with shaft load distributions
US10881385B2 (en) 2016-09-13 2021-01-05 Intuitive Surgical Operations, Inc. Radial telescoping guide apparatus for delivery of a flexible instrument and methods of use
CN115336961B (zh) 2016-09-21 2025-11-28 直观外科手术操作公司 用于器械弯折检测的系统和方法
WO2018064566A1 (en) 2016-09-30 2018-04-05 Intuitive Surgical Operations, Inc. Systems and methods for entry point localization
US10682192B2 (en) 2016-09-30 2020-06-16 Intuitive Surgical Operations, Inc. Variable-length guide apparatus for delivery of a flexible instrument and methods of use
US9931025B1 (en) 2016-09-30 2018-04-03 Auris Surgical Robotics, Inc. Automated calibration of endoscopes with pull wires
DE102016119579B4 (de) * 2016-10-13 2023-08-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Positionsbestimmungsvorrichtung zum Bestimmen einer Position eines Instruments innerhalb einer röhrenförmigen Struktur
US11065059B2 (en) 2016-11-02 2021-07-20 Intuitive Surgical Operations, Inc. Systems and methods of continuous registration for image-guided surgery
US10299699B2 (en) * 2016-11-28 2019-05-28 Biosense Webster (Israel) Ltd. Computerized tomography image correction
WO2018106950A1 (en) 2016-12-08 2018-06-14 Intuitive Surgical Operations, Inc. Systems and methods for navigation in image-guided medical procedures
WO2018107119A1 (en) 2016-12-09 2018-06-14 Intuitive Surgical Operations, Inc. System and method for distributed heat flux sensing of body tissue
CN106667577A (zh) * 2016-12-13 2017-05-17 安徽乐年健康养老产业有限公司 一种基于虚拟现实的医疗设备操控系统
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
EP3566212A4 (en) * 2017-01-06 2020-08-19 Intuitive Surgical Operations Inc. SYSTEM AND PROCESS FOR REGISTRATION AND COORDINATED MANIPULATION OF AUGMENTED REALITY IMAGE COMPONENTS
CN116128937A (zh) * 2017-01-09 2023-05-16 直观外科手术操作公司 用于在图像引导的程序中将细长装置配准到三维图像的系统和方法
WO2018132386A1 (en) 2017-01-10 2018-07-19 Intuitive Surgical Operations, Inc. Systems and methods for using a robotic medical system
EP3568783A4 (en) * 2017-01-11 2020-11-11 Magic Leap, Inc. MEDICAL ASSISTANT
WO2018144726A1 (en) * 2017-02-01 2018-08-09 Intuitive Surgical Operations, Inc. Systems and methods for data filtering of passageway sensor data
WO2018144698A1 (en) * 2017-02-01 2018-08-09 Intuitive Surgical Operations, Inc. Systems and methods of registration for image-guided procedures
EP4663091A3 (en) 2017-02-06 2026-03-04 Intuitive Surgical Operations, Inc. Systems and methods for coupling components of a medical system
US11793579B2 (en) 2017-02-22 2023-10-24 Covidien Lp Integration of multiple data sources for localization and navigation
WO2018169868A1 (en) 2017-03-13 2018-09-20 Intuitive Surgical Operations, Inc. Systems and methods for medical procedures using optical coherence tomography sensing
JP2020511239A (ja) * 2017-03-17 2020-04-16 インテリジョイント サージカル インク． ナビゲーション手術における拡張現実ディスプレイのためのシステム及び方法
WO2018175737A1 (en) * 2017-03-22 2018-09-27 Intuitive Surgical Operations, Inc. Systems and methods for intelligently seeding registration
AU2018243364B2 (en) 2017-03-31 2023-10-05 Auris Health, Inc. Robotic systems for navigation of luminal networks that compensate for physiological noise
WO2018195221A1 (en) 2017-04-18 2018-10-25 Intuitive Surgical Operations, Inc. Graphical user interface for planning a procedure
US11937880B2 (en) 2017-04-18 2024-03-26 Intuitive Surgical Operations, Inc. Graphical user interface for monitoring an image-guided procedure
JP7677608B2 (ja) 2017-05-12 2025-05-15 オーリス ヘルス インコーポレイテッド 生検装置およびシステム
US10716461B2 (en) 2017-05-17 2020-07-21 Auris Health, Inc. Exchangeable working channel
US10242548B2 (en) * 2017-05-23 2019-03-26 Biosense Webster (Israel) Ltd. Medical tool puncture warning method and apparatus
CN110234292A (zh) 2017-06-23 2019-09-13 直观外科手术操作公司 用于在医疗程序期间导航到目标位置的系统和方法
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
US10699448B2 (en) 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US10426559B2 (en) 2017-06-30 2019-10-01 Auris Health, Inc. Systems and methods for medical instrument compression compensation
EP4596017A3 (en) 2017-07-21 2025-10-22 Intuitive Surgical Operations, Inc. Flexible elongate device systems and methods
US10512515B2 (en) 2017-07-31 2019-12-24 Intuitive Surgical Operations, Inc. Systems and methods for steerable elongate device
WO2019027922A1 (en) 2017-07-31 2019-02-07 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR SECURE OPERATION OF A DEVICE
KR102054551B1 (ko) * 2017-08-02 2019-12-12 재단법인 아산사회복지재단 Fbg 광섬유를 이용한 형상 및 접촉력 센싱 카테터 및 카테터 시스템
JP7213867B2 (ja) 2017-08-16 2023-01-27 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 医療処置中に患者の動きをモニタするためのシステムおよび方法
CN111031958B (zh) * 2017-08-16 2023-09-15 柯惠有限合伙公司 在微创手术期间合成多个相机视点之间的空间感知过渡
EP3694412B1 (en) 2017-10-10 2025-12-31 Covidien LP SYSTEM AND METHOD FOR IDENTIFYING AND MARKING A TARGET IN A THREE-DIMENSIONAL FLUOROSCOPIC RECONSTRUCTION
US10145747B1 (en) 2017-10-10 2018-12-04 Auris Health, Inc. Detection of undesirable forces on a surgical robotic arm
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
CN111386086A (zh) 2017-11-14 2020-07-07 直观外科手术操作公司 清洁内窥镜器械的系统和方法
US10646284B2 (en) * 2017-12-05 2020-05-12 Covidien Lp Multi-rigid registration of magnetic navigation to a computed tomography volume
CN110831536B (zh) 2017-12-06 2021-09-07 奥瑞斯健康公司 用于针对非命令器械滚转进行校正的系统和方法
US12458411B2 (en) 2017-12-07 2025-11-04 Augmedics Ltd. Spinous process clamp
US12521201B2 (en) 2017-12-07 2026-01-13 Augmedics Ltd. Spinous process clamp
US11160615B2 (en) * 2017-12-18 2021-11-02 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
WO2019125581A1 (en) 2017-12-19 2019-06-27 Intuitive Surgical Operations, Inc. Imaging systems and methods of use
US10786311B2 (en) * 2017-12-22 2020-09-29 Acclarent, Inc. Apparatus and method for registering facial landmarks for surgical navigation system
CN111655184B (zh) * 2018-01-10 2024-01-02 柯惠Lp公司 用于放置手术端口的引导
US11364004B2 (en) 2018-02-08 2022-06-21 Covidien Lp System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
US10930064B2 (en) 2018-02-08 2021-02-23 Covidien Lp Imaging reconstruction system and method
US10905498B2 (en) 2018-02-08 2021-02-02 Covidien Lp System and method for catheter detection in fluoroscopic images and updating displayed position of catheter
MX2020008464A (es) 2018-02-13 2020-12-07 Auris Health Inc Sistema y metodo para accionar instrumento medico.
US10517681B2 (en) * 2018-02-27 2019-12-31 NavLab, Inc. Artificial intelligence guidance system for robotic surgery
US20190269468A1 (en) * 2018-03-01 2019-09-05 Auris Health, Inc. Methods and systems for mapping and navigation
EP4344723A3 (en) 2018-03-28 2024-06-12 Auris Health, Inc. Medical instruments with variable bending stiffness profiles
JP7225259B2 (ja) 2018-03-28 2023-02-20 オーリス ヘルス インコーポレイテッド 器具の推定位置を示すためのシステム及び方法
JP7214747B2 (ja) 2018-03-28 2023-01-30 オーリス ヘルス インコーポレイテッド 位置センサの位置合わせのためのシステム及び方法
WO2019199125A1 (ko) * 2018-04-12 2019-10-17 주식회사 이지엔도서지컬 자율 주행 내시경 시스템 및 그 제어 방법
EP3756607B1 (en) 2018-04-12 2024-09-18 ROEN Surgical, Inc. Autonomous endoscopic system
CN112004496B (zh) * 2018-04-25 2024-10-18 直观外科手术操作公司 与细长装置有关的系统和方法
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A FIDUCIAL MARKER FOR AN AUGMENTED REALITY SYSTEM
EP3791362B1 (en) * 2018-05-11 2025-08-06 Intuitive Surgical Operations, Inc. Systems and methods related to registration for image guided surgery
KR102882050B1 (ko) 2018-05-15 2025-11-07 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 카테터 제어 시스템의 백엔드 메커니즘
CN114601559B (zh) 2018-05-30 2024-05-14 奥瑞斯健康公司 用于基于定位传感器的分支预测的系统和介质
CN110831538B (zh) * 2018-05-31 2023-01-24 奥瑞斯健康公司 基于图像的气道分析和映射
US11503986B2 (en) 2018-05-31 2022-11-22 Auris Health, Inc. Robotic systems and methods for navigation of luminal network that detect physiological noise
EP4454591A3 (en) 2018-05-31 2025-01-15 Auris Health, Inc. Path-based navigation of tubular networks
EP3809943A1 (en) 2018-06-19 2021-04-28 Intuitive Surgical Operations, Inc. Systems and methods for holding a flexible elongate device in a pose
EP3821444A1 (en) 2018-07-10 2021-05-19 Intuitive Surgical Operations, Inc. Systems and methods for tool detection and associated control modes
CN112638310A (zh) 2018-07-10 2021-04-09 直观外科手术操作公司 用于感测医疗工具的存在的系统
WO2020014370A1 (en) 2018-07-10 2020-01-16 Intuitive Surgical Operations, Inc. Systems and methods for orientation detection and tool installation
WO2020014198A1 (en) 2018-07-10 2020-01-16 Intuitive Surgical Operations, Inc. Systems and methods for detecting an orientation of medical instruments
US11678788B2 (en) 2018-07-25 2023-06-20 Intuitive Surgical Operations, Inc. Systems and methods for use of a variable stiffness flexible elongate device
US11705238B2 (en) 2018-07-26 2023-07-18 Covidien Lp Systems and methods for providing assistance during surgery
US11071591B2 (en) 2018-07-26 2021-07-27 Covidien Lp Modeling a collapsed lung using CT data
EP3829426A1 (en) * 2018-08-03 2021-06-09 Chelak Medical Solution Inc. Non-barometric determination of hemodynamic effects of cardiac arrhythmias using signals sensed by an implantable device
KR102612146B1 (ko) 2018-08-07 2023-12-13 아우리스 헬스, 인코포레이티드 카테터 제어와의 변형-기반 형상 감지의 조합
US11179212B2 (en) 2018-09-26 2021-11-23 Auris Health, Inc. Articulating medical instruments
US11944388B2 (en) 2018-09-28 2024-04-02 Covidien Lp Systems and methods for magnetic interference correction
JP7536752B2 (ja) 2018-09-28 2024-08-20 オーリス ヘルス インコーポレイテッド 内視鏡支援経皮的医療処置のためのシステム及び方法
KR102852843B1 (ko) 2018-09-28 2025-09-03 아우리스 헬스, 인코포레이티드 의료 기구를 도킹시키기 위한 시스템 및 방법
KR102902760B1 (ko) * 2018-10-04 2025-12-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 해부학적 경계를 정의하기 위한 그래픽 사용자 인터페이스
JP7337151B2 (ja) 2018-10-05 2023-09-01 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 医療器具を位置付けするためのシステム及び方法
US11737823B2 (en) 2018-10-31 2023-08-29 Intuitive Surgical Operations, Inc. Antenna systems and methods of use
US11280863B2 (en) 2018-11-02 2022-03-22 Intuitive Surgical Operations, Inc. Coiled antenna with fluid cooling
US11637378B2 (en) 2018-11-02 2023-04-25 Intuitive Surgical Operations, Inc. Coiled dipole antenna
US11730537B2 (en) 2018-11-13 2023-08-22 Intuitive Surgical Operations, Inc. Cooled chokes for ablation systems and methods of use
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
CN113286552B (zh) 2018-11-28 2025-05-02 希斯托索尼克斯公司 组织摧毁术系统及方法
US11877806B2 (en) 2018-12-06 2024-01-23 Covidien Lp Deformable registration of computer-generated airway models to airway trees
US11045075B2 (en) * 2018-12-10 2021-06-29 Covidien Lp System and method for generating a three-dimensional model of a surgical site
US11617493B2 (en) 2018-12-13 2023-04-04 Covidien Lp Thoracic imaging, distance measuring, surgical awareness, and notification system and method
US11801113B2 (en) 2018-12-13 2023-10-31 Covidien Lp Thoracic imaging, distance measuring, and notification system and method
US11986257B2 (en) 2018-12-28 2024-05-21 Auris Health, Inc. Medical instrument with articulable segment
US11107213B2 (en) * 2018-12-28 2021-08-31 Biosense Webster (Israel) Ltd. Correcting medical scans
US11357593B2 (en) 2019-01-10 2022-06-14 Covidien Lp Endoscopic imaging with augmented parallax
US11625825B2 (en) 2019-01-30 2023-04-11 Covidien Lp Method for displaying tumor location within endoscopic images
US11564751B2 (en) 2019-02-01 2023-01-31 Covidien Lp Systems and methods for visualizing navigation of medical devices relative to targets
US11925333B2 (en) 2019-02-01 2024-03-12 Covidien Lp System for fluoroscopic tracking of a catheter to update the relative position of a target and the catheter in a 3D model of a luminal network
US11744643B2 (en) 2019-02-04 2023-09-05 Covidien Lp Systems and methods facilitating pre-operative prediction of post-operative tissue function
EP3930616B1 (en) 2019-02-26 2025-11-19 Intuitive Surgical Operations, Inc. Systems for registration of patient anatomy
EP3930615A1 (en) * 2019-02-28 2022-01-05 Koninklijke Philips N.V. Feedforward continuous positioning control of end-effectors
CN113766868A (zh) 2019-03-15 2021-12-07 直观外科手术操作公司 用于在医疗程序期间确定弯折和患者移动的系统
US12478444B2 (en) 2019-03-21 2025-11-25 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for localization based on machine learning
US11617627B2 (en) 2019-03-29 2023-04-04 Auris Health, Inc. Systems and methods for optical strain sensing in medical instruments
US11819285B2 (en) 2019-04-05 2023-11-21 Covidien Lp Magnetic interference detection systems and methods
US11701181B2 (en) * 2019-04-24 2023-07-18 Warsaw Orthopedic, Inc. Systems, instruments and methods for surgical navigation with verification feedback
US12178666B2 (en) 2019-07-29 2024-12-31 Augmedics Ltd. Fiducial marker
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US12089902B2 (en) 2019-07-30 2024-09-17 Coviden Lp Cone beam and 3D fluoroscope lung navigation
KR20220050151A (ko) 2019-08-15 2022-04-22 아우리스 헬스, 인코포레이티드 다수의 굽힘 섹션을 갖는 의료 장치
US12059281B2 (en) 2019-08-19 2024-08-13 Covidien Lp Systems and methods of fluoro-CT imaging for initial registration
US11269173B2 (en) 2019-08-19 2022-03-08 Covidien Lp Systems and methods for displaying medical video images and/or medical 3D models
EP4021329B1 (en) 2019-08-30 2025-12-10 Auris Health, Inc. Instrument image reliability systems and methods
US11207141B2 (en) 2019-08-30 2021-12-28 Auris Health, Inc. Systems and methods for weight-based registration of location sensors
EP4026479A4 (en) * 2019-09-03 2022-11-02 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM, MEDICAL IMAGE PROCESSING METHOD AND PROGRAM
US11864935B2 (en) 2019-09-09 2024-01-09 Covidien Lp Systems and methods for pose estimation of a fluoroscopic imaging device and for three-dimensional imaging of body structures
US11931111B2 (en) 2019-09-09 2024-03-19 Covidien Lp Systems and methods for providing surgical guidance
WO2021047779A1 (de) * 2019-09-12 2021-03-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und vorrichtung zur bestimmung der form eines lichtwellenleiters sowie vorrichtung zur erzeugung von trainingsdaten für ein neuronales netz
US11627924B2 (en) 2019-09-24 2023-04-18 Covidien Lp Systems and methods for image-guided navigation of percutaneously-inserted devices
CN110710950B (zh) * 2019-11-01 2020-11-10 东南大学苏州医疗器械研究院 内窥镜支气管左右管腔的判断方法及装置、内窥镜系统
EP3824839A1 (en) * 2019-11-19 2021-05-26 Koninklijke Philips N.V. Robotic positioning of a device
US11871904B2 (en) * 2019-11-08 2024-01-16 Covidien Ag Steerable endoscope system with augmented view
WO2021092116A1 (en) * 2019-11-08 2021-05-14 Intuitive Surgical Operations, Inc. Systems for registering an instrument to an image using change in instrument position data
US20220392087A1 (en) * 2019-11-08 2022-12-08 Intuitive Surgical Operations, Inc. Systems and methods for registering an instrument to an image using point cloud data
US11527002B2 (en) * 2019-12-05 2022-12-13 Biosense Webster (Israel) Ltd. Registration of an image with a tracking system
US12102298B2 (en) 2019-12-10 2024-10-01 Covidien Lp Lymphatic system tracking
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US12383341B2 (en) * 2019-12-30 2025-08-12 Intuitive Surgical Operations, Inc. Systems and methods for automatically generating an anatomical boundary
CN114929148B (zh) 2019-12-31 2024-05-10 奥瑞斯健康公司 用于经皮进入的对准界面
CN114901188B (zh) 2019-12-31 2026-02-17 奥瑞斯健康公司 动态滑轮系统
KR20220123273A (ko) 2019-12-31 2022-09-06 아우리스 헬스, 인코포레이티드 해부학적 특징부 식별 및 표적설정
EP4084720A4 (en) 2019-12-31 2024-01-17 Auris Health, Inc. ALIGNMENT TECHNIQUES FOR PERCUTANEOUS ACCESS
US11847730B2 (en) 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US20230138666A1 (en) * 2020-01-24 2023-05-04 Memorial Sloan Kettering Cancer Center Intraoperative 2d/3d imaging platform
US11380060B2 (en) 2020-01-24 2022-07-05 Covidien Lp System and method for linking a segmentation graph to volumetric data
WO2021155026A1 (en) 2020-01-28 2021-08-05 The Regents Of The University Of Michigan Systems and methods for histotripsy immunosensitization
CN111281544B (zh) * 2020-02-26 2023-05-12 陕西中医药大学 体内医疗器械自动引导机器人系统及其自动引导方法
CN115244442B (zh) 2020-03-13 2026-01-13 直观外科手术操作公司 连接器接口的对准
EP4635444A3 (en) * 2020-03-24 2025-12-31 Intuitive Surgical Operations, Inc. Systems and methods for registering an instrument to an image using point cloud data and endoscopic image data
US11737663B2 (en) 2020-03-30 2023-08-29 Auris Health, Inc. Target anatomical feature localization
CN115916023B (zh) * 2020-04-09 2026-04-10 奥林巴斯株式会社 内窥镜插入辅助装置、方法及存储有程序的非暂态计算机可读介质
WO2021207264A2 (en) 2020-04-10 2021-10-14 Intuitive Surgical Operations, Inc. Flexible instruments with patterned antenna assemblies having variable recoverable flexibility
US12064191B2 (en) 2020-06-03 2024-08-20 Covidien Lp Surgical tool navigation using sensor fusion
US11701492B2 (en) 2020-06-04 2023-07-18 Covidien Lp Active distal tip drive
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
JP2023530477A (ja) 2020-06-18 2023-07-18 ヒストソニックス，インコーポレーテッド 組織破砕音響／患者結合システムおよび方法
US11950950B2 (en) 2020-07-24 2024-04-09 Covidien Lp Zoom detection and fluoroscope movement detection for target overlay
CN115803798A (zh) * 2020-07-29 2023-03-14 直观外科手术操作公司 用于训练用户以操作遥操作系统的系统和方法
US12256923B2 (en) 2020-08-13 2025-03-25 Covidien Lp Endoluminal robotic systems and methods for suturing
US12383352B2 (en) 2020-08-13 2025-08-12 Covidien Lp Endoluminal robotic (ELR) systems and methods
EP4204084A4 (en) 2020-08-27 2024-10-09 The Regents Of The University Of Michigan ULTRASONIC TRANSDUCER WITH TRANSMIT-RECEIVE CAPABILITY FOR HISTOTRIPSY
US12239385B2 (en) 2020-09-09 2025-03-04 Augmedics Ltd. Universal tool adapter
US12502163B2 (en) 2020-09-09 2025-12-23 Augmedics Ltd. Universal tool adapter for image-guided surgery
US12161309B2 (en) 2020-09-24 2024-12-10 Covidien Lp Articulating mechanism for the laparoscopic ablation device for blunt dissection
CN112294236B (zh) * 2020-10-14 2022-03-25 北京大学 内窥镜前端弯曲部形态检测系统及其检测方法
CN116472003A (zh) 2020-11-11 2023-07-21 直观外科手术操作公司 非对称柔性装置的张力控制
CN116507261B (zh) * 2020-11-17 2026-01-16 富士胶片株式会社 处理器装置、处理器装置的工作方法、非临时性的计算机可读介质及内窥镜系统
EP4251083A1 (en) 2020-11-30 2023-10-04 Intuitive Surgical Operations, Inc. Systems for retracting and adjusting elongate flexible devices and associated methods
CN116848569A (zh) * 2020-12-01 2023-10-03 直观外科手术操作公司 生成虚拟现实引导的系统和方法
CN112741692B (zh) * 2020-12-18 2021-12-14 上海卓昕医疗科技有限公司 实现将器件导航至目标组织位置的快速导航方法及系统
CN112741689B (zh) * 2020-12-18 2022-03-18 上海卓昕医疗科技有限公司 应用光扫描部件来实现导航的方法及系统
US12156704B2 (en) * 2020-12-30 2024-12-03 Canon U.S.A., Inc. Intraluminal navigation using ghost instrument information
US12594126B2 (en) * 2020-12-30 2026-04-07 Canon U.S.A., Inc. Intraluminal navigation using virtual satellite targets
CN215192193U (zh) * 2020-12-31 2021-12-17 杭州堃博生物科技有限公司 体内导航装置、体内导航系统与医疗处理系统
US12295678B2 (en) 2021-02-08 2025-05-13 Medtronic Navigation, Inc. Systems and methods for intraoperative re-registration
DE102021103411A1 (de) 2021-02-12 2022-08-18 Aesculap Ag Chirurgisches Assistenzsystem und Darstellungsverfahren
CN116940284A (zh) 2021-03-10 2023-10-24 直观外科手术操作公司 用于配准术中图像数据的系统和方法
WO2022216716A1 (en) 2021-04-07 2022-10-13 Intuitive Surgical Operations, Inc. Systems, methods and medium containing instruction for connecting model structures representing anatomical pathways
US20240169480A1 (en) 2021-04-08 2024-05-23 Intuitive Surgical Operations, Inc. Systems for image resampling and associated methods
WO2022233201A1 (en) * 2021-05-06 2022-11-10 Precision Robotics (Hong Kong) Limited Method, equipment and storage medium for navigating a tubular component in a multifurcated channel
US20240238049A1 (en) 2021-05-11 2024-07-18 Intuitive Surgical Operations, Inc. Medical instrument guidance systems and associated methods
IL308943A (en) 2021-06-07 2024-01-01 Univ Michigan Regents All-inclusive ultrasound systems and methods that include histotripsy
EP4351718A4 (en) 2021-06-07 2025-03-26 The Regents of The University of Michigan MINIMALLY INVASIVE HISTOTRIPSY METHODS AND SYSTEMS
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US12426957B2 (en) * 2021-07-07 2025-09-30 Canon U.S.A., Inc. Bendable medical device with multiple position sensors
US12150821B2 (en) 2021-07-29 2024-11-26 Augmedics Ltd. Rotating marker and adapter for image-guided surgery
US12475662B2 (en) 2021-08-18 2025-11-18 Augmedics Ltd. Stereoscopic display and digital loupe for augmented-reality near-eye display
US12345924B2 (en) 2021-08-18 2025-07-01 Intuitive Surgical Operations, Inc. Systems and methods for optical fiber alignment
US12365092B2 (en) 2021-08-23 2025-07-22 Intuitive Surgical Operations, Inc. Optical registration in a computer-aided system
CN113616333B (zh) * 2021-09-13 2023-02-10 上海微创微航机器人有限公司 导管运动辅助方法、导管运动辅助系统及可读存储介质
US12307581B2 (en) 2021-09-28 2025-05-20 Intuitive Surgical Operations, Inc. Elongate device references for image-guided procedures
EP4408327A1 (en) 2021-09-28 2024-08-07 Intuitive Surgical Operations, Inc. Navigation assistance for an instrument
US20240324870A1 (en) 2021-10-08 2024-10-03 Intuitive Surgical Operations, Inc. Medical instrument guidance systems, including guidance systems for percutaneous nephrolithotomy procedures, and associated devices and methods
CN114288523B (zh) * 2021-12-24 2025-01-28 杭州堃博生物科技有限公司 柔性器械的检测方法、装置、手术系统、设备与介质
US12303220B2 (en) 2022-01-26 2025-05-20 Covidien Lp Autonomous endobronchial access with an EM guided catheter
JP7354333B1 (ja) * 2022-03-25 2023-10-02 Ｎｉｓｓｈａ株式会社 センサ付きフード及び内視鏡
WO2023203521A1 (en) 2022-04-21 2023-10-26 Augmedics Ltd. Systems and methods for medical image visualization
CN114869465B (zh) * 2022-05-10 2025-09-19 上海卓昕医疗科技有限公司 一种导航系统、使用方法及医疗导航系统
US12558164B2 (en) 2022-05-27 2026-02-24 Covidien Lp Creating a navigation pathway to a target in the lung and method of navigating to the target
US12257082B2 (en) 2022-06-30 2025-03-25 Covidien Lp Cone beam computed tomography integration for creating a navigation pathway to a target in the lung and method of navigating to the target
CN115444572B (zh) * 2022-08-10 2025-06-24 上海优医基医学科技有限公司 柔性器械控制方法、系统、电子设备、存储介质及机器人
JP7742079B2 (ja) * 2022-08-26 2025-09-19 富士フイルム株式会社 画像処理装置及びその作動方法並びに内視鏡システム
TWI810054B (zh) * 2022-09-02 2023-07-21 財團法人工業技術研究院 內視鏡導航方法及系統
JP2025531829A (ja) 2022-09-13 2025-09-25 オーグメディックス リミテッド 画像誘導医療介入のための拡張現実アイウェア
CN116071525B (zh) * 2023-01-16 2026-02-24 北京联影智融医疗科技有限公司 配准方法、配准系统、导航信息确定方法和导航系统
AU2023366591A1 (en) 2022-10-28 2025-04-24 Histosonics, Inc. Histotripsy systems and methods
WO2024163533A1 (en) 2023-02-01 2024-08-08 Intuitive Surgical Operations, Inc. Elongate device extraction from intraoperative images
WO2024178047A1 (en) 2023-02-23 2024-08-29 Intuitive Surgical Operations, Inc. Tool based flexible elongate device control
WO2024186659A1 (en) 2023-03-06 2024-09-12 Intuitive Surgical Operations, Inc. Generation of high resolution medical images using a machine learning model
WO2024206262A1 (en) 2023-03-27 2024-10-03 Intuitive Surgical Operations, Inc. Insertable tool identification for flexible elongate devices
WO2024221001A2 (en) 2023-04-20 2024-10-24 Histosonics, Inc. Histotripsy systems and associated methods including user interfaces and workflows for treatment planning and therapy
CN118830920A (zh) * 2023-04-23 2024-10-25 深圳市精锋医疗科技股份有限公司 导航设备、导航方法和可读存储介质
EP4704668A1 (en) 2023-05-03 2026-03-11 Intuitive Surgical Operations, Inc. Pullwire slack detection and adjustment for flexible elongate devices
EP4470459A1 (en) * 2023-05-23 2024-12-04 FBGS Technologies GmbH Position determination of an elongated medical device taking into account confinement
WO2025019569A1 (en) 2023-07-18 2025-01-23 Intuitive Surgical Operations, Inc. Intra-operative imaging to robotic-assisted navigation
WO2025030175A1 (en) 2023-08-03 2025-02-06 Intuitive Surgical Operations, Inc. Flexible elongate device articulation control based on tool insertion distance
CN121713212A (zh) 2023-08-18 2026-03-20 直观外科手术操作公司 基于图集的医疗过程规划和导航
CN121772891A (zh) 2023-08-31 2026-03-31 直观外科手术操作公司 用于抑制系统部件的反向驱动的有条件制动器接合
WO2025054381A1 (en) 2023-09-08 2025-03-13 Intuitive Surgical Operations, Inc. Style transfer for intraoperative imaging
WO2025054377A1 (en) 2023-09-08 2025-03-13 Intuitive Surgical Operations, Inc. In-painting and target update for intraoperative imaging
WO2025064464A1 (en) 2023-09-21 2025-03-27 Intuitive Surgical Operations, Inc. Medical tool with signal window and methods of use
WO2025076034A1 (en) 2023-10-02 2025-04-10 Intuitive Surgical Operations, Inc. Restoring the state of systems after a system restart
WO2025122446A1 (en) 2023-12-04 2025-06-12 Intuitive Surgical Operations, Inc. Fluidics assemblies and related medical systems
WO2025160225A1 (en) 2024-01-23 2025-07-31 Intuitive Surgical Operations, Inc. Tool insertion position sensing
WO2025171214A2 (en) 2024-02-09 2025-08-14 Intuitive Surgical Operations, Inc. Directional filter and/or translational constraints for coordinate registration
WO2026024697A1 (en) 2024-07-22 2026-01-29 Intuitive Surgical Operations, Inc. Detection, handling, and resolution of unintended bending for flexible elongate device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000009502A (ja) * 1998-06-26 2000-01-14 Mitsubishi Electric Corp 流量制御弁の流量測定装置
JP2003245273A (ja) * 2001-12-19 2003-09-02 Koninkl Philips Electronics Nv 脈管系における位置確認を支援する方法

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5765561A (en) 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
US5728044A (en) * 1995-03-10 1998-03-17 Shan; Yansong Sensor device for spacial imaging of endoscopes
US5797849A (en) 1995-03-28 1998-08-25 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
US6246898B1 (en) 1995-03-28 2001-06-12 Sonometrics Corporation Method for carrying out a medical procedure using a three-dimensional tracking and imaging system
US6346940B1 (en) * 1997-02-27 2002-02-12 Kabushiki Kaisha Toshiba Virtualized endoscope system
US6256090B1 (en) 1997-07-31 2001-07-03 University Of Maryland Method and apparatus for determining the shape of a flexible body
US20020095175A1 (en) 1998-02-24 2002-07-18 Brock David L. Flexible instrument
US8600551B2 (en) 1998-11-20 2013-12-03 Intuitive Surgical Operations, Inc. Medical robotic system with operatively couplable simulator unit for surgeon training
US6468265B1 (en) 1998-11-20 2002-10-22 Intuitive Surgical, Inc. Performing cardiac surgery without cardioplegia
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US6522906B1 (en) 1998-12-08 2003-02-18 Intuitive Surgical, Inc. Devices and methods for presenting and regulating auxiliary information on an image display of a telesurgical system to assist an operator in performing a surgical procedure
US6556695B1 (en) * 1999-02-05 2003-04-29 Mayo Foundation For Medical Education And Research Method for producing high resolution real-time images, of structure and function during medical procedures
US8944070B2 (en) * 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US8442618B2 (en) 1999-05-18 2013-05-14 Mediguide Ltd. Method and system for delivering a medical device to a selected position within a lumen
JP4885388B2 (ja) 2001-09-25 2012-02-29 オリンパス株式会社 内視鏡挿入方向検出方法
DE10210648A1 (de) 2002-03-11 2003-10-02 Siemens Ag Verfahren zur Erfassung und Darstellung eines in ein zu untersuchendes oder behandelndes Hohlraumorgan eines Patienten eingeführten medizinischen Instruments
EP1499235B1 (en) 2002-04-17 2016-08-17 Covidien LP Endoscope structures and techniques for navigating to a target in branched structure
US7998062B2 (en) 2004-03-29 2011-08-16 Superdimension, Ltd. Endoscope structures and techniques for navigating to a target in branched structure
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
EP2460474B1 (en) * 2003-05-08 2015-12-16 Hitachi Medical Corporation Reference image display method for ultrasonography and ultrasonic diagnosis apparatus
US7822461B2 (en) * 2003-07-11 2010-10-26 Siemens Medical Solutions Usa, Inc. System and method for endoscopic path planning
US7398116B2 (en) 2003-08-11 2008-07-08 Veran Medical Technologies, Inc. Methods, apparatuses, and systems useful in conducting image guided interventions
EP2316328B1 (en) 2003-09-15 2012-05-09 Super Dimension Ltd. Wrap-around holding device for use with bronchoscopes
WO2005041761A1 (ja) * 2003-10-31 2005-05-12 Olympus Corporation 挿入支援システム
EP2649931B1 (en) * 2003-12-05 2017-02-01 Olympus Corporation Display processing device
EP1691666B1 (en) 2003-12-12 2012-05-30 University of Washington Catheterscope 3d guidance and interface system
JP4343723B2 (ja) * 2004-01-30 2009-10-14 オリンパス株式会社 挿入支援システム
ATE523141T1 (de) 2004-02-17 2011-09-15 Philips Electronics Ltd Verfahren und vorrichtung zur registrierung, verifizierung von und bezugnahme auf körperorgane(n)
DE102004011156A1 (de) 2004-03-08 2005-10-06 Siemens Ag Verfahren zur endoluminalen Bildgebung mit Bewegungskorrektur
US7772541B2 (en) * 2004-07-16 2010-08-10 Luna Innnovations Incorporated Fiber optic position and/or shape sensing based on rayleigh scatter
US7082183B2 (en) * 2004-07-21 2006-07-25 General Electric Company Computed tomography dose indexing phantom selection for dose reporting
JP4578942B2 (ja) * 2004-11-10 2010-11-10 オリンパス株式会社 内視鏡形状検出装置
US8611983B2 (en) * 2005-01-18 2013-12-17 Philips Electronics Ltd Method and apparatus for guiding an instrument to a target in the lung
US7889905B2 (en) 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
US7756563B2 (en) * 2005-05-23 2010-07-13 The Penn State Research Foundation Guidance method based on 3D-2D pose estimation and 3D-CT registration with application to live bronchoscopy
US20090149703A1 (en) * 2005-08-25 2009-06-11 Olympus Medical Systems Corp. Endoscope insertion shape analysis apparatus and endoscope insertion shape analysis system
WO2007033379A2 (en) 2005-09-14 2007-03-22 Neoguide Systems, Inc. Methods and apparatus for performing transluminal and other procedures
AU2006302057B2 (en) * 2005-10-11 2013-03-21 Carnegie Mellon University Sensor guided catheter navigation system
US7930065B2 (en) 2005-12-30 2011-04-19 Intuitive Surgical Operations, Inc. Robotic surgery system including position sensors using fiber bragg gratings
US9186046B2 (en) 2007-08-14 2015-11-17 Koninklijke Philips Electronics N.V. Robotic instrument systems and methods utilizing optical fiber sensor
US8989528B2 (en) 2006-02-22 2015-03-24 Hansen Medical, Inc. Optical fiber grating sensors and methods of manufacture
IL181470A (en) * 2006-02-24 2012-04-30 Visionsense Ltd Method and system for navigation within a flexible organ in the human body
US8199984B2 (en) * 2006-05-02 2012-06-12 National University Corporation Nagoya University System that assists in observing a luminal organ using the structure of the luminal organ
WO2007137208A2 (en) * 2006-05-19 2007-11-29 Neoguide Systems, Inc. Methods and apparatus for displaying three-dimensional orientation of a steerable distal tip of an endoscope
US20070293792A1 (en) * 2006-06-15 2007-12-20 Sliwa John W Prostate BPH and tumor detector also useable on other tissues
WO2008005953A2 (en) 2006-06-30 2008-01-10 Broncus Technologies, Inc. Airway bypass site selection and treatment planning
US10279196B2 (en) * 2006-09-28 2019-05-07 Accuray Incorporated Radiation treatment planning using four-dimensional imaging data
CN100435735C (zh) * 2006-09-30 2008-11-26 南方医科大学 一种人体骨科手术导航系统
US7996060B2 (en) 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
WO2008125910A2 (en) 2006-11-10 2008-10-23 Superdimension, Ltd. Adaptive navigation technique for navigating a catheter through a body channel or cavity
WO2008097853A2 (en) 2007-02-02 2008-08-14 Hansen Medical, Inc. Mounting support assembly for suspending a medical instrument driver above an operating table
US8903546B2 (en) * 2009-08-15 2014-12-02 Intuitive Surgical Operations, Inc. Smooth control of an articulated instrument across areas with different work space conditions
WO2008155738A2 (en) * 2007-06-21 2008-12-24 Koninklijke Philips Electronics N.V. Adjusting acquisition protocols for dynamic medical imaging using dynamic models
US8657757B2 (en) 2007-07-26 2014-02-25 Pulmone Advanced Medical Devices, Ltd. System and methods for the measurement of lung volumes
JP5295555B2 (ja) * 2007-12-10 2013-09-18 オリンパスメディカルシステムズ株式会社 内視鏡システム
US20090163800A1 (en) * 2007-12-20 2009-06-25 Siemens Corporate Research, Inc. Tools and methods for visualization and motion compensation during electrophysiology procedures
US20090177089A1 (en) * 2008-01-04 2009-07-09 Assaf Govari Three-dimensional image reconstruction using doppler ultrasound
WO2009097461A1 (en) 2008-01-29 2009-08-06 Neoguide Systems Inc. Apparatus and methods for automatically controlling an endoscope
US9161817B2 (en) * 2008-03-27 2015-10-20 St. Jude Medical, Atrial Fibrillation Division, Inc. Robotic catheter system
US20100152600A1 (en) 2008-04-03 2010-06-17 Kai Sensors, Inc. Non-contact physiologic motion sensors and methods for use
US20090281452A1 (en) * 2008-05-02 2009-11-12 Marcus Pfister System and method for a medical procedure using computed tomography
JP5188879B2 (ja) * 2008-05-23 2013-04-24 オリンパスメディカルシステムズ株式会社 医療機器
JP5372407B2 (ja) * 2008-05-23 2013-12-18 オリンパスメディカルシステムズ株式会社 医療機器
US8218847B2 (en) * 2008-06-06 2012-07-10 Superdimension, Ltd. Hybrid registration method
US7720322B2 (en) 2008-06-30 2010-05-18 Intuitive Surgical, Inc. Fiber optic shape sensor
US20100063401A1 (en) * 2008-09-09 2010-03-11 Olympus Medical Systems Corp. Ultrasound endoscope system and ultrasound observation method
RU2011120186A (ru) * 2008-10-20 2012-11-27 Конинклейке Филипс Электроникс, Н.В. Способ и система локализации на основе изображений
US10004387B2 (en) 2009-03-26 2018-06-26 Intuitive Surgical Operations, Inc. Method and system for assisting an operator in endoscopic navigation
KR101764438B1 (ko) * 2009-03-26 2017-08-02 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 하나 이상의 랜드마크를 향해 내시경 디바이스의 팁을 조종하고 운전자의 내시경 길찾기를 돕기 위한 시각적 안내를 제공하는 시스템
US8337397B2 (en) * 2009-03-26 2012-12-25 Intuitive Surgical Operations, Inc. Method and system for providing visual guidance to an operator for steering a tip of an endoscopic device toward one or more landmarks in a patient
EP2236104B1 (de) * 2009-03-31 2013-06-19 BrainLAB AG Medizintechnische Navigations-Bildausgabe mit virtuellen Primärbildern und realen Sekundärbildern
US20110015648A1 (en) 2009-07-16 2011-01-20 Hansen Medical, Inc. Endoscopic robotic catheter system
JP2013517909A (ja) * 2010-01-28 2013-05-20 ザ ペン ステイト リサーチ ファンデーション 気管支鏡検査法ガイダンスに適用される画像ベースのグローバル登録
US8668638B2 (en) * 2010-02-11 2014-03-11 Intuitive Surgical Operations, Inc. Method and system for automatically maintaining an operator selected roll orientation at a distal tip of a robotic endoscope
JP4728456B1 (ja) * 2010-02-22 2011-07-20 オリンパスメディカルシステムズ株式会社 医療機器
US10264947B2 (en) * 2010-08-20 2019-04-23 Veran Medical Technologies, Inc. Apparatus and method for airway registration and navigation
US20120099768A1 (en) * 2010-10-20 2012-04-26 Medtronic Navigation, Inc. Method and Apparatus for Reconstructing Image Projections
US8827934B2 (en) 2011-05-13 2014-09-09 Intuitive Surgical Operations, Inc. Method and system for determining information of extrema during expansion and contraction cycles of an object

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000009502A (ja) * 1998-06-26 2000-01-14 Mitsubishi Electric Corp 流量制御弁の流量測定装置
JP2003245273A (ja) * 2001-12-19 2003-09-02 Koninkl Philips Electronics Nv 脈管系における位置確認を支援する方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
일본 공표특허공보 특표2003-509145호(2003.03.11.) 1부. *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180000733A (ko) * 2015-05-22 2018-01-03 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내 수술에서의 상관 보상의 시스템 및 방법
KR20230082051A (ko) * 2016-12-28 2023-06-08 아우리스 헬스, 인코포레이티드 가요성 기구 삽입을 위한 장치
KR20190041902A (ko) * 2017-10-13 2019-04-23 한양대학교 산학협력단 인공지능 기반의 자동 삽관 장치 및 그 구동 방법
WO2019074331A3 (ko) * 2017-10-13 2019-06-27 한양대학교 산학협력단 인공지능 기반의 자동 삽관 장치 및 그 구동 방법
US12582485B2 (en) 2017-12-14 2026-03-24 Auris Health, Inc. Multiple-input instrument position determination

Also Published As

Publication number Publication date
KR101930774B1 (ko) 2018-12-19
CN105919547B (zh) 2018-05-22
CN103648361B (zh) 2016-12-07
WO2012158324A3 (en) 2013-01-17
EP3058889A1 (en) 2016-08-24
US20120289777A1 (en) 2012-11-15
EP3058889B1 (en) 2017-11-29
EP2709512A4 (en) 2016-04-27
EP2709512B1 (en) 2017-08-30
CN105919547A (zh) 2016-09-07
CN103648361A (zh) 2014-03-19
WO2012158324A2 (en) 2012-11-22
US20150148690A1 (en) 2015-05-28
EP2709512A2 (en) 2014-03-26
US8900131B2 (en) 2014-12-02

Similar Documents

Publication Publication Date Title
KR101930774B1 (ko) 영상유도수술을 위해 해부학적 구조의 모델을 동적으로 등록시키는 의료 시스템
US12053144B2 (en) Robotic systems for navigation of luminal networks that compensate for physiological noise
US12285223B2 (en) Systems and methods of registration for image-guided surgery
US20250391026A1 (en) Systems and methods of registration for image-guided surgery
US20230190244A1 (en) Biopsy apparatus and system
US8827934B2 (en) Method and system for determining information of extrema during expansion and contraction cycles of an object

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R17-X000 Change to representative recorded

St.27 status event code: A-5-5-R10-R17-oth-X000

FPAY Annual fee payment

Payment date: 20211201

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20221205

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 8