KR20140112207A - 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템 - Google Patents

증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템 Download PDF

Info

Publication number
KR20140112207A
KR20140112207A KR1020130026615A KR20130026615A KR20140112207A KR 20140112207 A KR20140112207 A KR 20140112207A KR 1020130026615 A KR1020130026615 A KR 1020130026615A KR 20130026615 A KR20130026615 A KR 20130026615A KR 20140112207 A KR20140112207 A KR 20140112207A
Authority
KR
South Korea
Prior art keywords
image
augmented reality
camera
patient
surgical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020130026615A
Other languages
English (en)
Inventor
이희국
황원준
노경식
최정연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130026615A priority Critical patent/KR20140112207A/ko
Priority to US14/132,782 priority patent/US9767608B2/en
Publication of KR20140112207A publication Critical patent/KR20140112207A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/37—Leader-follower robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/00149—Holding or positioning arrangements using articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/7445—Display arrangements, e.g. multiple display units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/92—Identification means for patients or instruments, e.g. tags coded with colour
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Urology & Nephrology (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Endoscopes (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Pulmonology (AREA)

Abstract

증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템이 개시된다.
수술 로봇 시스템의 일 실시 예는 환자에게 수술 동작을 수행하는 슬레이브 시스템, 상기 슬레이브 시스템의 수술 동작을 제어하는 마스터 시스템, 환자 신체 내부에 대한 가상 영상을 생성하는 영상 시스템 및 환자 신체 또는 인체 모형에 부착된 복수의 마커를 포함하는 실제 영상을 획득하는 카메라, 상기 실제 영상에서 복수의 마커를 검출하고, 검출된 복수의 마커를 이용하여 카메라의 위치 및 주시 방향을 추정한 후, 상기 가상 영상 중 추정된 카메라의 위치 및 주시 방향에 대응되는 부위를 상기 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성하는 증강현실 영상 생성부 및 상기 증강현실 영상을 표시하는 디스플레이를 포함하는 증강현실 영상 표시 시스템을 포함한다.

Description

증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템{Augmented reality imaging display system and surgical robot system comprising the same}
증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템이 개시된다. 더욱 상세하게는, 사용자의 시선 이동에 따라 대응되는 부위의 가상 영상이 실시간으로 디스플레이되는 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템이 개시된다.
최소 침습 수술(Minimal Invasive Surgery)이란 환부의 크기를 최소화하는 수술을 통칭한다. 최소 침습 수술은 인체의 일부(예: 복부)에 큰 절개창을 열고 시행하는 개복 수술과는 달리, 인체에 0.5㎝∼1.5㎝ 크기의 적어도 하나의 절개공(또는 침습구)을 형성하고, 이 절개공을 통해 내시경과 각종 수술도구들을 넣은 후 영상을 보면서 시행하는 수술 방법이다.
이러한 최소 침습 수술은 개복 수술과는 달리 수술 후 통증이 적고, 장운동의 조기 회복 및 음식물의 조기 섭취가 가능하며 입원 기간이 짧고 정상 상태로의 복귀가 빠르며 절개 범위가 좁아 미용 효과가 우수하다는 장점을 갖는다. 이와 같은 장점으로 인하여 최소 침습 수술은 담낭 절제술, 전립선암 수술, 탈장 교정술 등에 사용되고 있고 그 분야를 점점 더 넓혀가고 있는 추세이다.
일반적으로 최소 침습 수술에 이용되는 수술 로봇은 마스터 장치와 슬레이브 장치를 포함한다. 마스터 장치는 의사의 조작에 따른 제어신호를 생성하여 슬레이브 장치로 전송하고, 슬레이브 장치는 마스터 장치로부터 제어신호를 수신하여 수술에 필요한 조작을 환자에게 가하게 되며, 마스터 장치와 슬레이브 장치를 통합하여 구성하거나, 각각 별도의 장치로 구성하여 수술실에 배치한 상태에서 수술을 진행하고 있다.
슬레이브 장치는 적어도 하나 이상의 로봇 암을 구비하며, 각 로봇 암의 단부에는 수술 기구(surgical instruments)가 장착되는데, 이때, 수술 기구 말단부에는 수술 도구(surgical tool)가 장착되어 있다.
이와 같은 수술 로봇을 이용한 최소 침습 수술은 슬레이브 장치의 수술 도구(surgical tool) 및 수술 도구가 장착된 수술 기구(surgical instruments)가 환자의 인체 내부로 진입하여 필요한 시술이 행해지게 되는데 이때, 수술 도구 및 수술 기구가 인체 내부로 진입한 이후에는 수술 도구 중 하나인 내시경을 통하여 수집된 이미지로부터 내부 상황을 확인하고, 환자의 수술 전 의료 영상(예, CT, MRI 등)은 참고적인 보조 영상으로 이용하고 있다.
환자 신체 내부를 직관적으로 관찰할 수 있는 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템을 제공하는 것이다.
수술 로봇 시스템의 일 실시 예는 환자에게 수술 동작을 수행하는 슬레이브 시스템, 상기 슬레이브 시스템의 수술 동작을 제어하는 마스터 시스템, 환자 신체 내부에 대한 가상 영상을 생성하는 영상 시스템 및 환자 신체 또는 인체 모형에 부착된 복수의 마커를 포함하는 실제 영상을 획득하는 카메라, 상기 실제 영상에서 복수의 마커를 검출하고, 검출된 복수의 마커를 이용하여 카메라의 위치 및 주시 방향을 추정한 후, 상기 가상 영상 중 추정된 카메라의 위치 및 주시 방향에 대응되는 부위를 상기 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성하는 증강현실 영상 생성부 및 상기 증강현실 영상을 표시하는 디스플레이를 포함하는 증강현실 영상 표시 시스템을 포함한다.
또한, 증강현실 영상 표시 시스템의 일 실시 예는 환자 신체 또는 인체 모형에 부착된 복수의 마커를 포함하는 실제 영상을 획득하는 카메라, 상기 실제 영상에서 복수의 마커를 검출하고, 검출된 복수의 마커를 이용하여 카메라의 위치 및 주시 방향을 추정한 후, 추정된 위치 및 주시 방향에 대응되는 부위의 가상 영상을 상기 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성하는 증강현실 영상 생성부 및 상기 증강현실 영상을 표시하는 디스플레이를 포함한다.
도 1은 수술 로봇 시스템의 외관 구조를 도시한 도면이다.
도 2는 수술 로봇 시스템의 구성요소를 개략적으로 도시한 블럭도이다.
도 3은 수술 보조자가 증강현실 영상 표시 시스템을 장착한 형상을 도시한 도면이다.
도 4는 환자 신체에 마커를 부착한 예를 도시한 도면이다.
도 5는 인체 모형에 마커를 부착한 예를 도시한 도면이다.
도 6 및 도 7은 각각 카메라의 주시 방향에 따른 증강현실 영상을 도시한 도면이다.
도 8 및 도 9는 각각 카메라와 마커와의 거리에 비례하여 축소 또는 확대된 가상 영상이 합성된 증강현실 영상을 도시한 도면이다.
도 10은 도 9에서 카메라가 마커와의 거리는 유지한 채 이동한 경우의 증강현실 영상을 도시한 도면이다.
도 11은 내시경을 통해 획득한 수술 부위 영상 및 실제 수술 도구와 가상 수술 도구가 생성된 증강현실 영상을 도시한 도면이다.
본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시 예들로부터 더욱 명백해질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서에서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 실시 예를 상세히 설명하기로 한다.
도 1은 수술 로봇 시스템의 외관 구조를 도시한 도면이고, 도 2는 수술 로봇 시스템의 구성요소를 개략적으로 도시한 블럭도이다.
수술 로봇 시스템은 크게 수술대에 누워있는 환자(P)에게 수술을 행하는 슬레이브 시스템(200)과 조작자(예로써, 의사)(S)의 조작을 통해 슬레이브 시스템(200)을 원격 제어하는 마스터 시스템(100)을 포함할 수 있다. 이때, 조작자(S)를 보조할 보조자(A)가 환자(P) 측에 한 명 이상 위치할 수 있다.
여기에서, 조작자(S)를 보조한다는 것은 수술이 진행되는 동안 수술 작업을 보조하는 것으로, 예를 들어, 사용되는 수술 도구의 교체 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니다. 예를 들어, 수술 작업 종류에 따라 다양한 수술 도구가 사용될 수 있는데, 슬레이브 시스템(200)의 로봇 암(210)의 갯 수는 제한적이므로, 한 번에 장착될 수 있는 수술 도구의 갯 수 역시 제한적이다. 이에 따라, 수술 도중 수술 도구를 교체할 필요가 있는 경우, 조작자(S)는 환자(P) 측에 위치한 보조자(A)에게 수술 도구를 교체하도록 지시하고, 보조자(A)는 지시에 따라 슬레이브 시스템(200)의 로봇 암(210)으로부터 사용하지 않는 수술 도구를 제거하고, 트레이(T)에 놓인 다른 수술 도구(230′)를 해당 로봇 암(210)에 장착할 수 있다.
마스터 시스템(100)과 슬레이브 시스템(200)은 물리적으로 독립된 별도의 장치로 분리 구성될 수 있으나, 특별히 이에 한정되는 것은 아니며, 예로써 하나로 통합된 일체형 장치로 구성되는 것 역시 가능할 것이다.
도 1 및 도 2에 도시한 바와 같이, 마스터 시스템(100)은 입력부(110) 및 표시부(120)를 포함할 수 있다.
입력부(110)는 수술 로봇 시스템의 동작 모드를 선택하는 명령, 슬레이브 시스템(200)의 동작을 원격으로 제어하기 위한 명령 등을 조작자(S)로부터 입력받을 수 있는 구성을 의미하며, 본 실시 예에서 입력부(110)로 햅틱 디바이스, 클러치 페달, 스위치, 버튼 등이 사용될 수 있으나, 특별히 이에 한정되는 것은 아니며, 예로써 음성 인식 디바이스 등과 같은 구성도 사용될 수 있다. 이하 설명에서는 입력부(110)로, 햅틱 디바이스가 사용된 것을 예로 들어 설명하기로 한다.
도 1에서는 입력부(110)가 두 개의 핸들(111, 113)을 포함하는 것으로 도시하고 있으나, 이는 하나의 실시 예에 불과할 뿐, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 하나의 핸들을 포함할 수도 있고 또는 세 개 이상의 핸들을 포함하는 것 역시 가능할 것이다.
조작자(S)는 도 1과 같이, 양손으로 두 개의 핸들(111, 113)을 각각 조작하여 슬레이브 시스템(200)의 로봇 암(210)의 동작을 제어할 수 있다. 이때, 도 1에 자세하게 도시되지는 않았으나, 각각의 핸들(111, 113)은 엔드 이펙터, 복수의 링크 및 복수의 관절을 포함할 수 있다.
여기에서, 엔드 이펙터는 조작자(S)의 손이 직접적으로 접촉되는 부분으로, 펜슬 또는 스틱 형상을 가질 수 있으나, 그 형상이 특별히 이에 한정되는 것은 아니다.
관절은 링크와 링크의 연결 부위를 말하며, 1 자유도 이상을 가질 수 있다. 여기에서, "자유도(Degree Of Freedom:DOF)"란 기구학(Kinematics) 또는 역기구학(Inverse Kinematics)에서의 자유도를 말한다. 기구의 자유도란 기구의 독립적인 운동의 수, 또는 각 링크 간의 상대 위치의 독립된 운동을 결정하는 변수의 수를 말한다. 예를 들어, x축, y축, z축으로 이루어진 3차원 공간상의 물체는, 물체의 공간적인 위치를 결정하기 위한 3 자유도(각 축에서의 위치)와, 물체의 공간적인 자세를 결정하기 위한 3 자유도(각 축에서의 위치)와, 물체의 공간적인 자세를 결정하기 위한 3 자유도(각 축에 대한 회전 각도) 중에서 하나 이상의 자유도를 갖는다. 구체적으로, 물체가 각각의 축을 따라 이동 가능하고, 각각의 축을 기준으로 회전 가능하다고 한다면, 이 물체는 6 자유도를 갖는 것으로 이해될 수 있다.
또한, 관절에는 관절의 상태를 나타내는 상태 정보 예로써, 관절에 가해진 힘/토크 정보, 관절의 위치 정보 및 이동 속도 정보 등을 검출할 수 있는 검출부(미도시)가 마련될 수 있다. 이에 따라, 조작자(S)가 입력부(110)를 조작하면, 검출부(미도시)는 조작된 입력부(110)의 상태 정보를 검출할 수 있고, 제어부(130)는 제어 신호 생성부(131)를 이용하여 검출부(미도시)에 의해 검출된 입력부(110)의 상태 정보에 대응되는 제어 신호를 생성하고, 통신부(140)를 통해 슬레이브 시스템(200)으로 생성된 제어 신호를 전송할 수 있다. 즉, 마스터 시스템(100)의 제어부(130)는 제어 신호 생성부(131)를 이용하여 조작자(S)의 입력부(110) 조작에 따른 제어 신호를 생성하고, 생성된 제어 신호를 통신부(140)를 통하여 슬레이브 시스템(200)으로 전송할 수 있다.
마스터 시스템(100)의 표시부(120)에는 내시경(220)을 통해 수집된 환자(P) 신체 내부에 대한 실제 영상 및 환자의 수술 전 의료 영상에 대한 3차원 영상 등이 화상 이미지로 표시될 수 있다. 이를 위해, 마스터 시스템(100)은 슬레이브 시스템(200) 및 영상 시스템(300)으로부터 전송되는 영상 데이터를 입력받아 표시부(120)로 출력하기 위한 영상 처리부(133)를 포함할 수 있다. 여기에서, "영상 데이터"는 전술한 바와 같이, 내시경(220)을 통해 수집된 실제 영상, 환자의 수술 전 의료 영상을 이용하여 생성한 3차원 영상 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니다.
표시부(120)는 하나 이상의 모니터로 구성될 수 있으며, 각 모니터에 수술 시 필요한 정보들이 개별적으로 표시되도록 구현할 수 있다. 예를 들어, 표시부(120)가 세 개의 모니터로 구성된 경우, 이중 하나의 모니터에는 내시경(220)을 통해 수집된 실제 영상, 환자의 수술 전 의료 영상을 이용하여 생성한 3차원 영상 등이 표시되고, 다른 두 개의 모니터에는 각각 슬레이브 시스템(200)의 동작 상태에 관한 정보 및 환자 정보 등이 표시되도록 구현할 수 있다. 이때, 모니터의 수량은 표시를 요하는 정보의 유형이나 종류 등에 따라 다양하게 결정될 수 있다.
여기에서, "환자 정보"는 환자의 상태를 나타내는 정보일 수 있으며, 예를 들어, 체온, 맥박, 호흡 및 혈압 등과 같은 생체 정보일 수 있다. 이러한 생체 정보를 마스터 시스템(100)으로 제공하기 위해 후술할 슬레이브 시스템(200)은 체온 측정 모듈, 맥박 측정 모듈, 호흡 측정 모듈, 혈압 측정 모듈 등을 포함하는 생체 정보 측정 유닛을 더 포함할 수 있다. 이를 위해, 마스터 시스템(100)은 슬레이브 시스템(200)으로부터 전송되는 생체 정보를 입력받아 처리하여 표시부(120)로 출력하기 위한 신호 처리부(미도시)를 더 포함할 수 있다.
슬레이브 시스템(200)은 복수의 로봇 암(210), 로봇 암(210) 단부에 장착된 각종 수술 도구들(230)을 포함할 수 있다. 복수의 로봇 암(210)은 도 1에 도시한 바와 같이, 몸체(201)에 결합되어 고정 및 지지될 수 있다. 이때, 한 번에 사용되는 수술 도구(230)의 갯 수와 로봇 암(210)의 갯 수는 여러 가지 요인 중 진단법, 수술법 및 수술실 내의 공간적인 제약에 따라 좌우될 수 있다.
또한, 복수의 로봇 암(210)은 각각 복수의 링크(211) 및 복수의 관절(213)을 포함할 수 있으며, 각 관절(213)은 링크(211)와 링크(211)를 연결하고, 1 자유도(Degree Of Freedom:DOF) 이상을 가질 수 있다.
또한, 로봇 암(210)의 각 관절에는 마스터 시스템(100)으로부터 전송되는 제어 신호에 따라 로봇 암(210)의 움직임을 제어하기 위한 제1 구동부(215)가 마련될 수 있다. 예를 들어, 조작자(S)가 마스터 시스템(100)의 입력부(110)를 조작하면, 마스터 시스템(100)은 조작되는 입력부(110)의 상태 정보에 대응되는 제어 신호를 생성하여 슬레이브 시스템(200)으로 전송하고, 슬레이브 시스템(200)의 제어부(240)는 마스터 시스템(100)으로부터 전송된 제어 신호에 따라 제1 구동부(215)를 구동시킴으로써, 로봇 암(210)의 각 관절 움직임을 제어할 수 있다. 이때, 조작자(S)가 입력부(110)를 조작함에 따라 로봇 암(210)이 상응하는 방향으로 회전 및 이동하는 등에 대한 실질적인 제어 과정은 본 발명의 요지와 다소 거리감이 있으므로 이에 대한 구체적인 설명은 생략한다.
한편, 슬레이브 시스템(200)의 로봇 암(210)의 각 관절은 상술한 바와 같이, 마스터 시스템(100)으로부터 전송되는 제어 신호에 의해 움직이도록 구현할 수 있으나, 외력에 의해 움직이도록 구현하는 것도 가능하다. 즉, 수술대 근처에 위치한 보조자(A)가 수동으로 로봇 암(210)의 각 관절을 움직여 로봇 암(210)의 위치 등을 제어하도록 구현할 수 있다.
수술 도구들(230)은 도 1에 도시하지는 않았으나, 일 예로 로봇 암(210)의 단부에 장착되는 하우징 및 하우징으로부터 일정 길이로 연장되는 샤프트를 포함할 수 있다.
하우징에는 구동휠이 결합될 수 있고, 구동휠을 와이어 등을 통해 수술 도구들(230)과 연결되어 구동휠을 회전시킴으로써, 수술 도구들(230)을 동작시킬 수 있다. 이를 위해 로봇 암(210)의 단부에는 구동휠을 회전시키기 위한 제3 구동부(235)가 마련될 수 있다. 예를 들어, 조작자(S)가 마스터 시스템(100)의 입력부(110)를 조작하면, 마스터 시스템(100)은 조작되는 입력부(110)의 상태 정보에 대응되는 제어 신호를 생성하여 슬레이브 시스템(200)으로 전송하고, 슬레이브 시스템(200)의 제어부(240)는 마스터 시스템(100)으로부터 전송된 제어 신호에 따라 제3 구동부(235)를 구동시킴으로써, 수술 도구들(230)을 원하는 대로 동작시킬 수 있다. 다만, 수술 도구들(230)을 동작시키는 메커니즘이 반드시 전술한 것처럼 구성되어야하는 것은 아니며, 로봇 수술을 위해 수술 도구들(230)에 필요한 동작을 구현할 수 있는 다양한 전기적/기계적 메커니즘이 적용될 수 있음은 물론이다.
각종 수술 도구들(230)은 스킨 홀더, 석션(suction) 라인, 메스, 가위, 그래스퍼, 수술용 바늘, 바늘 홀더, 스테이플 어플라이어(staple applier), 절단 블레이드 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니며, 수술에 필요한 공지된 도구라면 어떤 것이든 사용 가능할 것이다.
일반적으로 수술 도구(230)는 크게 주 수술 도구 및 보조 수술 도구로 분류할 수 있다. 여기에서, "주 수술 도구"란 수술 부위에 대해 절개, 봉합, 응고, 세척 등과 같은 직접적인 수술 동작을 수행하는 도구(예: 메스, 수술용 바늘 등)를 의미할 수 있고, "보조 수술 도구"란 수술 부위에 대해 직접적인 수술 동작을 수행하는 것이 아닌 주 수술 도구의 동작을 보조하기 위한 수술 도구(예: 스킨 홀더 등)를 의미할 수 있다.
내시경(220) 역시 수술 부위에 직접적인 수술 동작을 행하는 것이 아닌 주 수술 도구의 동작을 보조하기 위해 사용되는 도구이므로 넓은 의미에서 내시경(220)도 보조 수술 도구에 해당하는 것으로 볼 수 있을 것이다. 내시경(220)으로는 로봇 수술에서 주로 사용되는 복강경뿐 아니라 흉강경, 관절경, 비경, 방광경, 직장경, 십이지장경, 심장경 등 다양한 수술용 내시경이 사용될 수 있다.
또한, 내시경(220)으로 CMOS(Complementary Metal-Oxide Semiconductor) 카메라 및 CCD(Charge Coupled Device) 카메라가 사용될 수 있으나, 특별히 이에 한정되는 것은 아니다. 또한, 내시경(220)은 수술 부위에 빛을 조사하기 위한 조명수단을 포함할 수 있다. 또한, 내시경(220)은 도 1에 도시한 바와 같이, 로봇 암(210)의 단부에 장착될 수 있으며, 슬레이브 시스템(200)은 내시경(220)을 동작시키기 위한 제2 구동부(225)를 더 포함할 수 있다. 또한, 슬레이브 시스템(200)의 제어부(240)는 내시경(220)을 이용하여 수집한 영상을 통신부(250)를 통해 마스터 시스템(100) 및 영상 시스템(300) 등으로 전송할 수 있다.
또한, 본 실시 예에 따른 슬레이브 시스템(200)은 도 2에 도시한 바와 같이, 수술 도구들(230)의 현재 위치를 검출하기 위한 위치 센서(211)를 포함할 수 있다. 이때, 위치 센서(211)로는 포텐쇼미터(Potentiometer), 엔코더(Encoder) 등이 사용될 수 있으나, 특별히 이에 한정되는 것은 아니다.
위치 센서(211)는 수술 도구들(230)이 장착된 로봇 암(210)의 각 관절에 마련될 수 있으며, 위치 센서(211)는 로봇 암(210) 각 관절의 움직임 상태에 대한 정보를 검출하고, 제어부(240)는 위치 센서(211)로부터 검출된 정보를 전달받아 위치 연산부(241)를 이용하여 수술 도구들(230)의 현재 위치를 연산할 수 있다. 이때, 위치 연산부(241)는 입력된 정보를 로봇 암의 기구학(Kinematics)에 적용함으로써, 수술 도구들(230)의 현재 위치를 산출할 수 있고, 여기에서, 산출된 현재 위치는 좌표값일 수 있다. 또한, 제어부(240)는 산출된 수술 도구의 위치 좌표값을 후술할 증강현실 영상 표시 시스템(400)으로 전송할 수 있다.
이와 같이, 수술 도구들(230)이 장착된 로봇 암(210)의 각 관절 상태를 검출하여 수술 도구들(230)의 현재 위치를 추정함으로써, 수술 도구들(230)이 내시경(220)의 시야 바깥쪽에 있거나, 내부 장기 등에 의해 내시경(220)의 시야 내에서 차단되는 경우에도 수술 도구들(230)의 위치를 추정하는 것이 용이하다.
또한, 도 1에 도시하지는 않았으나, 슬레이브 시스템(200)은 내시경(220)을 통해 수집된 환자 인체 내부의 수술 부위 영상을 표시할 수 있는 표시수단(미도시)을 더 포함할 수 있다.
영상 시스템(300)은 환자의 수술 전 의료 영상에 대한 3차원 영상 및 3차원 영상을 내시경(220)을 통해 수집된 영상에 투영시킨 가상 영상 등이 저장된 이미지 저장부(310)를 포함할 수 있다. 여기에서, "수술 전 의료 영상"이란 CT(Computed Tomography, 컴퓨터단층촬영검사) 영상, MRI(Magnetic Resonance Imaging, 자기공명) 영상, PET(Positron Emission Tomography, 양전자방출단층촬영술) 영상, SPECT(Single Photon Emission Computed Tomography, 단광자방출단층검사) 영상, US(Ultrasonography, 초음파촬영술) 영상 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니다.
이를 위해 영상 시스템(300)은 환자의 수술 전 의료 영상을 3차원 영상으로 변환하기 위한 3차원 영상 변환부(321) 및 슬레이브 시스템(200)으로부터 전송받은 내시경(220)을 통해 수집된 실제 영상에 3차원 영상을 투영시켜 가상 영상을 생성하는 가상 영상 생성부(323)를 포함할 수 있다.
구체적으로, 영상 시스템(300)의 제어부(320)는 환자별로 CT 또는 MRI 등의 수술 전 의료 영상이 구축된 의료 영상 DB로부터 의료 영상을 수신하고, 3차원 영상 변환부(321)를 통하여 수신된 의료 영상을 3차원 영상으로 변환하고, 변환된 3차원 영상을 이미지 저장부(310)에 저장할 수 있다. 또한, 제어부(320)는 슬레이브 시스템(200)으로부터 내시경(220)을 통해 수집된 환자 신체 내부의 수술 부위에 대한 실제 영상을 수신하고, 가상 영상 생성부(323)를 이용하여 3차원 영상을 수신된 실제 영상에 투영시킨 가상 영상을 생성하고, 생성된 가상 영상을 이미지 저장부(310)에 저장할 수 있다. 이와 같이, 이미지 저장부(310)에 저장된 3차원 영상 및 가상 영상은 이후, 통신부(330)를 통해 마스터 시스템(100), 슬레이브 시스템(200) 및 후술할 증강현실 영상 표시 시스템(400)으로 전송될 수 있다.
영상 시스템(300)은 마스터 시스템(100) 또는 슬레이브 시스템(200)과 일체형으로 구성될 수 있으나, 특별히 이에 한정되는 것은 아니며, 별도의 장치로 구성되는 것 역시 가능할 것이다.
본 실시 예에 따른 증강현실 영상 표시 시스템(400)은 도 2에 도시한 바와 같이, 환자 신체 또는 인체 모형에 부착된 복수의 마커를 포함하는 실제 영상을 획득하는 카메라(410), 카메라(410)를 통해 획득한 실제 영상에서 복수의 마커를 검출한 후, 검출된 복수의 마커를 이용하여 카메라(410)의 위치 및 주시 방향을 추정하여 대응되는 부위의 가상 영상을 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성하는 증강현실 영상 생성부(430) 및 증강현실 영상을 표시하는 디스플레이(420)를 포함할 수 있다.
본 실시 예에서 증강현실 영상 표시 시스템(400)은 HMD(Head Mounted Display) 형태로 구현될 수 있으나, 특별히 이에 한정되는 것은 아니다. 일 예로, 본 실시 예에 따른 증강현실 영상 표시 시스템(400)은 도 3에 도시된 바와 같이, 안경 방식의 HMD(Head Mounted Display)로 구현될 수 있다.
카메라(410)는 실제 영상을 촬영하기 위한 구성으로서, 도 3에 도시된 바와 같이, 증강현실 영상 표시 시스템(400)의 전면 즉, 사용자의 눈과 마주하지 않고, 외부를 향하는 면에 부착될 수 있다. 즉, 사용자의 전방을 촬영하도록 부착되는 것이다. 이때, 카메라(410)는 도 3과 같이 사용자의 눈과 평행한 위치에 부착될 수 있으나, 특별히 이에 한정되는 것은 아니다. 다만, 카메라(410)를 사용자의 눈과 평행한 위치에 부착함으로써, 사용자의 실제 시선 방향과 대응되는 위치에 대한 실제 영상을 획득하는 것이 용이할 수 있다. 이는 하나의 실시 예에 불과하며, 카메라(410)는 사용자의 전방을 촬영할 수 있는 위치라면 어디든 부착 가능할 것이다.
또한, 카메라(410)는 CMOS(Complementary Metal-Oxide Semiconductor) 카메라 및 CCD(Charge Coupled Device) 카메라일 수 있으나, 특별히 이에 한정되는 것은 아니다.
구체적으로, 본 실시 예에서 카메라(410)는 수술대에 누워있는 환자(P) 또는 인체 모형(P′)을 촬영할 수 있다. 이때, 인체 모형(P′)을 사용하는 이유는 수술대에 누워있는 수술중인 환자(P)는 움직이는 것이 불가능하여 앞면 및 뒷면 중 한쪽 면만 관찰이 가능하므로, 해당 환자(P)의 앞면 및 뒷면을 모두 관찰하는 것이 용이하도록 하기 위함이다.
이때, 수술대에 누워있는 환자(P)의 신체 외부에는 도 4에 도시한 바와 같이, 복수의 마커(M)가 부착될 수 있다. 여기에서, "마커(M)"는 카메라(410)의 위치 및 주시 방향을 추정하기 위한 표식을 의미할 수 있다. 이때, 마커(M)는 수술 부위와 인접한 위치에 부착될 수 있으나, 특별히 이에 한정되는 것은 아니다. 또한, 도 4에서는 세 개의 마커(M)를 도시하고 있으나, 이는 하나의 실시 예에 불과하며, 더 많은 수의 마커(M)가 부착되는 것 역시 가능하다. 또한, 도 4에서는 세 개의 마커(M)가 일렬로 부착된 것으로 도시하고 있으나, 이는 설명의 편의를 위한 일 예일 뿐, 본 실시 예에 따른 마커(M)의 부착 형태는 이에 한정되지 않으며, 삼각형 및 사각형과 같은 형태로 부착되는 것이 전형적이다. 또한, 도 5에 도시한 바와 같이 인체 모형(P′)의 외부에도 마커(M)가 부착될 수 있다. 이때, 인체 모형(P′)에는 앞면과 뒷면 모두에 마커(M)가 부착될 수 있다.
도 4 및 도 5에 도시한 복수의 마커(M)는 각각 서로 다른 식별정보를 가질 수 있다. 여기에서, "식별정보"는 각 마커(M)가 부착된 위치에 대한 정보, 각 마커(M)의 원 크기 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니다. 도 4를 예를 들어 설명하면, 마커①은 환자의 복부 오른쪽(환자 기준)이라는 위치 정보를 갖고, 마커②는 환자의 복부 중심부라는 위치 정보를 가지며, 마커③은 환자의 복부 왼쪽이라는 위치 정보를 가질 수 있다. 마찬가지로, 도 5의 마커④, 마커⑤ 및 마커⑥은 각각 환자의 등 왼쪽(환자 기준), 등 중심부, 등 오른쪽이라는 위치 정보를 가질 수 있다. 또한, 각 마커(M)의 원래 크기는 사전에 정의될 수 있다.
또한, 도 4 및 도 5에서는 일 예로 숫자를 표기하여 각각의 마커를 구분하고 있으나, 이는 하나의 실시 예에 불과하며, 각 마커는 서로 다른 패턴, 서로 다른 색을 갖도록 하여 구분하는 것 역시 가능할 것이다.
이에 따라, 카메라(410)를 통해 촬영된 실제 영상에는 서로 다른 식별정보를 갖고, 서로 구분되는 복수의 마커가 포함될 수 있고, 후술할 증강현실 영상 생성부(430)에서는 실제 영상에 포함된 복수의 마커를 검출하고, 검출된 각 마커에 대한 실제 영상 내에서의 위치 정보를 산출한 후, 산출된 각 마커의 위치 정보 및 사전에 정의된 각 마커의 식별정보를 이용하여 카메라(410)의 현재 위치 및 주시 방향을 추정할 수 있다. 여기에서, "각 마커의 위치 정보"는 각 마커 간의 거리, 각 마커 간의 연결 각도 및 각 마커의 크기 등을 포함할 수 있으나, 특별히 이에 한정되는 것은 아니다.
증강현실 영상 생성부(430)는 상술한 바와 같이 카메라(410)를 통해 촬영된 실제 영상에 포함된 복수의 마커를 검출하고, 검출된 각 마커에 대한 실제 영상 내에서의 위치 정보를 산출한 후, 산출된 각 마커의 위치 정보 및 사전에 정의된 각 마커의 식별정보를 이용하여 카메라(410)의 현재 위치 및 주시 방향을 추정하고, 추정된 카메라(410)의 현재 위치 및 주시 방향에 대응되는 부위의 가상 영상을 카메라(410)를 통해 촬영된 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성할 수 있다.
여기에서, "가상 영상"은 전술한 바와 같이, 환자(P)의 수술 전 의료 영상에 대한 3차원 영상 및 3차원 영상을 내시경(220)을 통해 수집된 영상에 투영시킨 영상을 포함할 수 있다. 즉, "가상 영상"은 환자(P)의 신체 내부에 대한 영상일 수 있다.
또한, "실제 영상"은 카메라(410)를 통해 촬영된 실세계에 대한 영상을 의미하며, 본 실시 예에서는 수술대에 누워있는 환자(P) 또는 인체 모형(P′)을 촬영한 영상일 수 있으며, 실제 영상에는 환자(P) 또는 인체 모형(P′)에 부착된 마커가 포함될 수 있다.
증강현실 영상은 상술한 바와 같이, 카메라(410)를 통해 촬영된 실제 영상에 포함된 환자(P) 또는 인체 모형(P′)에 가상 영상 즉, 신체 내부 영상을 오버레이 방식으로 합성한 영상을 의미한다. 예를 들어, 도 6에 도시한 바와 같이, 카메라(410)를 통해 촬영된 실제 영상의 환자(P)의 신체에 카메라(410)의 주시 방향과 대응되는 신체 내부 영상인 가상 영상을 합성한 영상인 것이다. 이때, 증강현실 영상에서는 실제 영상에 포함된 마커가 제거될 수 있다. 이는 사용자에게 혼란을 주지 않도록 하기 위함이다.
이때, 카메라(410)는 사용자의 시선이 향하는 부위를 실시간으로 촬영할 수 있으며, 증강현실 영상 생성부(430)는 카메라(410)를 통해 촬영되는 실제 영상을 실시간으로 수신하여 카메라(410)의 이동에 따른 증강현실 영상을 생성할 수 있다.
구체적으로, 증강현실 영상 생성부(430)는 카메라(410)로부터 촬영된 실제 영상을 실시간으로 수신하고, 수신된 실제 영상에서 복수의 마커를 검출하고, 검출된 각 마커 간의 거리, 각 마커 간의 연결 각도 및 각 마커의 크기를 산출한 후, 산출된 마커 간의 거리, 마커 간의 연결 각도, 각 마커의 크기 및 사전에 정의된 각 마커의 식별정보를 이용하여 카메라(410)의 현재 위치 및 주시 방향을 실시간으로 추정할 수 있다. 이때, 검출된 각 마커 간의 거리, 각 마커 간의 연결 각도 및 각 마커의 크기를 산출하고, 카메라(410)의 현재 위치 및 주시 방향을 추정하는 구체적인 방법은 본 발명의 요지와 다소 거리감이 있으며, 공지된 기술이므로 이에 대한 상세한 설명은 생략한다.
즉, 증강현실 영상 생성부(430)는 이동하는 카메라(410)의 위치 및 주시 방향을 실시간으로 추정하고, 추정된 카메라(410)의 위치 및 주시 방향에 대응되는 증강현실 영상을 실시간으로 생성할 수 있다.
예를 들어, 도 6 및 도 7을 참조하여 설명하면, 카메라(410)가 환자(P)의 복부 중앙에 위치하여 복부를 주시하고 있는 경우, 증강현실 영상 생성부(430)는 카메라(410)로부터 촬영된 실제 영상을 수신하여 복수의 마커를 검출하고, 검출된 각 마커에 대한 실제 영상 내에서의 위치 정보를 이용하여 카메라(410)가 현재 환자(P) 복부 중앙에 위치하여 복부를 주시하고 있음을 추정하고, 영상 시스템(300)으로부터 대응되는 부위의 가상 영상을 수신하여 실제 영상에 오버레이 방식으로 합성함으로써, 환자(P)의 복부 중심부가 정면을 향하는 증강현실 영상을 생성한다.
또한, 도 7과 같이, 카메라(410)가 환자(P)의 복부 중앙을 벗어난 위치에서 대각선 방향으로 복부 좌측(환자 기준)을 주시하고 있는 경우, 증강현실 영상 생성부(430)는 카메라(410)로부터 촬영된 실제 영상을 수신하여 마커를 검출하고, 검출된 각 마커에 대한 실제 영상 내에서의 위치 정보를 이용하여 카메라(410)가 현재 환자(P) 복부 좌측에서 복부를 주시하고 있음을 추정하고, 영상 시스템(300)으로부터 대응되는 부위의 가상 영상을 수신하여 실제 영상에 오버레이 방식으로 합성함으로써, 환자(P)의 복부 좌측이 정면을 향하는 증강현실 영상을 생성한다.
이때, 도 6 및 도 7은 각각 카메라(410)가 복부 중앙 및 복부 좌측에 위치하고 있는 경우에 대해서만 도시하고 있으나, 카메라(410)가 연속적으로 이동하는 경우, 대응되는 증강현실 영상 역시 연속적으로 디스플레이(420)로 출력되어 표시될 수 있음은 자명하다. 즉, 증강현실 영상 생성부(430)는 사용자의 시선 이동 궤적을 그대로 추종하는 증강현실 영상을 생성하여 디스플레이(420)로 출력할 수 있다.
또한, 증강현실 영상 생성부(430)는 카메라(410)를 통해 촬영된 실제 영상에서 검출된 마커의 크기를 산출하고, 산출된 마커의 크기를 사전에 정의된 크기와 비교하여 카메라(410)와 마커와의 거리를 연산할 수 있다. 즉, 카메라(410)가 촬영 대상으로부터 떨어진 거리를 연산하는 것이다. 일반적으로 카메라(410)가 촬영 대상으로부터 멀어지면 촬영 대상은 작아지고, 촬영 대상과 가까워지면 촬영 대상은 커지게 된다. 즉, 카메라(410)가 촬영 대상으로부터 떨어진 거리에 따라 실제 영상 내에서의 촬영 대상 크기는 작아지거나 커지게 되는 것이다.
이에 따라, 증강현실 영상 생성부(430)는 카메라(410)와 마커와의 거리를 연산하고, 연산된 거리에 따라 영상 시스템(300)으로부터 수신한 대응 부위의 가상 영상을 확대 또는 축소한 후, 실제 영상과 합성하여 증강현실 영상을 생성할 수 있다. 즉, 카메라(410)와 환자(P)와의 거리가 가까워지면 해당 부위와 대응되는 가상 영상을 확대하여 실제 영상과 합성하고, 카메라(410)와 환자(P)와의 거리가 멀어지면 해당 부위와 대응되는 가상 영상을 축소하여 실제 영상과 합성할 수 있다. 카메라(410)와 환자(P)와의 거리에 따라 축소 또는 확대되어 생성된 증강현실 영상을 각각, 도 8 및 도 9에 도시하였다. 또한, 카메라(410)가 환자(P)에 근접하여 복부 좌측(환자 기준)에 위치하는 경우, 환자(P)의 복부 좌측이 정면을 향하는 증강현실 영상을 도 10에 도시하였다.
이와 같이, 본 실시 예에 따른 증강현실 영상 표시 시스템(400)은 사용자의 시선 이동에 따라 대응되는 환자(P)의 신체 내부를 실시간으로 관찰할 수 있다. 즉, 사용자의 시선 방향 변화에 직접적으로 대응하여 실시간으로 사용자의 시선이 향하는 부분이 정면을 향하는 증강현실 영상을 생성하여 디스플레이할 수 있기 때문에, 마우스, 키보드, 조이스틱과 같은 입력장치를 사용하여 시선 방향 및 위치를 지정함으로써 환자(P)의 신체 내부를 관찰하는 종래와 비교하여 보다 직관적으로 환자(P) 신체 내부 상태를 관찰할 수 있다.
또한, 증강현실 영상 생성부(430)는 슬레이브 시스템(200)로부터 수술 도구의 현재 위치 정보를 수신하여 증강현실 영상의 매칭되는 영역에 가상 수술 도구를 생성할 수 있다. 여기에서, "위치 정보"는 전술한 바와 같이, 좌표값일 수 있으며, 증강현실 영상 생성부(430)는 증강현실 영상에서 수신된 수술 도구의 좌표값과 매칭되는 좌표에 가상 수술 도구를 생성할 수 있다. 이때, 도 11에 도시한 바와 같이, 내시경(220)을 통해 실제 수술 도구가 촬영되었다면, 가상 수술 도구에서 실제 수술 도구와 겹치는 부분은 실제 수술 도구가 표시될 수 있다.
즉, 본 실시 예에서 증강현실 영상은 도 11과 같이, 환자(P)의 수술 전 의료 영상에 대한 3차원 영상과 내시경(220)을 통해 획득한 내시경 영상 및 슬레이브 시스템(200)으로부터 수신된 수술 도구의 위치 정보를 이용하여 생성한 가상 수술 도구가 합성된 영상일 수 있다. 이때, 내시경(220)을 통해 획득한 영상에 실제 수술 도구가 포함되지 않는 경우, 증강현실 영상에는 가상 수술 도구만이 합성될 수 있고, 내시경(220)을 통해 획득한 영상에 실제 수술 도구가 포함된 경우, 도 11과 같이 가상 수술 도구와 실제 수술 도구가 연결되도록 합성될 수 있다.
디스플레이(420)는 증강현실 영상 생성부(430)를 통해 생성된 증강현실 영상을 표시하기 위한 구성으로, 도 3에 도시한 바와 같이, 증강현실 영상 표시 시스템(400)의 후면 즉, 사용자의 눈과 마주하는 면에 마련될 수 있다. 여기에서, 디스플레이(420)로는 액정표시장치(Liquid Crystal Display:LCD)가 사용될 수 있으나, 특별히 이에 한정되는 것은 아니다.
본 실시 예에서 증강현실 영상 표시 시스템(400)은 환자(P)를 직접 볼 수 있는 보조자(A)가 사용할 수 있다. 즉, 본 실시 예에 따른 증강현실 영상 표시 시스템(400)은 환자(P) 신체 내부를 직관적으로 관찰할 수 있는 시스템으로서, 환자(P)를 직접 볼 수 있는 사용자가 사용할 수 있다.
예를 들어, 수술장에서 보조자(A)는 별도의 모니터를 통해 환자(P)의 신체 내부를 관찰할 수 있다. 이때, 모니터는 환자(P) 근처가 아닌 다른 위치에 마련되는 것이 일반적이므로, 보조자(A)는 환자(P)와 모니터를 동시에 보는 것이 불가능하다. 수술이 진행되는 동안 조작자(S)로부터 수술 도구 교체 지시가 있을 때, 보조자(A)는 환자(P) 신체 내부에 삽입된 수술 도구를 제거하고 다른 수술 도구를 장착 및 환자(P) 신체 내부로 삽입해야하는데, 이때, 수술 도구는 환자(P) 측에 위치해 있고, 환자(P) 신체 내부는 별도의 모니터를 통해 확인해야하므로, 보조자(A)는 모니터로 환자(P) 신체 내부를 관찰하면서 환자(P) 신체 내부에 삽입된 수술 도구를 제거하고 교체해야한다. 이에 따라, 수술 도구 교체 작업이 더디게 진행될 수 있고, 비직관적인 관찰을 통해 수술 도구를 제거하는 과정에서 주변 장기 및 조직을 손상시키는 사고가 발생할 수도 있다.
그러나, 보조자(A)가 본 실시 예에 따른 증강현실 영상 표시 시스템(400)을 착용하고 수술 작업을 보조하게 되면, 별도의 모니터를 볼 필요없이 환자(P)를 주시하면 환자(P)의 신체 내부 상태가 디스플레이(420)에 표시되므로, 직관적으로 환자(P) 신체 내부를 상세히 관찰할 수 있어 수술 도구 교체 등과 같은 보조 작업을 신속하게 수행할 수 있고, 또한, 수술장과 멀리 떨어져 위치한 조작자(S)가 미처 관찰하지 못한 부분을 관찰하여 상세한 정보를 제공할 수 있으므로, 수술 작업의 질을 향상시킬 수 있다.
한편, 이와 같이 조작자(S)가 원격으로 수술을 진행하는 수술 로봇 시스템이 아닌 조작자(S)가 직접 환자(P)에게 수술 도구를 삽입하여 수술 동작을 가하는 수술 시스템 예로써, 복강경 수술과 같은 수술 시스템에서는 조작자(S)가 직접 본 실시 예에 따른 증강현실 영상 표시 시스템(400)을 착용하고 수술을 집도하게 되면, 조작자(S)가 살펴보는 부위의 체내 영상이 그대로 표시되므로, 피부로 감싸진 수술 영역을 보다 효과적으로 관찰할 수 있으므로 수술 중 장기 및 조직이 손상되는 사고를 방지할 수 있다.
이상 본 발명을 구체적인 실시 예를 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함이 명백하다.
본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속하는 것으로 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의하여 명확해질 것이다.
100 : 마스터 시스템
110 : 입력부
111, 113 : 핸들
120 : 표시부
130, 240, 320, 440 : 제어부
131 : 제어 신호 생성부
133 : 영상 처리부
140, 250, 330, 450 : 통신부
200 : 슬레이브 시스템
201 : 몸체
210 : 로봇 암
211 : 링크
213 : 관절
215 : 제1 구동부
217 : 위치 센서
220 : 내시경
225 : 제2 구동부
230, 230′ : 수술 도구
235 : 제3 구동부
241 : 위치 연산부
300 : 영상 시스템
310 : 이미지 저장부
321 : 3차원 영상 변환부
323 : 가상 영상 생성부
400 : 증강현실 영상 표시 시스템
410 : 카메라
420 : 디스플레이
430 : 증강현실 영상 생성부

Claims (25)

  1. 환자에게 수술 동작을 수행하는 슬레이브 시스템;
    상기 슬레이브 시스템의 수술 동작을 제어하는 마스터 시스템;
    환자 신체 내부에 대한 가상 영상을 생성하는 영상 시스템; 및
    환자 신체 또는 인체 모형에 부착된 복수의 마커를 포함하는 실제 영상을 획득하는 카메라, 상기 실제 영상에서 복수의 마커를 검출하고, 검출된 복수의 마커를 이용하여 카메라의 위치 및 주시 방향을 추정한 후, 상기 가상 영상 중 추정된 카메라의 위치 및 주시 방향에 대응되는 부위를 상기 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성하는 증강현실 영상 생성부 및 상기 증강현실 영상을 표시하는 디스플레이를 포함하는 증강현실 영상 표시 시스템
    을 포함하는 수술 로봇 시스템.
  2. 제1항에 있어서,
    상기 슬레이브 시스템은,
    환자에게 수술 동작을 가하는 수술 도구;
    환자 신체 내부의 수술 부위를 촬영하는 내시경;
    상기 수술 도구의 위치를 검출하기 위한 위치 센서; 및
    상기 위치 센서를 검출된 신호를 이용하여 상기 수술 도구의 위치 정보를 연산하는 위치 연산부
    를 포함하는 수술 로봇 시스템.
  3. 제2항에 있어서,
    상기 증강현실 영상 생성부는 상기 슬레이브 시스템으로부터 상기 수술 도구의 위치 정보를 수신하여 상기 증강현실 영상에서 상기 위치 정보와 매칭되는 영역에 가상 수술 도구를 생성하는 수술 로봇 시스템.
  4. 제1항에 있어서,
    상기 증강현실 영상 표시 시스템은 HMD(Head Mounted Display)인 수술 로봇 시스템.
  5. 제1항에 있어서,
    상기 카메라는 상기 디스플레이에 부착되고,
    상기 증강현실 영상 생성부는 상기 디스플레이의 이동에 따라 변하는 카메라의 위치 및 주시 방향을 실시간으로 추정하고, 상기 가상 영상 중 추정된 카메라의 위치 및 주시 방향에 대응되는 부위를 상기 실제 영상에 합성하여 증강현실 영상을 생성하는 수술 로봇 시스템.
  6. 제1항에 있어서,
    상기 증강현실 영상 생성부는 상기 검출된 각 마커에 대한 실제 영상 내에서의 위치 정보를 산출하고, 산출된 각 마커의 위치 정보를 이용하여 상기 카메라의 위치 및 주시 방향을 추정하는 수술 로봇 시스템.
  7. 제6항에 있어서,
    상기 각 마커의 위치 정보는 각 마커 간의 거리 및 각 마커 간의 연결 각도를 포함하는 수술 로봇 시스템.
  8. 제6항에 있어서,
    상기 각 마커의 위치 정보는 실제 영상 내의 마커의 크기 정보를 포함하는 수술 로봇 시스템.
  9. 제8항에 있어서,
    상기 증강현실 영상 생성부는 상기 마커의 크기 정보를 이용하여 상기 카메라와 마커와의 거리를 연산하고, 상기 가상 영상을 상기 연산된 거리에 따라 확대 또는 축소한 후 상기 실제 영상에 합성한 증강현실 영상을 생성하는 수술 로봇 시스템.
  10. 제1항에 있어서,
    상기 가상 영상은 상기 환자의 수술 전 의료 영상을 3차원 영상으로 변환한 영상인 수술 로봇 시스템.
  11. 제10항에 있어서,
    상기 가상 영상은 내시경을 통해 촬영된 수술 부위 및 실제 수술 도구를 더 포함하는 수술 로봇 시스템.
  12. 제11항에 있어서,
    상기 영상 시스템은,
    환자의 수술 전 의료 영상을 3차원 영상으로 변환하는 3차원 영상 변환부;
    변환된 3차원 영상을 상기 내시경을 통해 획득된 영상에 투영시켜 가상 영상을 생성하는 가상 영상 생성부; 및
    상기 3차원 영상 및 가상 영상이 저장되는 저장부
    를 포함하는 수술 로봇 시스템.
  13. 제10항에 있어서,
    상기 환자의 수술 전 의료 영상은 CT(Computed Tomography) 영상 및 MRI(Magnetic Resonance Imaging) 영상을 포함하는 수술 로봇 시스템.
  14. 제1항에 있어서,
    상기 증강현실 영상은 상기 카메라의 위치 및 주시 방향에 대응되는 부위가 정면을 향하도록 생성되는 수술 로봇 시스템.
  15. 환자 신체 또는 인체 모형에 부착된 복수의 마커를 포함하는 실제 영상을 획득하는 카메라;
    상기 실제 영상에서 복수의 마커를 검출하고, 검출된 복수의 마커를 이용하여 카메라의 위치 및 주시 방향을 추정한 후, 추정된 위치 및 주시 방향에 대응되는 부위의 가상 영상을 상기 실제 영상에 오버레이 방식으로 합성한 증강현실 영상을 생성하는 증강현실 영상 생성부; 및
    상기 증강현실 영상을 표시하는 디스플레이
    를 포함하는 증강현실 영상 표시 시스템.
  16. 제15항에 있어서,
    상기 카메라는 상기 디스플레이에 부착되고,
    상기 증강현실 영상 생성부는 상기 디스플레이의 이동에 따라 변하는 상기 카메라의 위치 및 주시 방향을 실시간으로 추정하고, 추정된 위치 및 주시 방향에 대응되는 부위의 가상 영상을 상기 실제 영상에 합성하여 증강현실 영상을 생성하는 증강현실 영상 표시 시스템.
  17. 제15항에 있어서,
    상기 증강현실 영상 생성부는 상기 검출된 각 마커에 대한 실제 영상 내에서의 위치 정보를 산출하고, 산출된 각 마커의 위치 정보를 이용하여 상기 카메라의 위치 및 주시 방향을 추정하는 증강현실 영상 표시 시스템.
  18. 제17항에 있어서,
    상기 각 마커의 위치 정보는 각 마커 간의 거리 및 각 마커 간의 연결 각도를 포함하는 증강현실 영상 표시 시스템.
  19. 제17항에 있어서,
    상기 각 마커의 위치 정보는 실제 영상 내의 마커의 크기 정보를 포함하는 증강현실 영상 표시 시스템.
  20. 제19항에 있어서,
    상기 증강현실 영상 생성부는 상기 마커의 크기 정보를 이용하여 상기 카메라와 마커와의 거리를 연산하고, 상기 가상 영상을 상기 연산된 거리에 따라 확대 또는 축소하여 상기 실제 영상에 합성한 증강현실 영상을 생성하는 증강현실 영상 표시 시스템.
  21. 제15항에 있어서,
    상기 가상 영상은 환자의 수술 전 의료 영상을 3차원 영상으로 변환한 영상인 증강현실 영상 표시 시스템.
  22. 제21항에 있어서,
    상기 가상 영상은 내시경을 통해 촬영된 수술 부위 및 실제 수술 도구를 더 포함하는 증강현실 영상 표시 시스템.
  23. 제21항에 있어서,
    상기 환자의 수술 전 의료 영상은 CT(Computed Tomography) 영상 및 MRI(Magnetic Resonance Imaging) 영상을 포함하는 증강현실 영상 표시 시스템.
  24. 제15항에 있어서,
    상기 증강현실 영상은 환자의 신체 내부로 삽입된 수술 도구에 대한 가상 이미지를 포함하는 증강현실 영상 표시 시스템.
  25. 제15항에 있어서,
    상기 증강현실 영상은 상기 카메라의 위치 및 주시 방향에 대응되는 부위가 정면을 향하도록 생성되는 증강현실 영상 표시 시스템.
KR1020130026615A 2013-03-13 2013-03-13 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템 Ceased KR20140112207A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130026615A KR20140112207A (ko) 2013-03-13 2013-03-13 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US14/132,782 US9767608B2 (en) 2013-03-13 2013-12-18 Augmented reality image display system and surgical robot system comprising the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130026615A KR20140112207A (ko) 2013-03-13 2013-03-13 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템

Publications (1)

Publication Number Publication Date
KR20140112207A true KR20140112207A (ko) 2014-09-23

Family

ID=51530275

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130026615A Ceased KR20140112207A (ko) 2013-03-13 2013-03-13 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템

Country Status (2)

Country Link
US (1) US9767608B2 (ko)
KR (1) KR20140112207A (ko)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101647467B1 (ko) * 2015-06-05 2016-08-11 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템
KR101667152B1 (ko) * 2015-05-22 2016-10-24 고려대학교 산학협력단 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법
WO2016190607A1 (ko) * 2015-05-22 2016-12-01 고려대학교 산학협력단 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법
WO2017171295A1 (ko) * 2016-03-29 2017-10-05 사회복지법인 삼성생명공익재단 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법
KR101868120B1 (ko) * 2016-12-01 2018-06-18 재단법인 아산사회복지재단 비방사선적 교정 수술을 위한 증강현실 각도기 장치 및 방법
JP2018161526A (ja) * 2018-07-03 2018-10-18 ソニー株式会社 医療用観察システム、医療用観察方法、および医療用制御装置
KR20190004591A (ko) * 2017-07-04 2019-01-14 경희대학교 산학협력단 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
KR20190018906A (ko) * 2017-08-16 2019-02-26 연세대학교 원주산학협력단 증강현실이나 가상현실에 기초하여 가상의 인체 장기를 렌더링하는 이동 단말기 및 이를 이용하는 시스템
KR20190066937A (ko) * 2017-12-06 2019-06-14 조선대학교산학협력단 저장 매체에 저장된 수술 네비게이션 컴퓨터 프로그램, 그 프로그램이 저장된 스마트 기기 및 수술 네비게이션 시스템
WO2019164272A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술영상 제공 방법 및 장치
KR20190102060A (ko) * 2017-01-11 2019-09-02 매직 립, 인코포레이티드 의료 보조기
WO2019177711A1 (en) * 2018-03-13 2019-09-19 Intuitive Surgical Operations, Inc. Methods of guiding manual movement of medical systems
KR20190116601A (ko) * 2018-04-03 2019-10-15 (주)다울디엔에스 Ar 기반 저작도구를 이용한 외과 수술 교육 시스템
KR102013837B1 (ko) * 2018-02-20 2019-10-21 (주)휴톰 수술영상 제공 방법 및 장치
KR20190130777A (ko) * 2018-05-15 2019-11-25 주식회사 삼육오엠씨네트웍스 복강경 수술 시뮬레이션 장치
US10571671B2 (en) 2014-03-31 2020-02-25 Sony Corporation Surgical control device, control method, and imaging control system
KR20200049646A (ko) * 2018-10-29 2020-05-08 주식회사 매니아마인드 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치
KR20200060660A (ko) * 2018-11-22 2020-06-01 (주)다울디엔에스 Ar 수술 응용시스템 기반 지식베이스 저작 시스템
WO2021030129A1 (en) * 2019-08-14 2021-02-18 Warsaw Orthopedic, Inc. Systems, devices, and methods for surgical navigation with anatomical tracking
WO2021062375A1 (en) * 2019-09-27 2021-04-01 Raytrx, Llc Augmented and extended reality glasses for use in surgery visualization and telesurgery
WO2021112312A1 (ko) * 2019-12-06 2021-06-10 서울대학교산학협력단 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법
WO2021201434A1 (ko) * 2020-04-01 2021-10-07 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
KR20210156703A (ko) * 2020-06-18 2021-12-27 주식회사 디엠에프 ３차원 안면 스캔데이터 및 ａｒ 글래스를 이용한 실시간 가시화 서비스 제공 방법
KR20220020634A (ko) * 2020-08-12 2022-02-21 재단법인대구경북과학기술원 피부 마커를 이용한 손목 관절경 수술의 증강현실 네비게이션 시스템 및 그 방법
KR20220087352A (ko) 2020-12-17 2022-06-24 (주)스마트큐브 인체기관 및 상응하는 청진음을 증강시키기 위한 장치 및 이를 위한 방법
WO2022181919A1 (ko) * 2021-02-26 2022-09-01 (주)휴톰 가상 현실 기반의 수술 환경을 제공하는 장치 및 방법
WO2023003389A1 (ko) * 2021-07-21 2023-01-26 (주)휴톰 환자의 3차원 가상 기복 모델 상에 트로카의 삽입 위치를 결정하는 장치 및 방법
US11628038B2 (en) 2020-02-21 2023-04-18 Raytrx, Llc Multi-option all-digital 3D surgery visualization system and control
KR20230073443A (ko) * 2021-11-18 2023-05-26 (주)에이트원 증강현실 기반의 항공 정비 지원 방법
KR102576673B1 (ko) * 2022-12-12 2023-09-08 (주)투비시스템 증강 현실 기반의 작업 가이드 방법
US11819273B2 (en) 2015-03-17 2023-11-21 Raytrx, Llc Augmented and extended reality glasses for use in surgery visualization and telesurgery
KR20240123080A (ko) * 2023-02-06 2024-08-13 주식회사 메디씨티 증강 현실을 이용하여 개선된 수술 컨텐츠를 제공하는 방법 및 이를 수행하는 수술 컨텐츠 제공 시스템
US12142367B2 (en) 2020-02-21 2024-11-12 Raytrx, Llc Surgery visualization theatre

Families Citing this family (438)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8361067B2 (en) 2002-09-30 2013-01-29 Relievant Medsystems, Inc. Methods of therapeutically heating a vertebral body to treat back pain
US8219178B2 (en) 2007-02-16 2012-07-10 Catholic Healthcare West Method and system for performing invasive medical procedures using a surgical robot
US10893912B2 (en) 2006-02-16 2021-01-19 Globus Medical Inc. Surgical tool systems and methods
US10653497B2 (en) 2006-02-16 2020-05-19 Globus Medical, Inc. Surgical tool systems and methods
US10357184B2 (en) 2012-06-21 2019-07-23 Globus Medical, Inc. Surgical tool systems and method
US7728868B2 (en) 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US10028753B2 (en) 2008-09-26 2018-07-24 Relievant Medsystems, Inc. Spine treatment kits
CA2957010C (en) 2008-09-26 2017-07-04 Relievant Medsystems, Inc. Systems and methods for navigating an instrument through bone
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US8641621B2 (en) 2009-02-17 2014-02-04 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
US8690776B2 (en) 2009-02-17 2014-04-08 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image guided surgery
US11464578B2 (en) 2009-02-17 2022-10-11 Inneroptic Technology, Inc. Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures
IT1401669B1 (it) 2010-04-07 2013-08-02 Sofar Spa Sistema di chirurgia robotizzata con controllo perfezionato.
US10631712B2 (en) * 2011-02-10 2020-04-28 Karl Storz Imaging, Inc. Surgeon's aid for medical display
US11412998B2 (en) 2011-02-10 2022-08-16 Karl Storz Imaging, Inc. Multi-source medical display
US10674968B2 (en) * 2011-02-10 2020-06-09 Karl Storz Imaging, Inc. Adjustable overlay patterns for medical display
WO2012131660A1 (en) 2011-04-01 2012-10-04 Ecole Polytechnique Federale De Lausanne (Epfl) Robotic system for spinal and other surgeries
WO2013101772A1 (en) 2011-12-30 2013-07-04 Relievant Medsystems, Inc. Systems and methods for treating back pain
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11395706B2 (en) 2012-06-21 2022-07-26 Globus Medical Inc. Surgical robot platform
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US12004905B2 (en) 2012-06-21 2024-06-11 Globus Medical, Inc. Medical imaging systems using robotic actuators and related methods
US10231791B2 (en) 2012-06-21 2019-03-19 Globus Medical, Inc. Infrared signal based position recognition system for use with a robot-assisted surgery
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US12446981B2 (en) 2012-06-21 2025-10-21 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US10136954B2 (en) 2012-06-21 2018-11-27 Globus Medical, Inc. Surgical tool systems and method
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US12472008B2 (en) 2012-06-21 2025-11-18 Globus Medical, Inc. Robotic fluoroscopic navigation
US12594001B2 (en) 2012-06-21 2026-04-07 Globus Medical, Inc. Apparatus for recording probe movement
EP2863827B1 (en) 2012-06-21 2022-11-16 Globus Medical, Inc. Surgical robot platform
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US12329593B2 (en) 2012-06-21 2025-06-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US20150032164A1 (en) 2012-06-21 2015-01-29 Globus Medical, Inc. Methods for Performing Invasive Medical Procedures Using a Surgical Robot
US11974822B2 (en) 2012-06-21 2024-05-07 Globus Medical Inc. Method for a surveillance marker in robotic-assisted surgery
US10350013B2 (en) 2012-06-21 2019-07-16 Globus Medical, Inc. Surgical tool systems and methods
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US12220120B2 (en) 2012-06-21 2025-02-11 Globus Medical, Inc. Surgical robotic system with retractor
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US12310683B2 (en) 2012-06-21 2025-05-27 Globus Medical, Inc. Surgical tool systems and method
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US12262954B2 (en) 2012-06-21 2025-04-01 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11116576B2 (en) 2012-06-21 2021-09-14 Globus Medical Inc. Dynamic reference arrays and methods of use
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11607149B2 (en) 2012-06-21 2023-03-21 Globus Medical Inc. Surgical tool systems and method
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US12465433B2 (en) 2012-06-21 2025-11-11 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
KR101997566B1 (ko) * 2012-08-07 2019-07-08 삼성전자주식회사 수술 로봇 시스템 및 그 제어방법
US10588691B2 (en) 2012-09-12 2020-03-17 Relievant Medsystems, Inc. Radiofrequency ablation of tissue within a vertebral body
CA2889478C (en) 2012-11-05 2020-11-24 Relievant Medsystems, Inc. Systems and methods for creating curved paths through bone and modulating nerves within the bone
US9336629B2 (en) * 2013-01-30 2016-05-10 F3 & Associates, Inc. Coordinate geometry augmented reality process
US10314559B2 (en) 2013-03-14 2019-06-11 Inneroptic Technology, Inc. Medical device guidance
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US9370372B2 (en) 2013-09-04 2016-06-21 Mcginley Engineered Solutions, Llc Drill bit penetration measurement systems and methods
US9283048B2 (en) 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
US9833244B2 (en) 2013-11-08 2017-12-05 Mcginley Engineered Solutions, Llc Surgical saw with sensing technology for determining cut through of bone and depth of the saw blade during surgery
US9241771B2 (en) 2014-01-15 2016-01-26 KB Medical SA Notched apparatus for guidance of an insertable instrument along an axis during spinal surgery
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US20150206173A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
EP3318192B1 (en) * 2014-01-29 2019-09-25 Becton, Dickinson and Company Wearable electronic device for enhancing visualization during insertion of an invasive device
EP3104803B1 (en) 2014-02-11 2021-09-15 KB Medical SA Sterile handle for controlling a robotic surgical system from a sterile field
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
JP6235943B2 (ja) * 2014-03-18 2017-11-22 日本光電工業株式会社 血圧測定システム
JP6689203B2 (ja) 2014-03-19 2020-04-28 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 立体ビューワのための視線追跡を統合する医療システム
JP6644699B2 (ja) 2014-03-19 2020-02-12 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 視線追跡を使用する医療装置、システム、及び方法
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US11547499B2 (en) 2014-04-04 2023-01-10 Surgical Theater, Inc. Dynamic and interactive navigation in a surgical environment
CN106659537B (zh) 2014-04-24 2019-06-11 Kb医疗公司 结合机器人手术系统使用的手术器械固持器
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
CN107072673A (zh) 2014-07-14 2017-08-18 Kb医疗公司 用于在骨组织中制备孔的防滑手术器械
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
AU2015312037A1 (en) 2014-09-05 2017-03-02 Mcginley Engineered Solutions, Llc Instrument leading edge measurement system and method
US9901406B2 (en) 2014-10-02 2018-02-27 Inneroptic Technology, Inc. Affected region display associated with a medical device
US11504192B2 (en) 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
EP3226781B1 (en) 2014-12-02 2018-08-01 KB Medical SA Robot assisted volume removal during surgery
US10188467B2 (en) 2014-12-12 2019-01-29 Inneroptic Technology, Inc. Surgical guidance intersection display
US10154239B2 (en) 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
GB2534359A (en) * 2015-01-15 2016-07-27 Corin Ltd System and method for patient implant alignment
CN105982735B (zh) * 2015-01-30 2018-11-16 上海交通大学 提高主从式远程遥操作手术系统透明性和稳定性的方法
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
WO2016127140A1 (en) 2015-02-05 2016-08-11 Duke University Compact telescope configurations for light scanning systems and methods of using the same
WO2016127088A1 (en) 2015-02-06 2016-08-11 Duke University Stereoscopic display systems and methods for displaying surgical data and information in a surgical microscope
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
EP3258872B1 (en) 2015-02-18 2023-04-26 KB Medical SA Systems for performing minimally invasive spinal surgery with a robotic surgical system using a percutaneous technique
CN107249497B (zh) * 2015-02-20 2021-03-16 柯惠Lp公司 手术室和手术部位感知
US10026228B2 (en) * 2015-02-25 2018-07-17 Intel Corporation Scene modification for augmented reality using markers with parameters
US11016302B2 (en) 2015-03-17 2021-05-25 Raytrx, Llc Wearable image manipulation and control system with high resolution micro-displays and dynamic opacity augmentation in augmented reality glasses
US12137974B1 (en) 2015-03-17 2024-11-12 Raytrx, Llc System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
US12094595B2 (en) 2015-03-17 2024-09-17 Raytrx, Llc AR/XR headset for military medical telemedicine and target acquisition
US12237074B2 (en) 2015-03-17 2025-02-25 Raytrx, Llc System, method, and non-transitory computer-readable storage media related to correction of vision defects using a visual display
US12062430B2 (en) * 2015-03-17 2024-08-13 Raytrx, Llc Surgery visualization theatre
US11956414B2 (en) 2015-03-17 2024-04-09 Raytrx, Llc Wearable image manipulation and control system with correction for vision defects and augmentation of vision and sensing
US12235445B2 (en) 2015-03-17 2025-02-25 Raytrx, Llc Wearable image manipulation and control system with high resolution micro-displays and dynamic opacity augmentation in augmented reality glasses
GB2536650A (en) * 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3280344B1 (en) * 2015-04-07 2025-01-29 King Abdullah University Of Science And Technology System for utilizing augmented reality to improve surgery
EP3302226A4 (en) * 2015-06-08 2019-01-09 The General Hospital Corporation AIRWAY TREATMENT AND VISUALIZATION DEVICE
GB201510959D0 (en) * 2015-06-22 2015-08-05 Ec Medica Ltd Augmented reality imaging System, Apparatus and Method
US9949700B2 (en) 2015-07-22 2018-04-24 Inneroptic Technology, Inc. Medical device approaches
US10646298B2 (en) 2015-07-31 2020-05-12 Globus Medical, Inc. Robot arm and methods of use
US10058394B2 (en) 2015-07-31 2018-08-28 Globus Medical, Inc. Robot arm and methods of use
US10080615B2 (en) 2015-08-12 2018-09-25 Globus Medical, Inc. Devices and methods for temporary mounting of parts to bone
EP3344179B1 (en) 2015-08-31 2021-06-30 KB Medical SA Robotic surgical systems
US10888389B2 (en) 2015-09-10 2021-01-12 Duke University Systems and methods for arbitrary viewpoint robotic manipulation and robotic surgical assistance
US10034716B2 (en) 2015-09-14 2018-07-31 Globus Medical, Inc. Surgical robotic systems and methods thereof
US9771092B2 (en) 2015-10-13 2017-09-26 Globus Medical, Inc. Stabilizer wheel assembly and methods of use
CA2997965C (en) 2015-10-14 2021-04-27 Surgical Theater LLC Augmented reality surgical navigation
WO2017070275A1 (en) 2015-10-23 2017-04-27 Covidien Lp Surgical system for detecting gradual changes in perfusion
US10321921B2 (en) 2015-10-27 2019-06-18 Mcginley Engineered Solutions, Llc Unicortical path detection for a surgical depth measurement system
WO2017075224A1 (en) 2015-10-27 2017-05-04 Mcginley Engineered Solutions, Llc Techniques and instruments for placement of orthopedic implants relative to bone features
WO2017078754A1 (en) 2015-11-06 2017-05-11 Mcginley Engineered Solutions, Llc Measurement system for use with surgical burr instrument
US9824437B2 (en) * 2015-12-11 2017-11-21 Daqri, Llc System and method for tool mapping
US10052170B2 (en) * 2015-12-18 2018-08-21 MediLux Capitol Holdings, S.A.R.L. Mixed reality imaging system, apparatus and surgical suite
DE102015226669B4 (de) 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
CN108472095B (zh) * 2015-12-29 2021-11-02 皇家飞利浦有限公司 用于机器人外科手术的使用虚拟现实设备的系统、控制器和方法
JP6736298B2 (ja) * 2016-01-25 2020-08-05 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10448910B2 (en) 2016-02-03 2019-10-22 Globus Medical, Inc. Portable medical imaging system
US10117632B2 (en) 2016-02-03 2018-11-06 Globus Medical, Inc. Portable medical imaging system with beam scanning collimator
US10842453B2 (en) 2016-02-03 2020-11-24 Globus Medical, Inc. Portable medical imaging system
US11058378B2 (en) 2016-02-03 2021-07-13 Globus Medical, Inc. Portable medical imaging system
US11883217B2 (en) 2016-02-03 2024-01-30 Globus Medical, Inc. Portable medical imaging system and method
US9675319B1 (en) 2016-02-17 2017-06-13 Inneroptic Technology, Inc. Loupe display
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
WO2017151752A1 (en) 2016-03-01 2017-09-08 Mirus Llc Augmented visualization during surgery
US20190088162A1 (en) * 2016-03-04 2019-03-21 Covidien Lp Virtual and/or augmented reality to provide physical interaction training with a surgical robot
CN111329552B (zh) 2016-03-12 2021-06-22 P·K·朗 包括机器人的用于引导骨切除的增强现实可视化
US10866119B2 (en) 2016-03-14 2020-12-15 Globus Medical, Inc. Metal detector for detecting insertion of a surgical device into a hollow tube
CN108778143B (zh) * 2016-03-16 2022-11-01 皇家飞利浦有限公司 用于将腹腔镜图像与超声图像进行叠加的计算设备
CN114903591B (zh) 2016-03-21 2026-03-24 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
EP3241518B1 (en) 2016-04-11 2024-10-23 Globus Medical, Inc Surgical tool systems
US10694939B2 (en) 2016-04-29 2020-06-30 Duke University Whole eye optical coherence tomography(OCT) imaging systems and related methods
US11154363B1 (en) * 2016-05-24 2021-10-26 Paul A. Lovoi Terminal guidance for improving the accuracy of the position and orientation of an object
WO2018041197A1 (zh) * 2016-08-31 2018-03-08 北京术锐技术有限公司 手术机器人的成像工具与手术工具展开实施、退出方法
CN106205268B (zh) * 2016-09-09 2022-07-22 上海健康医学院 一种x射线模拟摄像系统和方法
CN110248618B (zh) * 2016-09-09 2024-01-09 莫比乌斯成像公司 用于在计算机辅助手术中显示患者数据的方法及系统
EP4613232A3 (en) * 2016-09-16 2025-12-03 Zimmer, Inc. Augmented reality surgical technique guidance
US11259894B2 (en) * 2016-09-19 2022-03-01 Neocis, Inc. Tracking and guidance arrangement for a surgical robot system and related method
US20180279862A1 (en) * 2016-10-10 2018-10-04 Jack Wade Systems and methods for closed-loop medical imaging
US10278778B2 (en) 2016-10-27 2019-05-07 Inneroptic Technology, Inc. Medical device navigation using a virtual 3D space
US10748450B1 (en) * 2016-11-29 2020-08-18 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US11056022B1 (en) * 2016-11-29 2021-07-06 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US10412377B2 (en) * 2017-01-11 2019-09-10 Koninklijke Philips N.V. Augmented display device for use in a medical imaging laboratory
EP3568070B1 (en) 2017-01-16 2024-01-03 Philipp K. Lang Optical guidance for surgical, medical, and dental procedures
US11551380B2 (en) 2017-01-17 2023-01-10 Koninklijke Philips N.V. Augmented reality interventional system providing contextual overlays
EP3360502A3 (en) 2017-01-18 2018-10-31 KB Medical SA Robotic navigation of robotic surgical systems
EP3574504A1 (en) * 2017-01-24 2019-12-04 Tietronix Software, Inc. System and method for three-dimensional augmented reality guidance for use of medical equipment
CN107049210B (zh) * 2017-01-25 2018-09-28 山东省肿瘤防治研究院 一种基于增强现实的腔镜显示控制系统
US10010379B1 (en) * 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
US11250947B2 (en) 2017-02-24 2022-02-15 General Electric Company Providing auxiliary information regarding healthcare procedure and system performance using augmented reality
WO2018162079A1 (en) * 2017-03-10 2018-09-13 Brainlab Ag Augmented reality pre-registration
CA3055244A1 (en) 2017-03-10 2018-09-13 Biomet Manufacturing, Llc Augmented reality supported knee surgery
WO2018169891A1 (en) 2017-03-13 2018-09-20 Zimmer, Inc. Augmented reality diagnosis guidance
US11071594B2 (en) 2017-03-16 2021-07-27 KB Medical SA Robotic navigation of robotic surgical systems
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
WO2018195319A1 (en) * 2017-04-20 2018-10-25 Intuitive Surgical Operations, Inc. Systems and methods for constraining a virtual reality surgical system
US10860853B2 (en) 2017-04-28 2020-12-08 Intel Corporation Learning though projection method and apparatus
US10973391B1 (en) 2017-05-22 2021-04-13 James X. Liu Mixed reality viewing of a surgical procedure
EP3644889A4 (en) 2017-06-28 2021-04-07 Intuitive Surgical Operations, Inc. SYSTEMS AND METHODS FOR PROJECTING AN ENDOSCOPIC IMAGE ON A THREE-DIMENSIONAL VOLUME
US10675094B2 (en) 2017-07-21 2020-06-09 Globus Medical Inc. Robot surgical platform
WO2019028021A1 (en) * 2017-07-31 2019-02-07 Children's National Medical Center SYSTEM AND METHOD OF LOCATION BASED ON ARTIFICIAL VISION AND HYBRID EQUIPMENT
US11259879B2 (en) 2017-08-01 2022-03-01 Inneroptic Technology, Inc. Selective transparency to assist medical device navigation
US11432877B2 (en) 2017-08-02 2022-09-06 Medtech S.A. Surgical field camera system that only uses images from cameras with an unobstructed sight line for tracking
EP3672501B1 (en) 2017-08-25 2023-06-14 McGinley Engineered Solutions, LLC Sensing of surgical instrument placement relative to anatomic structures
US10861236B2 (en) 2017-09-08 2020-12-08 Surgical Theater, Inc. Dual mode augmented reality surgical system and method
US11801114B2 (en) * 2017-09-11 2023-10-31 Philipp K. Lang Augmented reality display for vascular and other interventions, compensation for cardiac and respiratory motion
AU2018345760A1 (en) 2017-10-02 2020-01-30 Mcginley Engineered Solutions, Llc Surgical instrument with real time navigation assistance
US10169850B1 (en) 2017-10-05 2019-01-01 International Business Machines Corporation Filtering of real-time visual data transmitted to a remote recipient
US11911045B2 (en) 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11801098B2 (en) 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11793537B2 (en) 2017-10-30 2023-10-24 Cilag Gmbh International Surgical instrument comprising an adaptive electrical system
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US12544109B2 (en) 2017-11-09 2026-02-10 Globus Medical, Inc. Robotic rod benders and related mechanical and motor housings
US11794338B2 (en) 2017-11-09 2023-10-24 Globus Medical Inc. Robotic rod benders and related mechanical and motor housings
US11357548B2 (en) 2017-11-09 2022-06-14 Globus Medical, Inc. Robotic rod benders and related mechanical and motor housings
US10898252B2 (en) 2017-11-09 2021-01-26 Globus Medical, Inc. Surgical robotic systems for bending surgical rods, and related methods and devices
US11134862B2 (en) 2017-11-10 2021-10-05 Globus Medical, Inc. Methods of selecting surgical implants and related devices
US12458411B2 (en) 2017-12-07 2025-11-04 Augmedics Ltd. Spinous process clamp
US12521201B2 (en) 2017-12-07 2026-01-13 Augmedics Ltd. Spinous process clamp
US11058497B2 (en) 2017-12-26 2021-07-13 Biosense Webster (Israel) Ltd. Use of augmented reality to assist navigation during medical procedures
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US20190201090A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Capacitive coupled return path pad with separable array elements
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11304763B2 (en) * 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US12396806B2 (en) 2017-12-28 2025-08-26 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US12096916B2 (en) 2017-12-28 2024-09-24 Cilag Gmbh International Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
WO2019133143A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Surgical hub and modular device response adjustment based on situational awareness
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US20190201112A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Computer implemented interactive surgical systems
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11213359B2 (en) 2017-12-28 2022-01-04 Cilag Gmbh International Controllers for robot-assisted surgical platforms
US20190201042A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Determining the state of an ultrasonic electromechanical system according to frequency shift
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11013563B2 (en) 2017-12-28 2021-05-25 Ethicon Llc Drive arrangements for robot-assisted surgical platforms
US10595887B2 (en) 2017-12-28 2020-03-24 Ethicon Llc Systems for adjusting end effector parameters based on perioperative information
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US10918310B2 (en) 2018-01-03 2021-02-16 Biosense Webster (Israel) Ltd. Fast anatomical mapping (FAM) using volume filling
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11771487B2 (en) 2017-12-28 2023-10-03 Cilag Gmbh International Mechanisms for controlling different electromechanical systems of an electrosurgical instrument
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US12062442B2 (en) 2017-12-28 2024-08-13 Cilag Gmbh International Method for operating surgical instrument systems
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US12376855B2 (en) 2017-12-28 2025-08-05 Cilag Gmbh International Safety systems for smart powered surgical stapling
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US12127729B2 (en) 2017-12-28 2024-10-29 Cilag Gmbh International Method for smoke evacuation for surgical hub
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US11612444B2 (en) 2017-12-28 2023-03-28 Cilag Gmbh International Adjustment of a surgical device function based on situational awareness
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US12458351B2 (en) 2017-12-28 2025-11-04 Cilag Gmbh International Variable output cartridge sensor assembly
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
JP2021509061A (ja) 2017-12-28 2021-03-18 エシコン エルエルシーＥｔｈｉｃｏｎ ＬＬＣ 状況認識に基づく外科用デバイスの機能の調節
US11896443B2 (en) * 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
CA3088004A1 (en) 2018-01-10 2019-07-18 Covidien Lp Guidance for positioning a patient and surgical robot
US11484365B2 (en) 2018-01-23 2022-11-01 Inneroptic Technology, Inc. Medical image guidance
US11348257B2 (en) 2018-01-29 2022-05-31 Philipp K. Lang Augmented reality guidance for orthopedic and other surgical procedures
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US11464532B2 (en) 2018-03-08 2022-10-11 Cilag Gmbh International Methods for estimating and controlling state of ultrasonic end effector
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US12303159B2 (en) 2018-03-08 2025-05-20 Cilag Gmbh International Methods for estimating and controlling state of ultrasonic end effector
US11986233B2 (en) 2018-03-08 2024-05-21 Cilag Gmbh International Adjustment of complex impedance to compensate for lost power in an articulating ultrasonic device
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US10573023B2 (en) 2018-04-09 2020-02-25 Globus Medical, Inc. Predictive visualization of medical imaging scanner component movement
TWI678181B (zh) * 2018-04-30 2019-12-01 長庚大學 手術導引系統
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A FIDUCIAL MARKER FOR AN AUGMENTED REALITY SYSTEM
CN210185692U (zh) * 2018-07-31 2020-03-27 深圳市精锋医疗科技有限公司 可调节从操作设备组件及手术机器人
JP6823018B2 (ja) * 2018-08-03 2021-01-27 ファナック株式会社 協調動作支援装置
GB2577718B (en) * 2018-10-03 2022-08-24 Cmr Surgical Ltd Feature identification
GB2577719B (en) 2018-10-03 2023-04-26 Cmr Surgical Ltd Navigational aid
GB2612246B (en) * 2018-10-03 2023-08-30 Cmr Surgical Ltd Automatic endoscope video augmentation
EP3864629A4 (en) * 2018-10-08 2022-07-27 McGinley Education Innovations, LLC AUGMENTED REALITY BASED PLAYBACK OF ULTRASONOGRAPHIC IMAGES FOR SURGICAL ASSISTANT
CN112839608B (zh) * 2018-10-15 2025-07-04 马佐尔机器人有限公司 多功能多臂机器人手术系统
US12008721B2 (en) 2018-10-26 2024-06-11 Intuitive Surgical Operations, Inc. Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US12544180B2 (en) 2018-10-26 2026-02-10 Intuitive Surgical Operations, Inc. Mixed reality systems and methods for indicating an extent of a field of view of an imaging device
US11337742B2 (en) 2018-11-05 2022-05-24 Globus Medical Inc Compliant orthopedic driver
US11278360B2 (en) 2018-11-16 2022-03-22 Globus Medical, Inc. End-effectors for surgical robotic systems having sealed optical components
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US10939977B2 (en) 2018-11-26 2021-03-09 Augmedics Ltd. Positioning marker
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11744655B2 (en) 2018-12-04 2023-09-05 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
US11602402B2 (en) 2018-12-04 2023-03-14 Globus Medical, Inc. Drill guide fixtures, cranial insertion fixtures, and related methods and robotic systems
WO2020142049A2 (en) * 2018-12-31 2020-07-09 Havelsan Hava Elektronik Sanayi Ve Ticaret Anonim Sirketi Mixed-reality haptic simulation system with real device instrument interaction and serial or parallel manipulator
WO2020160129A1 (en) 2019-01-31 2020-08-06 Intuitive Surgical Operations, Inc. Systems and methods for facilitating insertion of a surgical instrument into a surgical space
US11553969B1 (en) 2019-02-14 2023-01-17 Onpoint Medical, Inc. System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures
US11857378B1 (en) 2019-02-14 2024-01-02 Onpoint Medical, Inc. Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
US11259807B2 (en) 2019-02-19 2022-03-01 Cilag Gmbh International Staple cartridges with cam surfaces configured to engage primary and secondary portions of a lockout of a surgical stapling device
US11918313B2 (en) 2019-03-15 2024-03-05 Globus Medical Inc. Active end effectors for surgical robots
US11419616B2 (en) 2019-03-22 2022-08-23 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11317978B2 (en) 2019-03-22 2022-05-03 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11382549B2 (en) 2019-03-22 2022-07-12 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US11571265B2 (en) 2019-03-22 2023-02-07 Globus Medical Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US11806084B2 (en) 2019-03-22 2023-11-07 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, and related methods and devices
US20200297357A1 (en) 2019-03-22 2020-09-24 Globus Medical, Inc. System for neuronavigation registration and robotic trajectory guidance, robotic surgery, and related methods and devices
US12446969B2 (en) 2019-05-20 2025-10-21 Icahn School Of Medicine At Mount Sinai Robot mounted camera registration and tracking system for orthopedic and neurological surgery
AU2020280022B2 (en) 2019-05-20 2022-08-11 Icahn School Of Medicine At Mount Sinai A system and method for interaction and definition of tool pathways for a robotic cutting tool
US11045179B2 (en) 2019-05-20 2021-06-29 Global Medical Inc Robot-mounted retractor system
WO2020243631A1 (en) * 2019-05-30 2020-12-03 Icahn School Of Medicine At Mount Sinai Robot mounted camera registration and tracking system for orthopedic and neurological surgery
US11628023B2 (en) 2019-07-10 2023-04-18 Globus Medical, Inc. Robotic navigational system for interbody implants
US11288802B2 (en) 2019-07-17 2022-03-29 Gustav Lo Systems and methods for displaying augmented anatomical features
US10832486B1 (en) * 2019-07-17 2020-11-10 Gustav Lo Systems and methods for displaying augmented anatomical features
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US12178666B2 (en) 2019-07-29 2024-12-31 Augmedics Ltd. Fiducial marker
US12211151B1 (en) 2019-07-30 2025-01-28 Onpoint Medical, Inc. Systems for optimizing augmented reality displays for surgical procedures
US11529180B2 (en) 2019-08-16 2022-12-20 Mcginley Engineered Solutions, Llc Reversible pin driver
US11696671B2 (en) 2019-08-19 2023-07-11 Covidien Ag Steerable endoscope with motion alignment
EP4027912B1 (en) 2019-09-12 2024-12-18 Relievant Medsystems, Inc. Systems for tissue modulation
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
US12396692B2 (en) 2019-09-24 2025-08-26 Globus Medical, Inc. Compound curve cable chain
US11571171B2 (en) 2019-09-24 2023-02-07 Globus Medical, Inc. Compound curve cable chain
US12329391B2 (en) 2019-09-27 2025-06-17 Globus Medical, Inc. Systems and methods for robot-assisted knee arthroplasty surgery
US12408929B2 (en) 2019-09-27 2025-09-09 Globus Medical, Inc. Systems and methods for navigating a pin guide driver
US11890066B2 (en) 2019-09-30 2024-02-06 Globus Medical, Inc Surgical robot with passive end effector
US11864857B2 (en) 2019-09-27 2024-01-09 Globus Medical, Inc. Surgical robot with passive end effector
US11426178B2 (en) 2019-09-27 2022-08-30 Globus Medical Inc. Systems and methods for navigating a pin guide driver
US11510684B2 (en) 2019-10-14 2022-11-29 Globus Medical, Inc. Rotary motion passive end effector for surgical robots in orthopedic surgeries
WO2021092194A1 (en) * 2019-11-05 2021-05-14 Vicarious Surgical Inc. Surgical virtual reality user interface
US20210128265A1 (en) * 2019-11-06 2021-05-06 ViT, Inc. Real-Time Ultrasound Imaging Overlay Using Augmented Reality
US11871904B2 (en) * 2019-11-08 2024-01-16 Covidien Ag Steerable endoscope system with augmented view
US12133772B2 (en) 2019-12-10 2024-11-05 Globus Medical, Inc. Augmented reality headset for navigated robotic surgery
US12220176B2 (en) 2019-12-10 2025-02-11 Globus Medical, Inc. Extended reality instrument interaction zone for navigated robotic
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US12064189B2 (en) 2019-12-13 2024-08-20 Globus Medical, Inc. Navigated instrument for use in robotic guided surgery
WO2021126786A1 (en) * 2019-12-16 2021-06-24 Intuitive Surgical Operations, Inc. Systems and methods for identifying and facilitating an intended interaction with a target object in a surgical space
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11864841B2 (en) 2019-12-31 2024-01-09 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US11607287B2 (en) 2019-12-31 2023-03-21 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US11409091B2 (en) * 2019-12-31 2022-08-09 Carl Zeiss Meditec Ag Method of operating a surgical microscope and surgical microscope
US11237627B2 (en) * 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
WO2021155334A1 (en) * 2020-01-31 2021-08-05 Surgical Theater, Inc. System and method for augmenting and synchronizing a virtual model with a physical model
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US12414752B2 (en) 2020-02-17 2025-09-16 Globus Medical, Inc. System and method of determining optimal 3-dimensional position and orientation of imaging device for imaging patient bones
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
CN113317877B (zh) * 2020-02-28 2022-06-17 上海微创卜算子医疗科技有限公司 增强现实手术机器人系统及增强现实设备
CN119367155A (zh) * 2020-04-10 2025-01-28 川崎重工业株式会社 医疗用移动体系统及其运行方法
US11832883B2 (en) 2020-04-23 2023-12-05 Johnson & Johnson Surgical Vision, Inc. Using real-time images for augmented-reality visualization of an ophthalmology surgical tool
US12201266B2 (en) 2020-04-23 2025-01-21 Johnson & Johnson Surgical Vision, Inc. Location pad surrounding at least part of patient eye and having optical tracking elements
US11253216B2 (en) 2020-04-28 2022-02-22 Globus Medical Inc. Fixtures for fluoroscopic imaging systems and related navigation systems and methods
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11701176B2 (en) 2020-05-06 2023-07-18 Warsaw Orthopedic, Inc. Spinal surgery system and methods of use
US12042341B2 (en) 2020-05-06 2024-07-23 Howmedica Osteonics Corp. Registration marker with anti-rotation base for orthopedic surgical procedures
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
US12211154B2 (en) 2020-05-11 2025-01-28 Intuitive Surgical Operations, Inc. Systems and methods for region-based presentation of augmented content
CN115668390A (zh) 2020-05-29 2023-01-31 美敦力公司 用于心脏分流手术的扩展现实(xr)应用
US11317973B2 (en) 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
US12070276B2 (en) 2020-06-09 2024-08-27 Globus Medical Inc. Surgical object tracking in visible light via fiducial seeding and synthetic image registration
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US11382713B2 (en) 2020-06-16 2022-07-12 Globus Medical, Inc. Navigated surgical system with eye to XR headset display calibration
US12426964B2 (en) 2020-06-30 2025-09-30 Mazor Robotics Ltd. Time-spaced robotic reference frames
WO2022011115A1 (en) 2020-07-10 2022-01-13 Relievant Medsystems, Inc. Vertebral denervation in conjunction with vertebral fusion
CN111839727A (zh) * 2020-07-10 2020-10-30 哈尔滨理工大学 基于增强现实的前列腺粒子植入路径可视化方法及系统
US11877807B2 (en) 2020-07-10 2024-01-23 Globus Medical, Inc Instruments for navigated orthopedic surgeries
US12376919B2 (en) 2020-07-15 2025-08-05 Orthosoft Ulc Robotic device and sterilization unit for surgical instrument
US11793588B2 (en) 2020-07-23 2023-10-24 Globus Medical, Inc. Sterile draping of robotic arms
US11357594B2 (en) 2020-08-07 2022-06-14 Johnson & Johnson Surgical Vision, Inc. Jig assembled on stereoscopic surgical microscope for applying augmented reality techniques to surgical procedures
EP4193589B1 (en) 2020-08-07 2024-07-03 Brainlab AG Real time augmentation
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
US11817201B2 (en) 2020-09-08 2023-11-14 Medtronic, Inc. Imaging discovery utility for augmenting clinical image management
US12502163B2 (en) 2020-09-09 2025-12-23 Augmedics Ltd. Universal tool adapter for image-guided surgery
US12239385B2 (en) 2020-09-09 2025-03-04 Augmedics Ltd. Universal tool adapter
US11523785B2 (en) 2020-09-24 2022-12-13 Globus Medical, Inc. Increased cone beam computed tomography volume length without requiring stitching or longitudinal C-arm movement
US12274525B2 (en) 2020-09-29 2025-04-15 Mazor Robotics Ltd. Systems and methods for tracking anatomical motion
DE102020126029A1 (de) * 2020-10-05 2022-04-07 B. Braun New Ventures GmbH Chirurgisches Assistenzsystem und Darstellungsverfahren
CN111991084B (zh) * 2020-10-08 2022-04-26 深圳市精锋医疗科技股份有限公司 手术机器人及其虚拟成像控制方法、虚拟成像控制装置
US12076091B2 (en) 2020-10-27 2024-09-03 Globus Medical, Inc. Robotic navigational system
US11911112B2 (en) 2020-10-27 2024-02-27 Globus Medical, Inc. Robotic navigational system
US11941814B2 (en) 2020-11-04 2024-03-26 Globus Medical Inc. Auto segmentation using 2-D images taken during 3-D imaging spin
USD1022197S1 (en) 2020-11-19 2024-04-09 Auris Health, Inc. Endoscope
US11717350B2 (en) 2020-11-24 2023-08-08 Globus Medical Inc. Methods for robotic assistance and navigation in spinal surgery and related systems
US12053247B1 (en) 2020-12-04 2024-08-06 Onpoint Medical, Inc. System for multi-directional tracking of head mounted displays for real-time augmented reality guidance of surgical procedures
AU2021409967A1 (en) 2020-12-22 2023-08-03 Relievant Medsystems, Inc. Prediction of candidates for spinal neuromodulation
US12016633B2 (en) 2020-12-30 2024-06-25 Novarad Corporation Alignment of medical images in augmented reality displays
US12161433B2 (en) 2021-01-08 2024-12-10 Globus Medical, Inc. System and method for ligament balancing with robotic assistance
US12465441B2 (en) 2021-02-01 2025-11-11 Mazor Robotics Ltd. Multi-arm robotic systems and methods for identifying a target
US12508085B2 (en) 2021-02-04 2025-12-30 Mazor Robotics Ltd. Systems, methods, and devices for verifying mechanical coupling between anatomical elements
WO2022192585A1 (en) 2021-03-10 2022-09-15 Onpoint Medical, Inc. Augmented reality guidance for imaging systems and robotic surgery
AU2022239314A1 (en) * 2021-03-15 2023-09-28 Relievant Medsystems, Inc. Robotic spine systems and robotic-assisted methods for tissue modulation
US12150728B2 (en) 2021-04-14 2024-11-26 Globus Medical, Inc. End effector for a surgical robot
US12178523B2 (en) 2021-04-19 2024-12-31 Globus Medical, Inc. Computer assisted surgical navigation system for spine procedures
US12295719B2 (en) 2021-05-06 2025-05-13 Covidien Lp Endoscope navigation system with updating anatomy model
US12558167B2 (en) 2021-05-12 2026-02-24 Medtronic, Inc. Extended intelligence for cardiac implantable electronic device (CIED) placement procedures
CN113367793A (zh) * 2021-06-07 2021-09-10 苏州苏穗绿梦生物技术有限公司 一种基于增强现实的牙科用机器人及人机交互方法
DE102021205700B4 (de) * 2021-06-07 2023-07-06 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer erweiterten Realität und Verfahren zum Bereitstellen einer erweiterten Realität
US12458454B2 (en) 2021-06-21 2025-11-04 Globus Medical, Inc. Gravity compensation of end effector arm for robotic surgical system
US11857273B2 (en) 2021-07-06 2024-01-02 Globus Medical, Inc. Ultrasonic robotic surgical navigation
US12484969B2 (en) 2021-07-06 2025-12-02 Globdus Medical Inc. Ultrasonic robotic surgical navigation
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US11439444B1 (en) 2021-07-22 2022-09-13 Globus Medical, Inc. Screw tower and rod reduction tool
US12150821B2 (en) 2021-07-29 2024-11-26 Augmedics Ltd. Rotating marker and adapter for image-guided surgery
US12475662B2 (en) 2021-08-18 2025-11-18 Augmedics Ltd. Stereoscopic display and digital loupe for augmented-reality near-eye display
US12213745B2 (en) 2021-09-16 2025-02-04 Globus Medical, Inc. Extended reality systems for visualizing and controlling operating room equipment
US12238087B2 (en) 2021-10-04 2025-02-25 Globus Medical, Inc. Validating credential keys based on combinations of credential value strings and input order strings
US12184636B2 (en) 2021-10-04 2024-12-31 Globus Medical, Inc. Validating credential keys based on combinations of credential value strings and input order strings
US12602775B2 (en) 2021-10-20 2026-04-14 Globus Medical Inc. Interpolation of medical images
US12532069B2 (en) 2021-10-20 2026-01-20 Covidien Lp Video laryngoscope wireless hub systems and methods
WO2023069782A1 (en) * 2021-10-23 2023-04-27 Simulated Inanimate Models, LLC Procedure guidance and training apparatus, methods and systems
US12482192B2 (en) * 2021-11-03 2025-11-25 The Regents Of The University California Collaborative mixed-reality system for immersive surgical telementoring
US12433668B1 (en) 2021-11-08 2025-10-07 Relievant Medsystems, Inc. Impedance stoppage mitigation during radiofrequency tissue ablation procedures
US11948265B2 (en) 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting
US20230165639A1 (en) 2021-12-01 2023-06-01 Globus Medical, Inc. Extended reality systems with three-dimensional visualizations of medical image scan slices
US11918304B2 (en) 2021-12-20 2024-03-05 Globus Medical, Inc Flat panel registration fixture and method of using same
US12433761B1 (en) 2022-01-20 2025-10-07 Onpoint Medical, Inc. Systems and methods for determining the shape of spinal rods and spinal interbody devices for use with augmented reality displays, navigation systems and robots in minimally invasive spine procedures
US12557979B2 (en) 2022-02-07 2026-02-24 Covidien Lp Video laryngoscope with window for infrared pairing
US12544146B2 (en) 2022-02-11 2026-02-10 Globus Medical, Inc. Apparatus and method for removing circular trackers attached to a tracking array
CN116687562B (zh) * 2022-02-28 2026-03-24 北京歌锐科技有限公司 一种图像标注方法及系统
WO2023172109A1 (ko) * 2022-03-11 2023-09-14 주식회사 림사이언스 디지털 트윈을 이용하여 니들의 경로를 관리하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US12103480B2 (en) 2022-03-18 2024-10-01 Globus Medical Inc. Omni-wheel cable pusher
US12048493B2 (en) 2022-03-31 2024-07-30 Globus Medical, Inc. Camera tracking system identifying phantom markers during computer assisted surgery navigation
WO2023203521A1 (en) 2022-04-21 2023-10-26 Augmedics Ltd. Systems and methods for medical image visualization
US12394086B2 (en) 2022-05-10 2025-08-19 Globus Medical, Inc. Accuracy check and automatic calibration of tracked instruments
US12161427B2 (en) 2022-06-08 2024-12-10 Globus Medical, Inc. Surgical navigation system with flat panel registration fixture
US20240020840A1 (en) 2022-07-15 2024-01-18 Globus Medical, Inc. REGISTRATION OF 3D and 2D IMAGES FOR SURGICAL NAVIGATION AND ROBOTIC GUIDANCE WITHOUT USING RADIOPAQUE FIDUCIALS IN THE IMAGES
US12226169B2 (en) 2022-07-15 2025-02-18 Globus Medical, Inc. Registration of 3D and 2D images for surgical navigation and robotic guidance without using radiopaque fiducials in the images
US12487466B2 (en) 2022-07-28 2025-12-02 Snap Inc. Magnified overlays correlated with virtual markers
US12210667B2 (en) * 2022-08-05 2025-01-28 Snap Inc. Medical image overlays for augmented reality experiences
JP2025531829A (ja) 2022-09-13 2025-09-25 オーグメディックス リミテッド 画像誘導医療介入のための拡張現実アイウェア
US12400650B2 (en) 2022-10-11 2025-08-26 Snap Inc. Media control tools for managing communications between devices
US12318150B2 (en) 2022-10-11 2025-06-03 Globus Medical Inc. Camera tracking system for computer assisted surgery navigation
USD1120318S1 (en) 2022-10-19 2026-03-24 Covidien Lp Media module relay for video laryngoscope
US12502220B2 (en) 2022-11-15 2025-12-23 Globus Medical, Inc. Machine learning system for spinal surgeries
EP4649371A1 (en) * 2023-01-09 2025-11-19 Covidien LP Surgical robotic system and method for communication between surgeon console and bedside assistant

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847336B1 (en) * 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6659939B2 (en) * 1998-11-20 2003-12-09 Intuitive Surgical, Inc. Cooperative minimally invasive telesurgical system
US8944070B2 (en) * 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US6856324B2 (en) * 2001-03-27 2005-02-15 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with guiding graphics
US7774044B2 (en) * 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
US20050181340A1 (en) * 2004-02-17 2005-08-18 Haluck Randy S. Adaptive simulation environment particularly suited to laparoscopic surgical procedures
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US9289267B2 (en) * 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
US8620473B2 (en) * 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9138129B2 (en) * 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
WO2009094646A2 (en) * 2008-01-24 2009-07-30 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for image guided ablation
WO2010054473A1 (en) * 2008-11-13 2010-05-20 Queen's University At Kingston System and method for integrating gaze tracking with virtual reality or augmented reality
KR100997759B1 (ko) 2008-12-30 2010-12-01 전남대학교산학협력단 영상 유도 원격 수술 로봇 시스템
JP2010200894A (ja) 2009-03-02 2010-09-16 Tadashi Ukimura 手術支援システム及び手術ロボットシステム
US20110254829A1 (en) 2010-04-16 2011-10-20 Sony Ericsson Mobile Communications Ab Wearable electronic device, viewing system and display device as well as method for operating a wearable electronic device and method for operating a viewing system
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US20120071757A1 (en) * 2010-09-17 2012-03-22 University Of British Columbia Ultrasound Registration
KR101891138B1 (ko) * 2010-11-11 2018-08-23 더 존스 홉킨스 유니버시티 인간-기계 협력 로봇 시스템
KR101447931B1 (ko) 2011-04-12 2014-10-13 (주)미래컴퍼니 증강현실을 이용한 수술 로봇 시스템 및 그 제어 방법
US20150366628A1 (en) * 2014-06-18 2015-12-24 Covidien Lp Augmented surgical reality environment system

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10571671B2 (en) 2014-03-31 2020-02-25 Sony Corporation Surgical control device, control method, and imaging control system
US11819273B2 (en) 2015-03-17 2023-11-21 Raytrx, Llc Augmented and extended reality glasses for use in surgery visualization and telesurgery
KR101667152B1 (ko) * 2015-05-22 2016-10-24 고려대학교 산학협력단 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법
WO2016190607A1 (ko) * 2015-05-22 2016-12-01 고려대학교 산학협력단 수술 지원 영상을 제공하는 스마트 글라스 시스템 및 스마트 글라스를 이용한 수술 지원 영상 제공 방법
WO2016195401A1 (ko) * 2015-06-05 2016-12-08 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템
KR101647467B1 (ko) * 2015-06-05 2016-08-11 주식회사 메드릭스 증강현실을 이용한 외과 수술용 3d 안경 시스템
WO2017171295A1 (ko) * 2016-03-29 2017-10-05 사회복지법인 삼성생명공익재단 환자의 악골의 움직임 추정이 반영된 증강현실 시스템 및 증강현실 제공방법
KR101868120B1 (ko) * 2016-12-01 2018-06-18 재단법인 아산사회복지재단 비방사선적 교정 수술을 위한 증강현실 각도기 장치 및 방법
KR20190102060A (ko) * 2017-01-11 2019-09-02 매직 립, 인코포레이티드 의료 보조기
US12211599B2 (en) 2017-01-11 2025-01-28 Magic Leap, Inc. Medical assistant
US12080393B2 (en) 2017-01-11 2024-09-03 Magic Leap, Inc. Medical assistant
KR20190004591A (ko) * 2017-07-04 2019-01-14 경희대학교 산학협력단 증강현실 기술을 이용한 간병변 수술 내비게이션 시스템 및 장기 영상 디스플레이 방법
KR20190018906A (ko) * 2017-08-16 2019-02-26 연세대학교 원주산학협력단 증강현실이나 가상현실에 기초하여 가상의 인체 장기를 렌더링하는 이동 단말기 및 이를 이용하는 시스템
KR20190066937A (ko) * 2017-12-06 2019-06-14 조선대학교산학협력단 저장 매체에 저장된 수술 네비게이션 컴퓨터 프로그램, 그 프로그램이 저장된 스마트 기기 및 수술 네비게이션 시스템
WO2019164272A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술영상 제공 방법 및 장치
KR102013837B1 (ko) * 2018-02-20 2019-10-21 (주)휴톰 수술영상 제공 방법 및 장치
WO2019177711A1 (en) * 2018-03-13 2019-09-19 Intuitive Surgical Operations, Inc. Methods of guiding manual movement of medical systems
US12369986B2 (en) 2018-03-13 2025-07-29 Intuitive Surgical Operations, Inc. Methods of guiding manual movement of medical systems
KR20190116601A (ko) * 2018-04-03 2019-10-15 (주)다울디엔에스 Ar 기반 저작도구를 이용한 외과 수술 교육 시스템
KR20190130777A (ko) * 2018-05-15 2019-11-25 주식회사 삼육오엠씨네트웍스 복강경 수술 시뮬레이션 장치
JP2018161526A (ja) * 2018-07-03 2018-10-18 ソニー株式会社 医療用観察システム、医療用観察方法、および医療用制御装置
KR20200049646A (ko) * 2018-10-29 2020-05-08 주식회사 매니아마인드 미세수술 및 인젝션을 포함한 메디컬 트레이닝 가상현실 장치
KR20200060660A (ko) * 2018-11-22 2020-06-01 (주)다울디엔에스 Ar 수술 응용시스템 기반 지식베이스 저작 시스템
WO2021030129A1 (en) * 2019-08-14 2021-02-18 Warsaw Orthopedic, Inc. Systems, devices, and methods for surgical navigation with anatomical tracking
US11672607B2 (en) 2019-08-14 2023-06-13 Warsaw Orthopedic, Inc. Systems, devices, and methods for surgical navigation with anatomical tracking
WO2021062375A1 (en) * 2019-09-27 2021-04-01 Raytrx, Llc Augmented and extended reality glasses for use in surgery visualization and telesurgery
WO2021112312A1 (ko) * 2019-12-06 2021-06-10 서울대학교산학협력단 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법
US12142367B2 (en) 2020-02-21 2024-11-12 Raytrx, Llc Surgery visualization theatre
US12462924B2 (en) 2020-02-21 2025-11-04 Raytrx, Llc AXR visualization system
US12211611B2 (en) 2020-02-21 2025-01-28 Raytrx, Llc Surgery visualization theatre
US11628038B2 (en) 2020-02-21 2023-04-18 Raytrx, Llc Multi-option all-digital 3D surgery visualization system and control
KR20210138553A (ko) * 2020-04-01 2021-11-19 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
KR20210122575A (ko) * 2020-04-01 2021-10-12 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
WO2021201434A1 (ko) * 2020-04-01 2021-10-07 고려대학교 산학협력단 증강 현실을 이용한 수술 가이드 방법 및 장치
US12602879B2 (en) 2020-04-01 2026-04-14 Korea University Research And Business Foundation Method and device for providing surgical guide using augmented reality
KR20210156703A (ko) * 2020-06-18 2021-12-27 주식회사 디엠에프 ３차원 안면 스캔데이터 및 ａｒ 글래스를 이용한 실시간 가시화 서비스 제공 방법
KR20220020634A (ko) * 2020-08-12 2022-02-21 재단법인대구경북과학기술원 피부 마커를 이용한 손목 관절경 수술의 증강현실 네비게이션 시스템 및 그 방법
KR20220087352A (ko) 2020-12-17 2022-06-24 (주)스마트큐브 인체기관 및 상응하는 청진음을 증강시키기 위한 장치 및 이를 위한 방법
WO2022181919A1 (ko) * 2021-02-26 2022-09-01 (주)휴톰 가상 현실 기반의 수술 환경을 제공하는 장치 및 방법
WO2023003389A1 (ko) * 2021-07-21 2023-01-26 (주)휴톰 환자의 3차원 가상 기복 모델 상에 트로카의 삽입 위치를 결정하는 장치 및 방법
KR20230073443A (ko) * 2021-11-18 2023-05-26 (주)에이트원 증강현실 기반의 항공 정비 지원 방법
KR102576673B1 (ko) * 2022-12-12 2023-09-08 (주)투비시스템 증강 현실 기반의 작업 가이드 방법
KR20240123080A (ko) * 2023-02-06 2024-08-13 주식회사 메디씨티 증강 현실을 이용하여 개선된 수술 컨텐츠를 제공하는 방법 및 이를 수행하는 수술 컨텐츠 제공 시스템

Also Published As

Publication number Publication date
US9767608B2 (en) 2017-09-19
US20140275760A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
KR20140112207A (ko) 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US12440290B2 (en) Systems and methods for projecting an endoscopic image to a three-dimensional volume
US20250191309A1 (en) Remote surgical mentoring
KR20140139840A (ko) 디스플레이 장치 및 그 제어방법
KR102171873B1 (ko) 햅틱 글로브 및 수술로봇 시스템
JP6714085B2 (ja) ロボット手術のために仮想現実デバイスを使用するシステム、コントローラ、及び方法
KR102119534B1 (ko) 수술 로봇 및 그 제어방법
JP5707449B2 (ja) コンピュータディスプレイ画面の境界領域に表示されるツール位置および識別指標
CN101193603B (zh) 腹腔镜的超声机器人外科手术系统
US20240325098A1 (en) Systems and methods for controlling tool with articulatable distal portion
KR20140115575A (ko) 수술 로봇 시스템 및 그 제어 방법
CN108778085B (zh) 图像处理设备、内窥镜手术系统以及图像处理方法
US20250117073A1 (en) Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
JP2019162339A (ja) 手術支援システムおよび表示方法
JP2023507063A (ja) 手術中に画像取込装置を制御するための方法、装置、およびシステム
CN114760903A (zh) 用于在外科手术期间控制图像捕获设备的方法、装置、以及系统
JP2018075218A (ja) 医療用支持アーム及び医療用システム
KR20140130815A (ko) 수술용 트로카 및 이를 이용한 영상 획득 방법
WO2019155931A1 (ja) 手術システム、画像処理装置及び画像処理方法
JP2025501192A (ja) オフスクリーンインジケータビューアユーザーインターフェース
CN119546249A (zh) 动态柔性窥镜驱动器及其使用方法
US11850004B2 (en) Systems and methods for determining an arrangement of explanted tissue and for displaying tissue information
US20250235287A1 (en) Computer-assisted distance measurement in a surgical space
US20260000468A1 (en) Computer-assisted content control in dual operator configuration
WO2025212319A1 (en) Computer-assisted annotation of subsurface structures onto a surface

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130313

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180223

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130313

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190930

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20200418

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20190930

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20200418

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20191202

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20200529

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20200518

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20200418

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20191202

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20190930

X601 Decision of rejection after re-examination