WO2020101283A1 - 증강 현실을 이용한 수술 보조 장치 - Google Patents

증강 현실을 이용한 수술 보조 장치 Download PDF

Info

Publication number
WO2020101283A1
WO2020101283A1 PCT/KR2019/015171 KR2019015171W WO2020101283A1 WO 2020101283 A1 WO2020101283 A1 WO 2020101283A1 KR 2019015171 W KR2019015171 W KR 2019015171W WO 2020101283 A1 WO2020101283 A1 WO 2020101283A1
Authority
WO
WIPO (PCT)
Prior art keywords
surgical
augmented reality
server
image
wearer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/015171
Other languages
English (en)
French (fr)
Inventor
임승준
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2021526447A priority Critical patent/JP7014935B2/ja
Priority to US17/293,335 priority patent/US11291521B2/en
Priority to EP19883515.9A priority patent/EP3881792A4/en
Priority to CN201980074954.8A priority patent/CN113038902B/zh
Publication of WO2020101283A1 publication Critical patent/WO2020101283A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00216—Electrical control of surgical instruments with eye tracking or head position tracking control
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00221—Electrical control of surgical instruments with wireless transmission of data, e.g. by infrared radiation or radiowaves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/252—User interfaces for surgical systems indicating steps of a surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A61B2090/3612—Image-producing devices, e.g. surgical cameras with images taken automatically
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches

Definitions

  • the present invention is a surgical aid device using augmented reality, and more specifically, a surgical aid device using augmented reality to make surgery successful by providing various information related to surgery using augmented reality in smart glasses used by a wearer It is about.
  • an image photographed through a camera is displayed on a monitor and treatment is performed using the image.
  • an image photographed through a camera is displayed on a monitor and treatment is performed using the image.
  • a loupe to enlarge a specific body part, surgery or surgery is easily performed.
  • the problem to be solved by the present invention is to add an augmented reality to an image of a surgical site photographed by a camera and display it on a wearer's smart glasses, thereby assisting a surgical assistive device using augmented reality to provide information to the wearer that is substantially conducive to surgery To provide.
  • a surgical assistance device using augmented reality for solving the above problems is a camera for photographing a patient's affected area or surgical site, a wireless transmission device for receiving and transmitting the image taken by the camera in real time, It includes smart glasses that display an image transmitted by a wireless transmission device to a wearer, and an AR server that provides augmented reality to the wearer by adding augmented reality to the image.
  • a surgical assistance device using augmented reality for solving the above problems includes a camera for photographing a patient's affected area or surgical site; A wireless transmission device that receives and transmits an image captured by the camera in real time; Smart glasses displaying the image transmitted by the wireless transmission equipment to a wearer; An AR server that adds augmented reality to the image and provides the wearer with an AR image to which the augmented reality is applied; And a data storage unit for storing one or both of the captured image and the AR image captured by the camera, wherein the AR server is a category item that is preset for any one or both of the captured image and the AR image.
  • the image segments added as a result of performing the categorization operation are classified into categories and stored in the data storage unit, and a request for consultation occurs.
  • the AR server selects a consultation specialist according to a preset selection criteria of a consultation specialist, and selects and provides a video portion required for the selected consultation specialist from among video portions classified by categories stored in the data storage unit. do.
  • augmented reality is added to an image of a surgical site photographed by a camera to be displayed on the wearer's smart glasses, thereby providing information to the wearer that is substantially conducive to surgery.
  • FIG 1 and 2 are views showing a partial configuration of a surgical aid device using augmented reality according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram of a surgical assistant device using augmented reality according to an embodiment of the present invention.
  • FIGS. 4 and 5 are diagrams showing an embodiment in which a surgical assist device using augmented reality according to an embodiment of the present invention provides a surgical list tree.
  • FIG. 6 is a view showing an embodiment of presenting a surgical method on the basis of an image provided with a surgical assistant using augmented reality according to an embodiment of the present invention.
  • FIG. 7 is a view showing a state in which a surgical assist device using augmented reality according to an embodiment of the present invention emphasizes the surgical site.
  • FIG. 8 is a view showing a state in which a surgical assist device using augmented reality according to an embodiment of the present invention flashes information out of a safe range among surgical information.
  • FIG. 9 is a view showing a state in which a surgical assist device using augmented reality according to an embodiment of the present invention presents a real surgical progress state and an ideal surgical progress state to a wearer.
  • FIG. 10 is a view showing an embodiment in which a surgical assist device using augmented reality according to an embodiment of the present invention provides a cooperative list tree.
  • FIG. 11 is a view showing a state in which a surgical assistant using an augmented reality according to an embodiment of the present invention re-arranges the order of a surgical method and provides it again.
  • FIG. 12 is a view showing a state in which a surgical assist device using augmented reality according to another embodiment of the present invention provides augmented reality to a plurality of smart glasses upon consultation.
  • FIGS. 1 to 3 a surgical assist device using augmented reality according to an embodiment of the present invention will be described.
  • 1 and 2 are views showing a partial configuration of a surgical aid device using augmented reality according to an embodiment of the present invention.
  • 3 is a conceptual diagram of a surgical assistant device using augmented reality according to an embodiment of the present invention.
  • the surgical assistant device using augmented reality includes a camera 10, a wireless transmission device 30, smart glasses 70 and an AR server 100 do.
  • the camera 10 is a device for photographing a patient's affected area or surgical site, and in some cases, with the help of the lighting 20, the image can be captured more clearly.
  • the camera 10 may be a separate configuration from the smart glasses 70 to be described later, or alternatively, may be a form that can be detached to the smart glasses 70.
  • the wireless transmission device 30 is a device that receives an image captured by the camera 10 in real time and transmits it to another device. Specifically, the wireless transmission equipment 30 may provide an image captured by the camera 10 to the smart glasses 70 to be described later, whereby the affected part is displayed on the spectacle lenses 50 and 60 of the smart glasses 70 Can be.
  • the wireless transmission equipment 30 may provide an image captured by the camera 10 to the AR server 100, and the AR server 100 provided with the image generates augmented reality related to augmented reality or augmented reality.
  • the reality-added image may be directly transmitted to the smart glasses 70 or may be transmitted to the wireless transmission equipment 30.
  • the smart glasses 70 are glasses that display an image transmitted by the wireless transmission equipment 30 to the wearer. More specifically, the camera 10 provides the captured image to the wireless transmission equipment 30, and the wireless transmission equipment 30 provided with the image is placed on the eyeglass lenses 50 and 60 of the smart glasses 70. Video can be displayed.
  • the image photographed by the camera 10 may be provided to the AR server 100 through the wireless transmission equipment 30, and the AR server 100 generates augmented reality related to the received image and augments the generated image.
  • the image to which the reality or augmented reality is added may be transmitted to the wireless transmission device 30.
  • the wireless transmission equipment 30 may display an image with augmented reality on the eyeglass lenses 50 and 60 of the smart glasses 70.
  • the AR server 100 may display the image to which the augmented reality is added on the spectacle lenses 50 and 60 of the smart glasses 70 without going through the wireless transmission equipment 30.
  • the smart glasses 70 may include one or more motion detection sensors 40 of a gyro sensor, a geomagnetic sensor, an angular speed sensor, and a six-axis sensor. Accordingly, the motion detection sensor 40 may detect whether the wearer of the smart glasses 70 such as a doctor moves his head or face and the number of attempts of each motion.
  • the motion detection sensor 40 performs such movement. Can be detected.
  • the motion detection sensor 40 may detect whether each motion is performed only once or multiple times. According to another embodiment, when there are multiple movements, the motion detection sensor 40 may detect a time interval between each movement.
  • Each of these movements has a different meaning, and various actions can be caused by adjusting the shape of the wearer's face movement, the number of attempts of each movement, or the time interval between each movement.
  • the active display may be moved left or right on the tree.
  • a new window located on the left or right side may appear on the spectacle lenses 50 and 60.
  • the active mark on the tree can be moved up and down.
  • any item can be selected as a click on the tree.
  • the wearer wearing the smart glasses 70 moves the face left and right, back and forth, up and down, or according to the number of movements, the wearer moves certain items while moving left and right and up and down in the tree on the glasses lenses 50 and 60. You can select it or have a new window appear.
  • the specific face movement or the number of movements may mean image storage and transmission of the stored image.
  • the AR server 100 is a server that provides augmented reality to a wearer by adding augmented reality to an image captured by the camera 10.
  • the image captured by the camera 10 may be provided to the AR server 100 via the wireless transmission equipment 30, and the AR server 100 generates augmented reality related to the received image,
  • the generated augmented reality or augmented reality added image may be transmitted to the wireless transmission device 30.
  • the wireless transmission equipment 30 may display an image with augmented reality on the eyeglass lenses 50 and 60 of the smart glasses 70.
  • the AR server 100 may display the image to which the augmented reality is added on the spectacle lenses 50 and 60 of the smart glasses 70 without going through the wireless transmission equipment 30.
  • the AR server 100 may analyze an image using an AI (Artificial Intelligence) function.
  • AI Artificial Intelligence
  • the AR server 100 may divide an image into segments according to a predetermined criterion using the mounted AI.
  • the AR server 100 may classify and classify portions of the image divided by the corresponding predetermined criteria using AI.
  • the predetermined criteria may be provided with various criteria such as currently used surgical tools, medications used, surgical methods, surgical areas, whether AR timers are used, history of surgical participation history, profiles, and the like, AR server 100
  • the AI may store and store mark information for the corresponding criteria in the portion of the image.
  • the AI of the AR server 100 may add the mark information 'A surgical tool' to the image to store an image portion.
  • the AI of the AR server 100 uses the video from 10: 3 to 8 as a part.
  • the mark information eg, in the form of a hashtag-# anesthetic B
  • the image part can be classified and stored as separate data.
  • the above-described camera 10, wireless transmission equipment 30, and smart glasses 70 may be installed in the equipment holder 90, and additionally, display equipment 80 may be installed in the equipment holder 90. Thereby, an image photographed by the camera 10 or an image to which augmented reality is added may be displayed.
  • the length of the leg of the equipment holder 90 can be adjusted, so that the height of the equipment can be adjusted as a whole.
  • the surgical assistant device using augmented reality may further include a data storage unit (not shown).
  • the data storage unit may store the image captured by the camera and / or the AR image generated by the AR server 100 applying augmented reality to the image captured by the camera.
  • FIGS. 4 and 5 are diagrams showing an embodiment in which a surgical assist device using augmented reality according to an embodiment of the present invention provides a surgical list tree.
  • a surgical assist device using augmented reality may provide a surgical list tree.
  • the AR server 100 may provide a surgical list tree as augmented reality, and the surgical list tree may be displayed on the spectacle lenses 50 and 60 of the smart glasses 70.
  • the wearer may select a surgical item to be performed on the displayed surgical list tree, and when the wearer selects a specific surgical item, a corresponding surgical method may be provided as an image. In this case, the wearer can perform the operation more easily and safely because the operation is performed according to the provided image.
  • the wearer activates a surgical item to be applied to a patient in the surgical list tree by adjusting the number of turns of the face left or right or left or right. I can do it.
  • the activated surgical item can be clicked to provide the surgical method of the surgical item to augmented reality.
  • the wearer may turn the face twice to the right to activate the lung cancer item by reaching the lung cancer. Thereafter, the wearer may select a lung cancer item by performing a click operation to move the face once or twice forward.
  • a surgical method of lung cancer can be provided on the spectacle lenses 50 and 60 in augmented reality.
  • FIG. 6 is a view showing an embodiment of presenting a surgical method on the basis of an image provided with a surgical assistant using augmented reality according to an embodiment of the present invention.
  • the surgical assisting apparatus using augmented reality may present a surgical method based on an image provided by the camera 10.
  • the camera 10 may provide an image to the wireless transmission equipment 30 after photographing the affected area or the surgical site.
  • the wireless transmission device 30 may transmit the provided image to the AR server 100, and the AR server 100 analyzes the image by using AI (Artificial Intelligence) function, and provides a surgical method required for the image as augmented reality can do.
  • AI Artificial Intelligence
  • the wearer can select whether to use the surgical method provided by the AR server 100 by turning the face left or right, moving back and forth, or rotating the face, and when the surgical method provided by the wearer is accepted
  • the image may be provided in augmented reality.
  • the wearer may reject the surgical method provided by the AR server 100, and accordingly, may rotate the face from side to side, move back and forth, or rotate the face to request the AR server 100 for another surgical method. have.
  • the AR server 100 may additionally propose a surgical tool according to the surgical method provided, and as a result, it is possible to prevent a wearer from accidentally using the wrong surgical tool.
  • FIG. 7 is a view showing a state in which a surgical assist device using augmented reality according to an embodiment of the present invention emphasizes the surgical site.
  • a surgical assist device using augmented reality may emphasize a surgical site to a wearer.
  • an augmented reality may be provided as an augmented reality such as a square dotted line to the area to be excised, so that the wearer can accurately identify the area to be excised.
  • 'time elapsed from the time of ablation to the present (ex. 3 seconds, 4 seconds, etc.)' may be displayed in real time on the ablation site in augmented reality.
  • the augmented reality may emphasize a region to be operated in the affected area, and when there are a plurality of regions to be operated on, the region to be operated sequentially may be emphasized. In this case, the wearer can accurately grasp the order of the operation, thereby preventing the wrong operation.
  • FIG. 8 is a view showing a state in which a surgical assist device using augmented reality according to an embodiment of the present invention flashes information out of a safe range among surgical information.
  • a surgical assistance device using augmented reality may blink information out of a safety range among surgical information.
  • the information provided by the augmented reality may be any one or more of the surgical information of the patient's pulse rate, blood pressure, elapsed operation time, and anesthesia effective time, and among these surgical information, surgical information outside the safety range may blink to warn the wearer.
  • the anesthesia expiration time may be flashed to warn the wearer that the remaining operation time is short.
  • FIG. 9 is a view showing a state in which a surgical assist device using augmented reality according to an embodiment of the present invention presents a real surgical progress state and an ideal surgical progress state to a wearer.
  • a surgical assisting device using augmented reality may present an actual surgical progress state and an ideal surgical progress state to a wearer.
  • the AR server 100 provides an ideal surgical progress during surgery, so that a wearer can compare the actual surgical progress with the ideal surgical progress.
  • augmented reality is provided on the spectacle lenses 50 and 60 to compare the resected area and resection size D1 and the ideal resection site and resection size D2 when resecting a specific area of the lung during lung cancer surgery. Can be. As a result of comparison, when it is determined that the resection site and resection size are the same or similar, it can be confirmed that the surgical progress is good.
  • FIG. 10 is a view showing an embodiment in which a surgical assist device using augmented reality according to an embodiment of the present invention provides a cooperative list tree.
  • a surgical assist device using augmented reality may provide a cooperative list tree on eyeglass lenses 50 and 60 of smart glasses 70.
  • AR server 100 provides a cooperative list tree as augmented reality, and the wearer activates one or more desired cooperative items in the cooperative list tree by adjusting the number of turns of the face left or right or left or right, and activated cooperative You can request an consultation by clicking on the activated consultation item by moving the face forward or backward in the item.
  • the wearer may turn the face twice to the right to activate the neurosurgery item as the active indicator reaches the neurosurgery item. Thereafter, the wearer may select a neurosurgery item by performing a click operation to move the face once or twice forward. Thereafter, the smart glasses 70 to the wireless transmission equipment 30 may send a consultation request signal to the selected neurosurgeon.
  • consultation items may be selected, and consultation with an endocrinologist in addition to neurosurgery may be requested in the same manner.
  • FIG. 11 is a view showing a state in which a surgical assistant using an augmented reality according to an embodiment of the present invention re-arranges the order of a surgical method and provides it again.
  • a surgical assistance device using augmented reality may be provided again by re-adjusting the order of the surgical method.
  • the order of surgical methods provided by the AR server 100 was in the order of steps a, b, c, d, and e, but in some cases, the AR server 100 is worn by the wearer by random selection of the wearer. Surgery may not be performed in the order of surgical methods provided.
  • the AR server 100 re-adjusts the order of the surgical method using AI to take into account the surgical procedure and the patient's condition so far, in order of step a, step c, step d, step b, and step e. Can provide again.
  • the AR server 100 may identify this and resolve the error in consideration of the incorrectly advanced state and provide the surgical method sequence again to be a successful operation.
  • FIG. 12 is a view showing a state in which a surgical assist device using augmented reality according to another embodiment of the present invention provides augmented reality to a plurality of smart glasses 70 upon consultation.
  • a surgical assisting device using augmented reality may provide augmented reality to a plurality of smart glasses 70.
  • the AR server 100 may provide the same or different augmented reality to the plurality of smart glasses 70.
  • a surgeon and anesthesiologist may each wear smart glasses 70 when surgery is required.
  • the surgeon and the anesthesiologist may be located in the same operating room, or may be located in different spaces.
  • the contents of the augmented reality required by the surgeon and the contents of the augmented reality required by the anesthesiologist may be different, and accordingly, the AR server 100 provides the A augmented reality to the surgeon and the B augmented reality to the anesthesiologist. To provide different augmented reality.
  • different augmented reality may be provided to the left and right eyeglass lenses 50 and 60 of the smart glasses 70, in which case the wearer may be provided with various and large amounts of augmented reality.
  • the surgical assistant device using augmented reality may operate in the following scenario as a method for performing consultation.
  • the data storage unit includes (a) a captured image taken by the camera 10 and / or (b) an AR image generated by the AR server 100 applying augmented reality to the captured image. Can be saved.
  • the AR server 100 may categorize any one or both of a captured image and an AR image using AI.
  • the term 'categorization operation for an image' includes (i) a plurality of category items for classifying images in advance, and (ii) segmentation of a captured image and / or an AR image.
  • the AI of the AR server 100 may be an operation of adding category information to a corresponding video portion and classifying and storing each category.
  • the category item may include any one or more of a surgical tool type, a drug type used, a surgical method, a surgical area, whether an AR timer is used, and a surgical participation profile.
  • a separate tag may be attached to each surgical tool, and the AI of the AR server 100 can identify which surgical tool is being used by recognizing the tag from the image, and recognize it among the entire images.
  • data is classified into the category corresponding to the recognized surgical tool. Can be stored in storage.
  • the AR server 100 may select and provide only necessary images to a specialist who is targeted for consultation using AI. More specifically, the AI of the AR server 100 may receive a request for consultation from a wearer of the smart glasses 70. For example, the wearer may request consultation with other medical personnel by adjusting the shape of the face moving and the number of attempts of each movement. Alternatively, the AI of the AR server 100 may request consultation with other medical staff when it is determined that consultation is necessary based on a preset surgical list tree, a surgical method, or the like. The decision criteria that require consultation may be set in advance and stored in the AR server 100. In addition, selection criteria for selecting a consultation specialist who is a target for consultation may be set in advance and stored in the AR server 100.
  • the AI of the AR server 100 automatically selects a portion of the image that is automatically classified and stored according to a predetermined criterion, and determines a portion of the image that is determined to be necessary for a specialist (hereinafter referred to as a 'specialist'). You can choose to provide this.
  • the AI of the AR server 100 compares the information on the consultation specialist and the category information added to the imaging portions, and can provide only the imaging portions where the information matches each other to the consultation specialist. For example, when a request for consultation from an anesthesiologist is required, the AI of the AR server 100 includes category information (eg.
  • the video parts read to the anesthesiologist can be transmitted in real time or with a predetermined time difference from the actual surgery.
  • a professional medical staff requesting consultation may perform consultation after wearing smart glasses, and the read image parts may be reproduced in the smart glasses worn by the consultation specialist.
  • the consultation specialist can perform the consultation through a separate monitor, and the read image parts may be reproduced on the monitor.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Gynecology & Obstetrics (AREA)
  • Urology & Nephrology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

증강 현실을 이용한 수술 보조 장치는, 환자의 환부 또는 수술 부위를 촬영하는 카메라, 카메라가 촬영한 영상을 실시간으로 수신하며 전송하는 무선 전송 장비, 무선 전송 장비가 전송하는 영상을 착용자에게 표시하는 스마트 안경, 및 영상에 증강 현실을 부가하여 착용자에게 증강 현실을 제공하는 AR 서버를 포함한다.

Description

증강 현실을 이용한 수술 보조 장치
본 발명은 증강 현실을 이용한 수술 보조 장치로서, 보다 구체적으로는 착용자가 사용하는 스마트 안경에 증강 현실을 이용하여 수술과 관련된 각종 정보를 제공함으로써 수술이 성공적으로 이루어지도록 하는 증강 현실을 이용한 수술 보조 장치에 관한 것이다.
종래에는 신체 내부의 특정 부위를 절단하는 등의 수술을 할 때, 개복을 해서 수술을 수행했으나, 최근 들어서는 신체의 일부를 천공을 한 후 천공을 통해 카메라를 삽입하고 카메라가 촬영한 영상을 모니터에 띄워 수술 의사는 모니터를 보면서 수술을 진행하고 있다.
또한, 입 내부 등 육안으로 보기 곤란한 부위를 치료할 경우에도 카메라를 통해 촬영된 영상을 모니터에 표시한 후 이 영상을 이용하여 치료를 수행하고 있다. 또는, 루페를 사용하여 특정 신체 부위를 확대함으로써 수술 내지 시술을 용이하게 수행하고 있다.
그러나 이러한 종래의 수술 내지 치료 방법(한국특허출원 제10-2018-7007193호 참조)은 단지 환자의 환부 내지 수술 부위를 확대하여 모니터 상에 표시할 뿐이며, 모니터 상에 수술에 도움이 되는 정보를 표시하지 않아 단편적인 보조 장치에 지나지 않는 문제가 있다.
이러한 문제점을 해결하기 위하여, 카메라가 촬영한 수술 부위의 영상에 수술에 도움이 되는 정보를 표시함으로써 수술에 실질적으로 도움이 되는 증강 현실을 이용한 수술 보조 장치의 필요성이 대두되고 있다.
본 발명이 해결하려는 과제는, 카메라가 촬영한 수술 부위의 영상에 증강 현실을 부가하여 착용자의 스마트 안경에 표시함으로써, 착용자에게 수술에 실질적으로 도움이 되는 정보를 제공하는 증강 현실을 이용한 수술 보조 장치를 제공하는 데 있다.
본 발명이 해결하려는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치는, 환자의 환부 또는 수술 부위를 촬영하는 카메라, 카메라가 촬영한 영상을 실시간으로 수신하며 전송하는 무선 전송 장비, 무선 전송 장비가 전송하는 영상을 착용자에게 표시하는 스마트 안경, 및 영상에 증강 현실을 부가하여 착용자에게 증강 현실을 제공하는 AR 서버를 포함한다.
상기 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 증강 현실을 이용한 수술 보조 장치는, 환자의 환부 또는 수술 부위를 촬영하는 카메라; 상기 카메라가 촬영한 영상을 실시간으로 수신하며 전송하는 무선 전송 장비; 상기 무선 전송 장비가 전송하는 상기 영상을 착용자에게 표시하는 스마트 안경; 상기 영상에 증강 현실을 부가하여 상기 착용자에게 상기 증강 현실이 적용된 AR 영상을 제공하는 AR 서버; 및 상기 카메라가 촬영한 촬영 영상 및 상기 AR 영상 중 어느 하나 또는 모두를 저장하는 데이터저장부를 포함하고, 상기 AR 서버는 상기 촬영 영상 및 상기 AR 영상 중 어느 하나 또는 모두에 대해서 미리 설정되어 있는 카테고리 항목에 기반하여 카테고리화 작업을 수행하고, 상기 카테고리화 작업의 수행 결과로 생성된, 카테고리 정보가 부가된 영상 부분(segmentation)들을 카테고리 별로 분류하여 상기 데이터저장부에 저장하며, 협진 요청이 발생하는 경우, 상기 AR 서버는 미리 설정되어 있는 협진 전문의 선택 기준에 따라 협진 전문의를 선택하고, 상기 데이터저장부에 저장되어 있는 카테고리 별로 분류되어 있는 영상 부분들 중에서 선택된 협진 전문의에게 필요한 영상 부분을 선택하여 제공한다.
본 발명에 따르면, 카메라가 촬영한 수술 부위의 영상에 증강 현실을 부가하여 착용자의 스마트 안경에 표시함으로써, 착용자에게 수술에 실질적으로 도움이 되는 정보를 제공할 수 있다.
도 1 및 2 는 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치의 일부 구성을 나타낸 도면이다.
도 3 은 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치의 개념도이다.
도 4 및 5 는 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 수술 리스트 트리를 제공하는 실시예를 나타낸 도면이다.
도 6 은 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 제공된 영상을 근거로 수술 방법을 제시하는 실시예를 나타낸 도면이다.
도 7 은 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 수술 부위를 강조하는 모습을 나타낸 도면이다.
도 8 은 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 수술 정보 중에서 안전 범위를 벗어난 정보를 점멸시키는 모습을 나타낸 도면이다.
도 9 는 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 착용자에게 실제 수술 진행 상태와 이상적인 수술 진행 상태를 제시하는 모습을 나타낸 도면이다.
도 10 은 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 협진 리스트 트리를 제공하는 실시예를 나타낸 도면이다.
도 11 은 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 수술 방법의 순서를 재조정하여 다시 제공하는 모습을 나타낸 도면이다.
도 12 는 본 발명의 다른 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 협진 시 복수개의 스마트 안경에 증강 현실을 제공하는 모습을 나타낸 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계 및 동작은 하나 이상의 다른 구성요소, 단계 및 동작의 존재 또는 추가를 배제하지 않는다.
도 1 내지 3 을 참조하여, 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치를 설명한다. 도 1 및 2 는 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치의 일부 구성을 나타낸 도면이다. 도 3 은 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치의 개념도이다.
도 1 내지 3 을 참조하면, 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치는, 카메라(10), 무선 전송 장비(30), 스마트 안경(70) 및 AR 서버(100)를 포함한다.
카메라(10)는 환자의 환부 또는 수술 부위를 촬영하는 기기로서, 경우에 따라서는 조명(20)의 도움을 받아 영상을 더욱 선명하게 촬영할 수 있다. 한편, 카메라(10)는 후술할 스마트 안경(70)과는 별개의 구성일 수 있으며, 다르게는 스마트 안경(70)에 탈착이 가능한 형태일 수도 있다.
무선 전송 장비(30)는 카메라(10)가 촬영한 영상을 실시간으로 수신하며 다른 장치로 전송하는 장비이다. 구체적으로, 무선 전송 장비(30)는 카메라(10)가 촬영한 영상을 후술할 스마트 안경(70)에 제공할 수 있으며, 이로써 스마트 안경(70)의 안경렌즈(50, 60)에 환부가 표시될 수 있다.
또한, 무선 전송 장비(30)는 카메라(10)가 촬영한 영상을 AR 서버(100)에 제공할 수 있으며, 영상을 제공받은 AR 서버(100)는 관련 증강 현실을 생성한 후 증강 현실 내지 증강 현실이 부가된 영상을 스마트 안경(70)에 직접 전송하거나, 무선 전송 장비(30)에 전송할 수 있다.
스마트 안경(70)은 무선 전송 장비(30)가 전송하는 영상을 착용자에게 표시하는 안경이다. 좀 더 구체적으로, 카메라(10)는 촬영한 영상을 무선 전송 장비(30)에 제공하고, 영상을 제공받은 무선 전송 장비(30)는 스마트 안경(70)의 안경렌즈(50, 60) 상에 영상을 표시할 수 있다.
또한, 카메라(10)가 촬영한 영상은 무선 전송 장비(30)를 거쳐 AR 서버(100)에 제공될 수 있으며, AR 서버(100)는 제공받은 영상과 관련된 증강 현실을 생성하고, 생성한 증강 현실 내지 증강 현실이 부가된 영상을 무선 전송 장비(30)에 전송할 수 있다.
이후, 무선 전송 장비(30)는 증강 현실이 부가된 영상을 스마트 안경(70)의 안경렌즈(50, 60) 상에 표시할 수 있다.
또는, AR 서버(100)는 무선 전송 장비(30)를 거치치 않고, 증강 현실이 부가된 영상을 스마트 안경(70)의 안경렌즈(50, 60) 상에 표시할 수도 있다.
이러한 스마트 안경(70)은 자이로 센서, 지자기 센서, 각속도계 및 6축 센서 중 어느 하나 이상의 움직임 감지 센서(40)를 포함할 수 있다. 따라서, 움직임 감지 센서(40)는 의사 등 스마트 안경(70)의 착용자가 고개 내지 얼굴을 어떻게 움직이는지 여부 및 각 움직임의 시도 횟수를 감지할 수 있다.
구체적으로, 착용자가 고개 내지 얼굴을 좌우로 돌리거나, 고개 내지 얼굴을 앞뒤로 이동시키거나, 고개 내지 얼굴을 위아래로 이동시키거나, 고개 내지 얼굴을 회전시킬 경우 움직임 감지 센서(40)는 이러한 움직임을 감지할 수 있다.
또한, 움직임 감지 센서(40)는 각 움직임을 1회만 하는지 아니면 여러회를 하는지를 감지할 수 있다. 또 다른 실시예에 따라서는, 움직임이 여러회 있는 경우, 움직임 감지 센서(40)는 각 움직임 사이의 시간 간격을 감지할 수 있다.
이러한 움직임은 각각 서로 다른 의미를 가지며, 착용자가 얼굴을 움직이는 형태, 각 움직임의 시도 횟수 또는 각 움직임 사이의 시간 간격 등을 조절하여 다양한 행위가 발생하도록 할 수 있다.
예를 들어, 안경렌즈(50, 60) 상에 어떠한 리스트 트리가 표시되면 얼굴을 좌우로 돌릴 경우 활성 표시가 트리 상에서 좌측 또는 우측으로 이동할 수 있다. 다르게는, 얼굴을 좌우로 돌릴 경우, 좌측 또는 우측에 위치한 새로운 창이 안경렌즈(50, 60) 상에 나타날 수도 있다.
또한, 얼굴을 위아래로 이동시킬 경우, 트리 상에서 활성 표시가 위아래로 이동할 수 있다.
또한, 얼굴을 앞으로 한번 내지 여러 번 이동시킬 경우, 트리 상에서 클릭의 의미로 어떠한 항목을 선택할 수 있다.
즉, 스마트 안경(70)을 착용한 착용자가 얼굴을 좌우, 앞뒤, 위아래로 이동하거나, 이동의 횟수에 따라 착용자는 안경렌즈(50, 60) 상의 트리 내에서 좌우, 위아래로 이동하면서 특정 항목을 선택하거나, 새로운 창이 표시되도록 할 수 있다.
한편, 특정 얼굴 움직임 내지 움직임 횟수는 영상 저장 및 저장된 영상의 전송을 의미할 수도 있다.
AR 서버(100)는 카메라(10)가 촬영한 영상에 증강 현실을 부가하여 착용자에게 증강 현실을 제공하는 서버이다.
전술한 바와 같이, 카메라(10)가 촬영한 영상은 무선 전송 장비(30)를 거쳐 AR 서버(100)에 제공될 수 있으며, AR 서버(100)는 제공받은 영상과 관련된 증강 현실을 생성하고, 생성한 증강 현실 내지 증강 현실이 부가된 영상을 무선 전송 장비(30)에 전송할 수 있다.
이후, 무선 전송 장비(30)는 증강 현실이 부가된 영상을 스마트 안경(70)의 안경렌즈(50, 60) 상에 표시할 수 있다.
또는, AR 서버(100)는 무선 전송 장비(30)를 거치치 않고, 증강 현실이 부가된 영상을 스마트 안경(70)의 안경렌즈(50, 60) 상에 표시할 수 있다.
실시예에 따라서는 AR 서버(100)는 AI(Artificial Intelligence) 기능을 활용하여 영상을 분석할 수 있다. 이 때, 일실시예에 따른 AR 서버(100)는 탑재된 AI를 이용하여 영상을 소정의 기준에 따라 부분(Segmentation)으로 나눌 수 있다. 또한, AR 서버(100)는 AI를 이용하여 나누어진 영상의 부분들을 해당 소정의 기준 별로 카테고리화하여 분류할 수 있다. 실시예에 따라서는, 소정의 기준은 현재 사용 수술도구, 사용 약물, 수술방식, 수술영역, AR 타이머 사용 여부, 수술 참여이력의 경력, 프로필 등 다양한 기준이 마련될 수 있고, AR 서버(100)의 AI는 전체 촬영되고 있는 영상에서 일부분이 해당 기준 중 어느 하나 이상에 해당한다고 판단될 경우, 해당되는 기준에 대한 마크(Mark) 정보를 그 영상의 부분에 부가하여 저장할 수 있다. 예를 들어, 영상 중 'A 수술 도구를 사용하는 수술 장면'이 나오는 경우, AR 서버(100)의 AI는 그 영상에 'A 수술 도구'라는 마크 정보를 더하여 영상 부분을 저장할 수 있다. 또는 10시 3분 영상부터 마취약 B가 사용되는 것이 확인되고 10시 8분에 마취약 B의 사용이 종결된 경우, AR 서버(100)의 AI는 10시 3분부터 8분까지의 영상을 부분으로 별도로 구획하고, 그 구획된 영상 부분에 마취약 B을 나타내는 마크 정보(예컨대, 해쉬태그 형태일 수 있음 - #마취약B 등)를 부가한 뒤, 그 영상 부분을 별도 데이터로 구분하여 저장할 수 있다.
한편, 전술한 카메라(10), 무선 전송 장비(30) 및 스마트 안경(70)은 장비 거치대(90)에 설치될 수 있으며, 이 장비 거치대(90)에는 추가적으로 디스플레이 장비(80)가 설치될 수 있어 카메라(10)가 촬영한 영상 내지 증강 현실이 부가된 영상이 표시될 수 있다.
또한, 장비 거치대(90)는 다리부가 길이 조절이 가능하여 전체적으로 높이 조절이 가능할 수 있다.
본 발명의 또 다른 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치는 데이터저장부(미도시)를 더 포함할 수 있다. 데이터저장부는 카메라가 촬영한 영상 및/또는 AR 서버(100)가 카메라가 촬영한 영상에 증강 현실을 적용하여 생성한 AR 영상을 저장할 수 있다.
이상 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치에 대해서 살펴보았으며, 이하, AR 서버(100)가 생성하는 증강 현실의 종류에 대해서 구체적으로 살펴보도록 한다.
도 4 및 5 는 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 수술 리스트 트리를 제공하는 실시예를 나타낸 도면이다.
도 4 및 5 를 참조하면, 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치는 수술 리스트 트리를 제공할 수 있다.
수술이 시작될 경우, AR 서버(100)는 증강 현실로서 수술 리스트 트리 제공할 수 있고, 이러한 수술 리스트 트리는 스마트 안경(70)의 안경렌즈(50, 60) 상에 표시될 수 있다.
착용자는 표시된 수술 리스트 트리 상에서 시행하고자 하는 수술 항목을 선택할 수 있으며, 착용자가 특정 수술 항목을 선택할 경우 해당 수술 방법이 영상으로 제공될 수 있다. 이럴 경우, 착용자는 제공되는 영상에 따라 수술을 하면 되는바 수술을 좀 더 쉽고 안전하게 수행할 수 있다.
착용자가 표시된 수술 리스트 트리 상에서 시행하고자 하는 수술 항목을 선택하는 방법을 살펴보면, 착용자는 얼굴을 좌우로 돌리거나, 좌측 또는 우측으로 돌리는 횟수를 조절하여 수술 리스트 트리 내에서 환자에게 적용할 수술 항목을 활성화시킬 수 있다.
이후, 활성화된 수술 항목에서 얼굴을 앞 또는 뒤로 이동시킴으로써 활성화된 수술 항목을 클릭하여 수술 항목의 수술 방법이 증강 현실로 제공되도록 할 수 있다.
예를 들어, 도 5 를 보면, 착용자는 얼굴을 우측으로 2번 돌려 활성 표시가 폐암에 도달하여 폐암 항목이 활성화될 수 있다. 이후, 착용자는 얼굴을 앞으로 1회 또는 2회 이동시키는 클릭 동작을 수행하여 폐암 항목을 선택할 수 있다. 그 결과, 폐암의 수술 방법이 증강 현실로 안경렌즈(50, 60) 상에 제공될 수 있다.
도 6 은 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 제공된 영상을 근거로 수술 방법을 제시하는 실시예를 나타낸 도면이다.
도 6 을 참조하면, 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치는 카메라(10)가 제공한 영상을 근거로 수술 방법을 제시할 수 있다.
수술 시에, 카메라(10)는 환부 또는 수술 부위를 촬영한 후 무선 전송 장비(30)에 영상을 제공할 수 있다. 무선 전송 장비(30)는 제공된 영상을 AR 서버(100)에 전송할 수 있으며, AR 서버(100)는 AI(Artificial Intelligence) 기능을 활용하여 영상을 분석하고, 영상에 필요한 수술 방법을 증강 현실로 제공할 수 있다.
이후, 착용자는 얼굴을 좌우로 돌리거나, 앞뒤로 이동시키거나, 얼굴을 회전시킴으로써 AR 서버(100)가 제공한 수술 방법을 사용할지 여부를 선택할 수 있으며, 착용자가 제공한 수술 방법을 수용할 경우 해당 영상이 증강 현실로 제공될 수 있다.
또는, 착용자는 AR 서버(100)가 제공한 수술 방법을 거부할 수 있으며, 그에 따라 얼굴을 좌우로 돌리거나, 앞뒤로 이동시키거나, 얼굴을 회전시킴으로써 AR 서버(100)에게 다른 수술 방법을 요청할 수 있다.
한편, AR 서버(100)는 제공하는 수술 방법에 따라 수술 도구를 추가적으로 제안할 수도 있으며, 그 결과 착용자가 실수로 잘못된 수술 도구를 사용하는 경우를 방지할 수 있다.
도 7 은 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 수술 부위를 강조하는 모습을 나타낸 도면이다.
도 7 을 참조하면, 증강 현실을 이용한 수술 보조 장치는 수술 부위를 착용자에게 강조할 수 있다. 내부 절제술을 시행할 시에 절제할 부위에 사각형 점선과 같은 강조 표시(A)를 증강 현실로 제공하여 착용자가 절제할 부위를 정확하게 파악하도록 할 수 있다. 또 다른 실시예에 따라서는, '절제가 있은 때로부터 현재까지 경과된 시간(ex. 3초, 4초 등)'을 실시간으로 절제 부위 위에 증강 현실로 표시할 수 있다.
전술한 바와 같이, 증강 현실은 환부 내에서 수술해야할 부위를 강조할 수 있는데, 수술해야할 부위가 복수개인 경우, 순차적으로 수술해야할 부위를 강조할 수 있다. 이럴 경우 착용자는 수술 순서를 정확히 파악할 수 있어 잘못된 수술을 방지할 수 있다.
도 8 은 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 수술 정보 중에서 안전 범위를 벗어난 정보를 점멸시키는 모습을 나타낸 도면이다.
도 8 을 참조하면, 증강 현실을 이용한 수술 보조 장치는 수술 정보 중에서 안전 범위를 벗어난 정보를 점멸시킬 수 있다.
증강 현실로 제공되는 정보는 환자의 맥박수, 혈압, 수술 경과 시간 및 마취 유효 시간 중 어느 하나 이상의 수술 정보일 수 있으며, 이러한 수술 정보 중에서 안전 범위를 벗어난 수술 정보는 점멸되면서 착용자에게 경고할 수 있다.
예를 들어, 마취 유효 시간이 50분 남아 수술을 빨리 종료해야할 경우 마취 유효 시간을 점멸하여 착용자에게 수술 가능 시간이 얼마 남지 않았음을 경고할 수 있다.
도 9 는 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 착용자에게 실제 수술 진행 상태와 이상적인 수술 진행 상태를 제시하는 모습을 나타낸 도면이다.
도 9 를 참조하면, 증강 현실을 이용한 수술 보조 장치는 착용자에게 실제 수술 진행 상태와 이상적인 수술 진행 상태를 제시할 수 있다.
AR 서버(100)는 수술 중에 이상적인 수술 진행 상태를 제공하여, 착용자가 실제 수술 진행 상태와 상기 이상적인 수술 진행 상태를 비교하도록 할 수 있다.
구체적으로, 폐암 수술 중에 폐의 특정 부위를 절제할 때 실제로 절제한 부위 및 절제 크기(D1)와 이상적인 절제 부위 및 절제 크기(D2)를 비교하도록 안경렌즈(50, 60) 상에 증강 현실이 제공될 수 있다. 비교 결과, 절제 부위 및 절제 크기가 동일하거나 유사하다고 판단될 경우 수술 진행 상태가 양호함을 확인할 수 있다.
도 10 은 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 협진 리스트 트리를 제공하는 실시예를 나타낸 도면이다.
도 10 을 참조하면, 증강 현실을 이용한 수술 보조 장치는 스마트 안경(70)의 안경렌즈(50, 60) 상에 협진 리스트 트리를 제공할 수 있다.
AR 서버(100)는 증강 현실로서 협진 리스트 트리 제공하고, 착용자는 얼굴을 좌우로 돌리거나, 좌측 또는 우측으로 돌리는 횟수를 조절하여 협진 리스트 트리 내에서 원하는 하나 이상의 협진 항목을 활성화시키고, 활성화된 협진 항목에서 얼굴을 앞 또는 뒤로 이동시킴으로써 활성화된 협진 항목을 클릭하여 협진을 요청할 수 있다.
예를 들어, 도 10 을 보면, 착용자는 얼굴을 우측으로 2번 돌려 활성 표시가 신경외과 항목에 도달하여 신경외과 항목이 활성화될 수 있다. 이후, 착용자는 얼굴을 앞으로 1회 또는 2회 이동시키는 클릭 동작을 수행하여 신경외과 항목을 선택할 수 있다. 이후, 스마트 안경(70) 내지 무선 전송 장비(30)는 선택된 신경외과로 협진 의뢰 신호를 보낼 수 있다.
또한, 이러한 협진 항목 선택은 하나 이상 선택될 수 있으며, 신경외과 이외에 내분비 내과에도 동일한 방식으로 협진을 요청할 수 있다.
도 11 은 본 발명의 일 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 수술 방법의 순서를 재조정하여 다시 제공하는 모습을 나타낸 도면이다.
도 11 을 참조하면, 증강 현실을 이용한 수술 보조 장치는 수술 방법의 순서를 재조정하여 다시 제공할 수 있다.
원래 AR 서버(100)가 제공하는 수술 방법의 순서는, a단계, b단계, c단계, d단계 및 e단계 순이었으나, 경우에 따라서는 착용자의 임의적 선택에 의해 착용자는 AR 서버(100)가 제공하는 수술 방법의 순서대로 수술을 진행하지 않을 수 있다.
이럴 경우, AR 서버(100)는 AI를 활용하여 지금까지 진행된 수술 과정 및 환자의 상태 등을 고려하여 수술 방법의 순서를 재조정하여, a단계, c단계, d단계, b단계 및 e단계 순으로 다시 제공할 수 있다.
한편, 경우에 따라서는 착용자가 수술 방법의 순서를 잘못 진행할 시에 AR 서버(100)는 이를 파악하고 잘못 진행된 상태를 고려하여 이를 해소하고 성공적인 수술이 되도록 수술 방법 순서를 다시 제공할 수도 있다.
도 12 는 본 발명의 다른 실시예에 따른 증강 현실을 이용한 수술 보조 장치가 협진 시에 복수개의 스마트 안경(70)에 증강 현실을 제공하는 모습을 나타낸 도면이다.
도 12 를 참조하면, 증강 현실을 이용한 수술 보조 장치는 복수개의 스마트 안경(70)에 증강 현실을 제공할 수 있다.
착용자가 복수명이어서 스마트 안경(70)이 복수개일 경우, AR 서버(100)는 복수개의 스마트 안경(70)에 동일한 증강 현실 또는 서로 다른 증강 현실을 제공할 수 있다.
예를 들어, 수술 시에 협진이 필요하여 집도의와 마취의가 각자 스마트 안경(70)을 착용할 수 있다. 이 때, 집도의와 마취의는 같은 수술실에 위치할 수도 있고, 또는 서로 다른 공간 내에 위치할 수도 있다.
협진이 필요한 경우, 집도의에게 필요한 증강 현실의 내용과 마취의에게 필요한 증강 현실의 내용은 다를 수 있으며, 그에 따라 AR 서버(100)는 집도의에게는 A 증강 현실을 제공하고, 마취의에게는 B 증강 현실을 제공하여 서로 다른 증강 현실을 제공할 수 있다.
한편, 경우에 따라서는 스마트 안경(70)의 좌우 안경렌즈(50, 60)에는 서로 다른 증강 현실이 제공될 수 있으며, 그럴 경우 착용자는 다양하고 많은 양의 증강 현실을 제공받을 수 있다.
또 다른 일실시예에 따른 증강 현실을 이용한 수술 보조 장치는 협진을 수행하기 위한 방법으로서 아래와 같은 시나리오로 동작할 수 있다.
앞에서 설명한 것과 같이, 데이터저장부(미도시)는 (a) 카메라(10)가 촬영한 촬영 영상 및/또는 (b) AR 서버(100)가 촬영 영상에 증강 현실을 적용하여 생성한 AR 영상을 저장할 수 있다. 이 때, 일실시예에 따른 AR 서버(100)는 AI를 이용하여 촬영 영상 및 AR 영상 중 어느 하나 또는 모두에 대해서 카테고리화 할 수 있다.
일실시예에 따른 '영상에 대한 카테고리화 작업'이라 함은, (i) 영상을 분류하기 위한 복수 개의 카테고리 항목이 미리 설정되어 있고, (ii) 촬영 영상 및/또는 AR 영상의 부분(segmentation)이 복수 개의 카테고리 항목 중 적어도 하나에 해당하는 경우, AR 서버(100)의 AI가 해당 영상 부분에 카테고리 정보를 부가하여 카테고리 별로 분류하여 저장하는 동작일 수 있다.
이 때, 일실시예에 따른 카테고리 항목은 수술도구 종류, 사용 약물 종류, 수술 방식, 수술 영역, AR 타이머 사용 여부 및 수술 참여인력 프로필 중 어느 하나 이상을 포함할 수 있다. 예를 들면, 수술 도구마다 별도의 태그(Tag)가 부착되어 있을 수 있고, AR 서버(100)의 AI는 영상에서 태그를 인식함으로써 어떠한 수술도구가 사용되고 있는지 여부를 확인할 수 있고, 전체 영상 중에서 인식된 수술 도구가 사용되고 있는 영상 부분에 인식된 수술도구에 대한 카테고리 정보(ex. 수술도구 A를 나태는 마크 등)를 부가한 뒤, 해당 영상 부분을 인식된 수술도구에 해당하는 카테고리로 분류하여 데이터저장부에 저장할 수 있다.
한편, 수술 중 또는 수술 전/후에 협진 요청이 있는 경우, AR 서버(100)는 AI를 이용하여 협진 요청 대상이 되는 전문의에게 필요한 영상만을 선택하여 제공할 수 있다. 보다 구체적으로는, AR 서버(100)의 AI는 스마트 안경(70)의 착용자로부터 협진 요청 신호를 수신할 수 있다. 예컨대, 착용자는 얼굴을 움직이는 형태 및 각 움직임의 시도 횟수를 조절하여 다른 의료진에게 협진을 요청할 수 있다. 또는, AR 서버(100)의 AI는 미리 설정된 수술 리스트 트리, 수술 방법 등에 의거해 협진이 필요하다고 판단될 경우, 다른 의료진에게 협진을 요청할 수 있다. 협진이 필요한 판단 기준은 미리 설정되어 AR 서버(100)에 저장될 수 있다. 또한, 협진 요청 대상이 되는 협진 전문의를 선택하는 선택 기준은 미리 설정되어 AR 서버(100)에 저장될 수 있다.
협진 요청이 발생한 경우, AR 서버(100)의 AI는 소정 기준에 따라 자동 분류되어 저장되어 있는 영상의 부분들 중 협진 요청 대상인 전문의(이하 '협진 전문의')에게 필요하다고 판단되는 영상 부분을 선택하여 이를 제공할 수 있다. 이 때, AR 서버(100)의 AI는 협진 전문의에 대한 정보와 영상 부분들에 부가되어 있는 카테고리 정보를 비교하고, 정보가 서로 매칭되는 영상 부분들만을 협진 전문의에게 제공할 수 있다. 예를 들어, 마취의에게 협진 요청이 필요한 경우, AR 서버(100)의 AI는 카테고리 정보가 부가되어 분류되어 있는 영상 부분들 중에서 마취의와 관련성이 소정 값 이상인 카테고리 정보들(ex. '전신마취', '국소마취', '절개' 등)이 부가되어 있는 영상 부분들만을 독출하고, 마취의에게 독출된 영상 부분들을 실시간으로 또는 실제 수술과 소정 시차를 둔 채 전송할 수 있다. 예컨대, 협진이 요청된 전문 의료진은 스마트 안경을 착용한 후 협진을 수행할 수 있는데, 협진 전문의가 착용한 스마트 안경에는 독출된 영상 부분들이 재생될 수 있다. 또는 협진 전문의는 별도의 모니터를 통해 협진을 수행할 수 있고, 모니터에는 독출된 영상 부분들이 재생될 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (15)

  1. 환자의 환부 또는 수술 부위를 촬영하는 카메라;
    상기 카메라가 촬영한 영상을 실시간으로 수신하며 전송하는 무선 전송 장비;
    상기 무선 전송 장비가 전송하는 상기 영상을 착용자에게 표시하는 스마트 안경; 및
    상기 영상에 증강 현실을 부가하여 상기 착용자에게 상기 증강 현실을 제공하는 AR 서버
    를 포함하는 증강 현실을 이용한 수술 보조 장치.
  2. 제 1 항에 있어서,
    상기 스마트 안경은 자이로 센서, 지자기 센서, 각속도계 및 6축 센서 중 어느 하나 이상의 움직임 감지 센서를 포함하고,
    상기 AR 서버는 증강 현실로서 수술 리스트 트리를 제공하고,
    상기 착용자는 얼굴을 움직이는 형태 및 각 움직임의 시도 횟수를 조절하여 상기 수술 리스트 트리 내에서 상기 환자에게 적용할 수술 항목을 활성화시키고, 활성화된 수술 항목을 클릭하여 상기 수술 항목의 수술 방법이 증강 현실로 제공되도록 하는 증강 현실을 이용한 수술 보조 장치.
  3. 제 1 항에 있어서,
    상기 무선 전송 장비는 상기 영상을 상기 AR 서버에 제공하고,
    상기 AR 서버는 AI(Artificial Intelligence) 기능을 활용하여 상기 영상에 필요한 수술 방법을 증강 현실로 제공하는 증강 현실을 이용한 수술 보조 장치.
  4. 제 3 항에 있어서,
    상기 스마트 안경은 자이로 센서, 지자기 센서, 각속도계 및 6축 센서 중 어느 하나 이상의 움직임 감지 센서를 포함하고,
    상기 착용자는 얼굴을 움직이는 형태 및 각 움직임의 시도 횟수를 조절함으로써 상기 AR 서버가 제공한 수술 방법을 사용할지 여부를 선택하거나, 상기 AR 서버에게 다른 수술 방법을 요청하는 증강 현실을 이용한 수술 보조 장치.
  5. 제 2 항 또는 제 3 항에 있어서,
    상기 AR 서버는 수술 중에 이상적인 수술 진행 상태를 제공하여,
    상기 착용자가 실제 수술 진행 상태와 상기 이상적인 수술 진행 상태를 비교하도록 하는 증강 현실을 이용한 수술 보조 장치.
  6. 제 2 항 또는 제 3 항에 있어서,
    상기 착용자가 상기 AR 서버가 제공하는 수술 방법의 순서대로 수술을 진행하지 않을 경우, 상기 AR 서버는 AI 기능을 활용하여 지금까지 진행된 수술 과정 및 환자의 상태를 포함한 정보를 고려하여 수술 방법의 순서를 재조정하여 다시 제공하는 증강 현실을 이용한 수술 보조 장치.
  7. 제 2 항 또는 제 3 항에 있어서,
    상기 AR 서버는 제공하는 수술 방법에 따라 수술 도구를 제안하는 증강 현실을 이용한 수술 보조 장치.
  8. 제 1 항 내지 3 항 중 어느 한 항에 있어서,
    상기 증강 현실은 상기 환자의 맥박수, 혈압, 수술 경과 시간 및 마취 유효 시간 중 어느 하나 이상을 포함하는 수술 정보이며,
    상기 수술 정보 중에서 안전 범위를 벗어난 수술 정보는 점멸되면서 상기 착용자에게 경고하는 증강 현실을 이용한 수술 보조 장치.
  9. 제 1 항에 있어서,
    상기 증강 현실은 상기 환부 내에서 수술해야할 부위를 강조하고,
    수술해야할 부위가 복수개인 경우, 순차적으로 수술해야할 부위를 강조하는 증강 현실을 이용한 수술 보조 장치.
  10. 제 1 항에 있어서,
    상기 스마트 안경은 자이로 센서, 지자기 센서, 각속도계 및 6축 센서 중 어느 하나 이상의 움직임 감지 센서를 포함하고,
    상기 AR 서버는 증강 현실로서 협진 리스트 트리 제공하고,
    상기 착용자는 얼굴을 움직이는 형태 및 각 움직임의 시도 횟수를 조절하여 상기 협진 리스트 트리 내에서 원하는 협진 항목을 활성화시키고, 활성화된 협진 항목을 클릭하여 협진을 요청하는 증강 현실을 이용한 수술 보조 장치.
  11. 제 1 항에 있어서,
    상기 착용자가 복수명이어서 상기 스마트 안경이 복수개일 경우,
    상기 AR 서버는 복수개의 스마트 안경에 동일한 증강 현실 또는 서로 다른 증강 현실을 제공하는 증강 현실을 이용한 수술 보조 장치.
  12. 제 1 항에 있어서,
    상기 스마트 안경의 좌우 안경렌즈에는 서로 다른 증강 현실이 제공되는 증강 현실을 이용한 수술 보조 장치.
  13. 환자의 환부 또는 수술 부위를 촬영하는 카메라;
    상기 카메라가 촬영한 영상을 실시간으로 수신하며 전송하는 무선 전송 장비;
    상기 무선 전송 장비가 전송하는 상기 영상을 착용자에게 표시하는 스마트 안경;
    상기 영상에 증강 현실을 부가하여 상기 착용자에게 상기 증강 현실이 적용된 AR 영상을 제공하는 AR 서버; 및
    상기 카메라가 촬영한 촬영 영상 및 상기 AR 영상 중 어느 하나 또는 모두를 저장하는 데이터저장부
    를 포함하고,
    상기 AR 서버는 상기 촬영 영상 및 상기 AR 영상 중 어느 하나 또는 모두에 대해서 미리 설정되어 있는 카테고리 항목에 기반하여 카테고리화 작업을 수행하고,
    상기 카테고리화 작업의 수행 결과로 생성된, 카테고리 정보가 부가된 영상 부분(segmentation)들을 카테고리 별로 분류하여 상기 데이터저장부에 저장하며,
    협진 요청이 발생하는 경우, 상기 AR 서버는 미리 설정되어 있는 협진 전문의 선택 기준에 따라 협진 전문의를 선택하고, 상기 데이터저장부에 저장되어 있는 카테고리 별로 분류되어 있는 영상 부분들 중에서 선택된 협진 전문의에게 필요한 영상 부분을 선택하여 제공하는
    증강 현실을 이용한 수술 보조 장치.
  14. 제 13 항에 있어서,
    상기 AR 서버가 상기 데이터저장부에 저장되어 있는 카테고리 별로 분류되어 있는 영상 부분들 중에서 선택된 협진 전문의에게 필요한 영상 부분을 선택하여 제공하는 동작은,
    상기 데이터저장부에 저장되어 있는 카테고리 별로 분류되어 있는 영상 부분들 중에서, 상기 선택된 협진 전문의에 대한 정보와 관련성이 소정 기준보다 높은 것으로 매칭되는 영상 부분들만을 독출하여 제공하는
    증강 현실을 이용한 수술 보조 장치.
  15. 제 14 항에 있어서,
    상기 카테고리 항목은 수술도구 종류, 사용 약물 종류, 수술 방식, 수술 영역, AR 타이머 사용 여부 및 수술 참여인력 프로필 중 어느 하나 이상을 포함하는 증강 현실을 이용한 수술 보조 장치.
PCT/KR2019/015171 2018-11-14 2019-11-08 증강 현실을 이용한 수술 보조 장치 Ceased WO2020101283A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021526447A JP7014935B2 (ja) 2018-11-14 2019-11-08 拡張現実を利用した手術補助装置
US17/293,335 US11291521B2 (en) 2018-11-14 2019-11-08 Surgery assisting device using augmented reality
EP19883515.9A EP3881792A4 (en) 2018-11-14 2019-11-08 SURGICAL ASSISTANCE DEVICE IMPLEMENTING AUGMENTED REALITY
CN201980074954.8A CN113038902B (zh) 2018-11-14 2019-11-08 利用扩增实境的手术辅助装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180139902A KR102270170B1 (ko) 2018-11-14 2018-11-14 증강 현실을 이용한 수술 보조 장치
KR10-2018-0139902 2018-11-14

Publications (1)

Publication Number Publication Date
WO2020101283A1 true WO2020101283A1 (ko) 2020-05-22

Family

ID=70731189

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/015171 Ceased WO2020101283A1 (ko) 2018-11-14 2019-11-08 증강 현실을 이용한 수술 보조 장치

Country Status (6)

Country Link
US (1) US11291521B2 (ko)
EP (1) EP3881792A4 (ko)
JP (1) JP7014935B2 (ko)
KR (1) KR102270170B1 (ko)
CN (1) CN113038902B (ko)
WO (1) WO2020101283A1 (ko)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022070077A1 (en) * 2020-10-02 2022-04-07 Cilag Gmbh International Interactive information overlay on multiple surgical displays
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
CN116322467A (zh) * 2020-09-08 2023-06-23 吉温成像有限公司 估计手术的充足性
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11877792B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Smart energy combo control options
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US11883052B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International End effector updates
US11911030B2 (en) 2020-10-02 2024-02-27 Cilag Gmbh International Communication capability of a surgical device with component
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US12016566B2 (en) 2020-10-02 2024-06-25 Cilag Gmbh International Surgical instrument with adaptive function controls
WO2024167031A1 (ko) * 2023-02-06 2024-08-15 주식회사 메디씨티 증강 현실을 이용하여 개선된 수술 컨텐츠를 제공하는 방법 및 이를 수행하는 수술 컨텐츠 제공 시스템
US12064293B2 (en) 2020-10-02 2024-08-20 Cilag Gmbh International Field programmable surgical visualization system
US12213801B2 (en) 2020-10-02 2025-02-04 Cilag Gmbh International Surgical visualization and particle trend analysis system
US12472032B2 (en) 2020-10-02 2025-11-18 Cilag Gmbh International Monitoring of user visual gaze to control which display system displays the primary information
US12484897B2 (en) 2020-10-02 2025-12-02 Cilag Gmbh International Surgical instrument with adaptive configuration control
US12580072B2 (en) 2020-10-02 2026-03-17 Cilag Gmbh International Cloud analytics packages

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US12521201B2 (en) 2017-12-07 2026-01-13 Augmedics Ltd. Spinous process clamp
US12458411B2 (en) 2017-12-07 2025-11-04 Augmedics Ltd. Spinous process clamp
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US12178666B2 (en) 2019-07-29 2024-12-31 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11389252B2 (en) 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US12239385B2 (en) 2020-09-09 2025-03-04 Augmedics Ltd. Universal tool adapter
US12502163B2 (en) 2020-09-09 2025-12-23 Augmedics Ltd. Universal tool adapter for image-guided surgery
CN113194299B (zh) * 2021-07-01 2021-08-31 深圳市修远文化创意有限公司 一种智能医疗场景下的口腔治疗实时画面分享方法
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
US12150821B2 (en) 2021-07-29 2024-11-26 Augmedics Ltd. Rotating marker and adapter for image-guided surgery
EP4387552A4 (en) 2021-08-18 2025-04-30 Augmedics Ltd. AUGMENTED REALITY SURGICAL SYSTEM USING DEPTH SENSING
KR102752731B1 (ko) * 2022-04-12 2025-01-13 (주) 원컴퍼니 착용시에 주변 환경 또는 생체징후 감시가 가능한 스마트 글래스와 그의 제어 방법 및 프로그램
EP4511809A4 (en) 2022-04-21 2026-03-11 Augmedics Ltd Systems and methods for medical image visualization
KR102887326B1 (ko) * 2022-05-24 2025-11-17 연세대학교 산학협력단 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램
KR102866626B1 (ko) * 2022-05-24 2025-09-30 연세대학교 산학협력단 증강 현실 기반 원격 의료 시스템 및 그의 제어 방법 및 프로그램
EP4587881A1 (en) 2022-09-13 2025-07-23 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention
KR102890440B1 (ko) * 2022-11-02 2025-11-24 (주)힉스컴퍼니 세포 분석 방법 및 장치
KR102891592B1 (ko) * 2023-12-27 2025-11-25 한국기술교육대학교 산학협력단 증강현실을 이용한 반려동물 탯줄 커팅 가이드 시스템 및 방법
KR20250155673A (ko) 2024-04-23 2025-10-31 인제대학교 산학협력단 증강현실 및 인공지능 기반의 척추 수술 가이드 방법 및 그 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150024199A (ko) * 2013-08-26 2015-03-06 엘지전자 주식회사 두부 장착형 디스플레이 장치 및 이의 제어방법
KR20160033721A (ko) * 2013-07-16 2016-03-28 세이코 엡슨 가부시키가이샤 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템
US9645785B1 (en) * 2014-12-31 2017-05-09 Verily Life Sciences, LLC Heads-up displays for augmented reality network in a medical environment
KR20170093422A (ko) * 2016-02-05 2017-08-16 길재소프트 주식회사 증강현실 영상을 지원하는 초음파 영상 진단 시스템
US20180032130A1 (en) * 2015-02-20 2018-02-01 Covidien Lp Operating room and surgical site awareness

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140073907A1 (en) * 2012-09-12 2014-03-13 Convergent Life Sciences, Inc. System and method for image guided medical procedures
CN202801804U (zh) * 2012-09-11 2013-03-20 厦门腾宸信息科技有限公司 医疗分析辅助系统
EP2775412A1 (en) 2013-03-07 2014-09-10 Medesso GmbH Method of generating a medical suggestion as a support in medical decision making
JP6311393B2 (ja) 2014-03-28 2018-04-18 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2015019679A (ja) 2013-07-16 2015-02-02 セイコーエプソン株式会社 情報処理装置、情報処理方法、および、情報処理システム
JP2018534011A (ja) * 2015-10-14 2018-11-22 サージカル シアター エルエルシー 拡張現実感手術ナビゲーション
DE102015226669B4 (de) * 2015-12-23 2022-07-28 Siemens Healthcare Gmbh Verfahren und System zum Ausgeben einer Erweiterte-Realität-Information
EP3432780A4 (en) * 2016-03-21 2019-10-23 Washington University VISUALIZATION THROUGH VIRTUAL REALITY OR EXTENDED REALITY OF MEDICAL 3D IMAGES
CN107305424A (zh) * 2016-04-18 2017-10-31 美宏科技有限公司 智能巡房系统
JP2019534717A (ja) * 2016-08-16 2019-12-05 インサイト メディカル システムズ インコーポレイテッド 医療処置における感覚増強のためのシステム
US10660570B2 (en) * 2016-12-31 2020-05-26 Daqri, Llc Attention, comprehension, and drowsiness monitoring via head mounted device supporting augmented and mixed reality experiences
US9788907B1 (en) * 2017-02-28 2017-10-17 Kinosis Ltd. Automated provision of real-time custom procedural surgical guidance
CN107016685A (zh) * 2017-03-29 2017-08-04 浙江大学 一种实时匹配的手术场景增强现实投射方法
CN107468337A (zh) * 2017-08-03 2017-12-15 苏州医视医疗科技有限公司 基于智能眼镜的手术导航平台

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160033721A (ko) * 2013-07-16 2016-03-28 세이코 엡슨 가부시키가이샤 정보 처리 장치, 정보 처리 방법 및, 정보 처리 시스템
KR20150024199A (ko) * 2013-08-26 2015-03-06 엘지전자 주식회사 두부 장착형 디스플레이 장치 및 이의 제어방법
US9645785B1 (en) * 2014-12-31 2017-05-09 Verily Life Sciences, LLC Heads-up displays for augmented reality network in a medical environment
US20180032130A1 (en) * 2015-02-20 2018-02-01 Covidien Lp Operating room and surgical site awareness
KR20170093422A (ko) * 2016-02-05 2017-08-16 길재소프트 주식회사 증강현실 영상을 지원하는 초음파 영상 진단 시스템

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3881792A4

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116322467A (zh) * 2020-09-08 2023-06-23 吉温成像有限公司 估计手术的充足性
US11883052B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International End effector updates
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US11877792B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Smart energy combo control options
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
WO2022070077A1 (en) * 2020-10-02 2022-04-07 Cilag Gmbh International Interactive information overlay on multiple surgical displays
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11911030B2 (en) 2020-10-02 2024-02-27 Cilag Gmbh International Communication capability of a surgical device with component
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US12016566B2 (en) 2020-10-02 2024-06-25 Cilag Gmbh International Surgical instrument with adaptive function controls
US12580072B2 (en) 2020-10-02 2026-03-17 Cilag Gmbh International Cloud analytics packages
US12064293B2 (en) 2020-10-02 2024-08-20 Cilag Gmbh International Field programmable surgical visualization system
US12213801B2 (en) 2020-10-02 2025-02-04 Cilag Gmbh International Surgical visualization and particle trend analysis system
US12472032B2 (en) 2020-10-02 2025-11-18 Cilag Gmbh International Monitoring of user visual gaze to control which display system displays the primary information
US12484897B2 (en) 2020-10-02 2025-12-02 Cilag Gmbh International Surgical instrument with adaptive configuration control
WO2024167031A1 (ko) * 2023-02-06 2024-08-15 주식회사 메디씨티 증강 현실을 이용하여 개선된 수술 컨텐츠를 제공하는 방법 및 이를 수행하는 수술 컨텐츠 제공 시스템

Also Published As

Publication number Publication date
US11291521B2 (en) 2022-04-05
KR102270170B1 (ko) 2021-06-25
US20210401533A1 (en) 2021-12-30
EP3881792A4 (en) 2022-09-07
EP3881792A1 (en) 2021-09-22
JP2022507478A (ja) 2022-01-18
CN113038902B (zh) 2022-03-11
CN113038902A (zh) 2021-06-25
JP7014935B2 (ja) 2022-02-01
KR20200056051A (ko) 2020-05-22

Similar Documents

Publication Publication Date Title
WO2020101283A1 (ko) 증강 현실을 이용한 수술 보조 장치
US20260090858A1 (en) Monitoring of user visual gaze to control which display system displays the primary information
US11297285B2 (en) Dental and medical loupe system for lighting control, streaming, and augmented reality assisted procedures
US11883022B2 (en) Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
JP7789763B2 (ja) ディスプレイを制御するための器具位置の状況認識及びユーザの個別化
US20220108788A1 (en) Reconfiguration of display sharing
JP4296278B2 (ja) 医療用コクピットシステム
US20220286687A1 (en) Modifying data from a surgical robotic system
US5973728A (en) Direct laryngoscopy video system
WO2016195401A1 (ko) 증강현실을 이용한 외과 수술용 3d 안경 시스템
US20200261162A1 (en) System and method to detect and track surgical instruments and/or surgical material
WO2007116849A1 (en) Image output apparatus, image output method and image output program
WO2015194808A1 (ko) 어지럼증 진단 및 치료 장치
WO2021045546A2 (ko) 로봇의 위치 가이드 장치, 이의 방법 및 이를 포함하는 시스템
CN111728697A (zh) 一种基于头戴式三维增强现实设备的手术训练和导航装置
WO2021071336A1 (ko) 시선 검출 기반의 스마트 안경 표시 장치
WO2021112312A1 (ko) 임플란트 수술을 위한 증강현실 도구 및 임플란트 수술정보 가시화 방법
CN109688403A (zh) 一种应用于手术室内的裸眼3d人眼追踪方法及其设备
WO2013105738A1 (ko) 수술용 로봇제어 장치 및 그 제어방법
WO2019022464A1 (ko) 움직임 감지를 이용한 수술 영상화 시스템 제어 장치 및 방법
WO2021054659A2 (ko) 수술 내비게이션 장치 및 그 방법
WO2019164273A1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
CN117939073A (zh) 一种基于网络的消化内镜工作站系统及其实现方法
CN109714571A (zh) 一种医生手术智慧监管系统
WO2024112116A1 (ko) 의료 실습을 위한 확장현실(xr) 임상시뮬레이션 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19883515

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021526447

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019883515

Country of ref document: EP

Effective date: 20210614

WWW Wipo information: withdrawn in national office

Ref document number: 2019883515

Country of ref document: EP