CN118102995A - 用于限定机器人臂的路径的系统和装置 - Google Patents
用于限定机器人臂的路径的系统和装置 Download PDFInfo
- Publication number
- CN118102995A CN118102995A CN202280068709.8A CN202280068709A CN118102995A CN 118102995 A CN118102995 A CN 118102995A CN 202280068709 A CN202280068709 A CN 202280068709A CN 118102995 A CN118102995 A CN 118102995A
- Authority
- CN
- China
- Prior art keywords
- robotic arm
- processor
- pose
- path
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/32—Surgical robots operating autonomously
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Program-controlled manipulators
- B25J9/16—Program controls
- B25J9/1656—Program controls characterised by programming, planning systems for manipulators
- B25J9/1664—Program controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Program-controlled manipulators
- B25J9/16—Program controls
- B25J9/1674—Program controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Robotics (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Image Processing (AREA)
Abstract
提供了用于限定机器人臂的路径的系统、方法和装置。可生成一个或多个禁飞区。该一个或多个禁飞区对应于被限定为机器人臂不可接近的工作体积的区段,并且该工作体积被限定为机器人臂可接近的。可确定对象的位姿,并且可基于所确定的位姿和对象的已知尺寸来生成障碍物地图。机器人臂的路径可被限定为避免与在障碍物地图中识别的对象碰撞并且避开一个或多个禁飞区。
Description
背景技术
本公开总体上涉及路径规划,并且更具体地涉及限定机器人臂的路径。
外科手术机器人可辅助外科医生或其他医疗提供者实行外科手术规程,或者可自主完成一个或多个外科手术规程。提供可控连接的铰接构件允许外科手术机器人在各种医疗规程期间到达患者解剖结构的区域。
发明内容
本公开的示例性方面包括:
一种根据本公开的至少一个实施方案的用于限定机器人臂的路径的系统包括机器人臂;对象;处理器;和存储器,该存储器存储用于由处理器处理的数据,该数据当被处理时,使得处理器:生成一个或多个禁飞区,其中该一个或多个禁飞区对应于被限定为机器人臂不可接近的工作体积的区段,其中该工作体积被限定为机器人臂可接近的;确定对象的位姿;基于所确定的位姿和对象的已知尺寸来生成障碍物地图;以及限定机器人臂沿其定向的路径,该路径避免与在障碍物地图中识别的对象碰撞并且避开一个或多个禁飞区。
本文各方面中的任一方面,其中该路径将机器人臂定向到患者身体上的外科手术部位。
本文各方面中的任一方面,还包括由机器人臂定向的工具,并且其中路径将工具从患者体外的第一位置定向到患者体内的第二位置。
本文各方面中的任一方面,其中该存储器存储用于由处理器处理的另外的数据,该另外的数据当被处理时,使得处理器:当机器人臂与对象之间的距离达到阈值时生成警报。
本文各方面中的任一方面,其中该存储器存储用于由处理器处理的另外的数据,该另外的数据当被处理时,使得处理器:当机器人臂与对象中的一个对象之间的距离达到阈值时,防止机器人臂在路径上向前移动。
本文各方面中的任一方面,其中该对象至少部分地定位在患者体内。
本文各方面中的任一方面,还包括设置在对象上的一个或多个标记。
本文各方面中的任一方面,其中该一个或多个标记是红外发射装置、发光二极管、电磁发射器、雷达转发器、球体或反射标记中的至少一者。
本文各方面中的任一方面,其中确定对象的位姿包括:接收描绘一个或多个标记的图像数据;以及基于图像数据来确定一个或多个标记的位姿,该一个或多个标记的位姿与对象的位姿相关。
本文各方面中的任一方面,还包括导航系统,该导航系统被配置为跟踪一个或多个标记中的每个标记的位姿,并且其中确定对象的位姿使用导航系统。
本文各方面中的任一方面,其中生成障碍物地图包括基于对象的已知尺寸来限定对象的三维边界。
本文各方面中的任一方面,其中该存储器存储用于由处理器处理的另外的数据,该另外的数据当被处理时,使得处理器:检测对象的移动;基于所检测到的移动来更新障碍物地图中的对象的位姿;以及基于对象的更新的位姿来更新机器人臂的路径。
本文各方面中的任一方面,其中生成一个或多个禁飞区包括:扫描手术室以确定手术室内的一个或多个物理边界;以及基于一个或多个物理边界来限定一个或多个禁飞区。
一种根据本公开的至少一个实施方案的用于限定机器人臂的路径的装置包括处理器;和存储器,该存储器存储用于由处理器处理的数据,该数据当被处理时,使得处理器:生成一个或多个禁飞区,其中该一个或多个禁飞区对应于被限定为机器人臂不可接近的工作体积的区段,其中该工作体积被限定为机器人臂可接近的;确定对象的位姿;基于所确定的位姿和对象的已知尺寸来生成障碍物地图;以及限定机器人臂沿其定向的路径,该路径避免与在障碍物地图中识别的对象碰撞并且避开一个或多个禁飞区。
本文各方面中的任一方面,其中该存储器存储用于由处理器处理的另外的数据,该另外的数据当被处理时,使得处理器:当机器人臂与对象之间的距离达到阈值时生成警报。
本文各方面中的任一方面,其中该存储器存储用于由处理器处理的另外的数据,该另外的数据当被处理时,使得处理器:当机器人臂与对象之间的距离达到阈值时,防止机器人臂在路径上向前移动。
本文各方面中的任一方面,其中生成障碍物地图包括基于对象的已知尺寸来限定对象的三维边界。
本文各方面中的任一方面,其中生成一个或多个禁飞区包括:扫描手术室以确定手术室内的一个或多个物理边界;以及基于一个或多个物理边界来限定一个或多个禁飞区。
本文各方面中的任一方面,其中确定对象的位姿包括:接收描绘设置在对象上的一个或多个标记的图像数据,并且基于图像数据来确定一个或多个标记的位姿,该一个或多个标记的位姿与对象的位姿相关。
一种根据本公开的至少一个实施方案的用于限定机器人臂的路径的系统包括机器人臂;对象;设置在对象上的一个或多个标记;导航系统,该导航系统被配置为跟踪一个或多个标记中的每个标记的位姿;处理器;和存储器,该存储器存储用于由处理器处理的数据,该数据当被处理时,使得处理器:生成一个或多个禁飞区,其中该一个或多个禁飞区对应于被限定为机器人臂不可接近的工作体积的区段,其中该工作体积被限定为机器人臂可接近的;使用导航系统确定一个或多个标记的位姿;基于一个或多个标记的所检测到的位姿和对象的已知尺寸来生成障碍物地图;以及限定机器人臂沿其定向的路径,该路径避免与在障碍物地图中识别的对象碰撞并且避开一个或多个禁飞区。
任何方面与任一个或多个其他方面组合。
本文所公开特征中的任一者或多者。
本文大体上公开特征中的任一者或多者。
本文大体上公开的特征中的任一者或多者与本文大体上公开的任一个或多个其他特征组合。
方面/特征/实施方案中的任一者与任一个或多个其他方面/特征/实施方案组合。
使用本文所公开的方面或特征中的任一者或多者。
应当理解,本文所述的任何特征可与如本文所述的任何其他特征组合来要求保护,而不管特征是否来自同一描述的实施方案。
本公开的一个或多个方面的细节在以下附图和说明书中阐述。根据说明书和附图以及权利要求书,本公开中描述的技术的其他特征、目的和优点将是显而易见的。
短语“至少一个”、“一个或多个”以及“和/或”是在操作中具有连接性和分离性两者的开放式表述。例如,表述“A、B和C中的至少一者”、“A、B或C中的至少一者”、“A、B和C中的一者或多者”、“A、B或C中的一者或多者”以及“A、B和/或C”中的每一者意指仅A、仅B、仅C、A和B一起、A和C一起、B和C一起,或A、B和C一起。当以上表达中的A、B和C中的每一者是指诸如X、Y和Z的元件或诸如X1-Xn、Y1-Ym和Z1-Zo的元件类时,该短语旨在指选自X、Y和Z的单个元件,选自相同类的元件的组合(例如,X1和X2),以及选自两个或更多个类的元件的组合(例如,Y1和Zo)。
术语“一”实体是指一个或多个该实体。因此,术语“一”、“一个或多个”和“至少一个”在本文中可以可互换地使用。还应当注意,术语“包括”、“包含”和“具有”可以可互换地使用。
前述内容是本公开的简化概述以提供对本公开的一些方面的理解。本发明内容既不是对本公开及其各个方面、实施方案和配置的广泛性概述也不是详尽性概述。其既不意图确定本公开的关键或重要元素,也不意图划定本公开的范围,而是以简化形式呈现本公开的选定概念,作为对下文呈现的更详细描述的介绍。如应当理解的,本公开的其他方面、实施方案和配置可能单独或组合地利用上文所阐述或下文所详细描述的特征中的一个或多个特征。
在考虑下文提供的实施方案描述之后,本发明的许多额外特征和优点对于本领域技术人员将变得显而易见。
附图说明
附图并入并形成本说明书的一部分以示出本公开的几个示例。这些附图连同描述一起解释本公开的原理。附图仅示出如何实施和使用本公开的优选和替代示例,并且这些示例不应解释为仅将本公开限制于所示出和所描述的示例。另外的特征和优点将根据以下对本公开的各个方面、实施方案和配置的更详细的描述变得显而易见,如通过以下参考的附图所示出。
图1是根据本公开的至少一个实施方案的系统的框图;
图2是根据本公开的至少一个实施方案的流程图;并且
图3是根据本公开的至少一个实施方案的流程图。
具体实施方式
应当理解,本文所公开的各个方面可与说明书和附图中具体呈现的组合不同的组合进行组合。还应当理解,取决于示例或实施方案,本文所述的任何过程或方法的某些动作或事件可以不同的顺序执行,和/或可添加、合并或完全省略(例如,根据本公开的不同实施方案,实行所公开技术可能不需要所有描述的动作或事件)。此外,虽然为了清楚起见,本公开的某些方面被描述为由单个模块或单元执行,但应当理解,本公开的技术可由与例如计算装置和/或医疗装置相关联的单元或模块的组合执行。
在一个或多个示例中,所描述的方法、过程和技术可在硬件、软件、固件或它们的任何组合中实施。如果在软件中实施,则功能可作为一个或多个指令或代码存储在计算机可读介质上并且由基于硬件的处理单元执行。另选地或另外地,功能可使用机器学习模型、神经网络、人工神经网络或它们的组合(单独地或组合指令)来实施。计算机可读介质可包括非暂时性计算机可读介质,其对应于有形介质,诸如数据存储介质(例如,RAM、ROM、EEPROM、闪存存储器,或可用于存储指令或数据结构形式的期望程序代码并且可由计算机访问的任何其他介质)。
指令可由一个或多个处理器执行,诸如一个或多个数字信号处理器(DSP)、通用微处理器(例如,Intel Core i3、i5、i7或i9处理器;Intel Celeron处理器;Intel Xeon处理器;Intel Pentium处理器;AMD Ryzen处理器;AMD Athlon处理器;AMD Phenom处理器;Apple A10或10X Fusion处理器;Apple A11、A12、A12X、A12Z或A13 Bionic处理器;或任何其他通用微处理器)、图形处理单元(例如,Nvidia GeForce RTX 2000系列处理器、NvidiaGeForce RTX 3000系列处理器、AMD Radeon RX 5000系列处理器、AMD Radeon RX 6000系列处理器或任何其他图形处理单元)、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其他等效的集成或离散逻辑电路系统。因此,如本文所用的术语“处理器”可指前述结构或适合于实施所描述的技术的任何其他物理结构中的任一种。另外,这些技术可在一个或多个电路或逻辑元件中完全实施。
在详细地解释本公开的任何实施方案之前,应当理解,本公开在其应用方面不限于以下描述中阐述或附图中示出的构造细节和部件布置。本公开能够具有其他实施方案并且能够以各种方式实践或实行。另外,应当理解,本文所用的措词和术语是出于描述的目的,而不应被视为是限制性的。本文中使用“包含”、“包括”或“具有”及其变化形式意在涵盖其后列出的项目及其等效物,以及附加项目。此外,本公开可使用示例来示出其一个或多个方面。除非另有明确说明,否则使用或列出一个或多个示例(其可由“例如”、“借助于示例”、“诸如”或类似语言指示)不意图且并不限制本公开的范围。
术语近侧和远侧在本公开中以其常规医学含义使用,近侧更靠近系统的操作者或用户并且更远离患者体内或患者身体上的外科手术关注区,而远侧更靠近患者体内或患者身体上的外科手术关注区并且更远离系统的操作者或用户。
在外科手术期间,当自主机器人运动在患者解剖结构内发生时(例如,用于骨骼切割或螺钉插入),需要区分组成外科手术部位的不同材料(例如,当旨在切割组织和骨骼时,穿过组织和骨骼是可接受的,而穿过诸如骨骼安装件/牵开器或其他不需要的已知材料/对象的器械是不需要的)。因此,需要对那些已知器械或对象进行定位,以确保避开已知器械或对象的正确自主路径规划。
在至少一个实施方案中,导航可检测辅助设备(例如,球体、电磁发射器、红外发射二极管、雷达转发器等)可被附接到在外科手术领域中使用的已知器械或对象。已知器械或对象可以是例如骨骼安装附件、牵开器、夹具和/或植入物(例如,已知或估计大小、形状和取向的螺钉、杆、椎体间部件)。导航可检测辅助设备和已知器械或对象提供关于已知器械或对象的位置的足够信息以规划避开已知器械或对象的路径。关于已知器械或对象的位置的信息可包括关于已知器械或对象的所有自由度的信息,或者可包括关于足以避开已知器械或对象的自由度的信息。例如,对称旋转工具将不需要关于沿着其轴的旋转的信息,因为它将不会显著地改变路径规划。
在此类实施方案中,可映射整个工作体积,并且可创建机器人的一个或多个禁飞区。上文所述的导航可检测辅助设备检测一般工作体积内的已知障碍物的位置。可基于导航信息和已知器械或对象的已知大小和/或形状来创建障碍物地图。可为机器人的自主相关运动规划路径,使得机器人还将避免与已知器械或对象的碰撞。在运动期间,如果潜在的碰撞似乎即将发生(根据臂运动输出和恒定的导航输入),则可采取警报和/或相关动作(例如,可将机器人停止,警报可以是视觉的和/或听觉的等)。
本公开实现了用于机器人的自主移动的路径规划。此外,本公开还实现了用于在进入患者解剖结构的路径上自主地引导工具或器械的路径规划。
本公开的实施方案提供针对以下问题中的一个或多个问题的技术解决方案:(1)机器人臂或机器人的自主运动,(2)避免与障碍物碰撞的机器人臂或机器人的自主运动,(3)限定障碍物和/或机器人臂或机器人被限制接触的禁飞区,和/或(4)限定或规划始于患者解剖结构外部并且至少部分地终止于患者解剖结构内部的路径。
首先转向图1,示出了根据本公开的至少一个实施方案的系统100的框图。系统100可用于限定或规划机器人臂的路径和/或实行本文公开方法中的一个或多个方法的一个或多个其他方面。系统100包括计算装置102、一个或多个成像装置112、机器人114、导航系统118、数据库130和/或云或其他网络134。根据本公开的其他实施方案的系统可包括比系统100更多或更少的部件。例如,系统100可不包括成像装置112、机器人114、导航系统118、计算装置102的一个或多个部件、数据库130和/或云134。
计算装置102包括处理器104、存储器106、通信接口108和用户接口110。根据本公开的其他实施方案的计算装置可包括比计算装置102更多或更少的部件。
计算装置102的处理器104可为本文所述的任何处理器或任何类似的处理器。处理器104可被配置为执行存储在存储器106中的指令,这些指令可使处理器104利用或基于从成像装置112、机器人114、导航系统118、数据库130和/或云134接收的数据来实行一个或多个计算步骤。
存储器106可以是或包括RAM、DRAM、SDRAM、其他固态存储器、本文所述的任何存储器或用于存储计算机可读数据和/或指令的任何其他有形的非暂时性存储器。存储器106可存储用于完成例如本文所述的方法200和/或300或任何其他方法的任何步骤的信息或数据。存储器106可存储例如支持机器人114的一个或多个功能的指令和/或机器学习模型。例如,存储器106可存储内容(例如,指令和/或机器学习模型),该内容当被处理器104执行时,启用图像处理120和/或分割122。
图像处理120使得处理器104能够处理图像的图像数据,以便例如识别关于在图像中描绘的一个或多个对象和/或解剖元素的信息。该信息可包括例如一个或多个对象和/或解剖元素的位姿、一个或多个对象和/或解剖元素的标识、各个对象和/或解剖元素的标识、一个或多个对象和/或解剖元素的边界等。图像处理120还可使得处理器104能够处理图像数据以将图像数据从二维图像转换为三维表示。
分割122使得处理器104能够分割图像数据,以便识别图像中的各个对象和/或解剖元素。分割122可使得处理器104能够通过使用例如特征识别来识别对象或解剖元素的边界。在其他情况下,分割122可使得处理器104能够通过确定图像像素的颜色或灰度之间的差异或对比度来识别对象或解剖元素的边界。
在一些实施方案中,如果作为指令提供,存储在存储器106中的内容可被组织到一个或多个应用、模块、包、层或引擎中。另选地或另外地,存储器106可存储可由处理器104处理以实行本文所述的各种方法和特征的其他类型的内容或数据(例如,机器学习模式、人工神经网络、深度学习神经网络等)。因此,尽管可将存储器106的各种内容描述为指令,但应当理解,可通过使用指令、算法和/或机器学习模型来实现本文所述的功能。数据、算法和/或指令可使处理器104操纵存储在存储器106中和/或从或经由成像装置112、机器人114、数据库130和/或云134接收的数据。
计算装置102也可包括通信接口108。通信接口108可用于从外部源(诸如成像装置112、机器人114、导航系统118、数据库130、云134和/或不是系统100的部分的任何其他系统或部件)接收图像数据或其他信息,并且/或者用于将指令、图像或其他信息传输到外部系统或装置(例如,另一计算装置102、成像装置112、机器人114、导航系统118、数据库130、云134和/或不是系统100的部分的任何其他系统或部件)。通信接口108可包括一个或多个有线接口(例如,USB端口、以太网端口、火线端口)和/或一个或多个无线收发器或接口(被配置为例如经由诸如802.11a/b/g/n、蓝牙、NFC、ZigBee等一个或多个无线通信协议发射和/或接收信息)。在一些实施方案中,通信接口108可用于使得装置102能够与一个或多个其他处理器104或计算装置102通信,无论是减少完成计算密集型任务所需的时间还是出于任何其他原因。
计算装置102也可包括一个或多个用户接口110。用户接口110可以是或包括键盘、鼠标、轨迹球、监测器、电视、屏幕、触摸屏和/或用于从用户接收信息和/或用于向用户提供信息的任何其他装置。用户接口110可用于例如接收关于本文所描述的任何方法的任何步骤的用户选择或其他用户输入。尽管如此,本文所描述的任何方法的任何步骤的任何所需输入可由系统100(例如,由处理器104或系统100的另一部件)自动生成或由系统100从系统100外部的源接收。在一些实施方案中,用户接口110可用于允许外科医生或其他用户根据本公开的一个或多个实施方案修改将由处理器104执行的指令,并且/或者修改或调整显示在用户接口110上或与其相对应的其他信息的设定。
尽管用户接口110被示出为计算装置102的一部分,但在一些实施方案中,计算装置102可利用与计算装置102的一个或多个剩余部件分开容纳的用户接口110。在一些实施方案中,用户接口110可位于计算装置102的一个或多个其他部件附近,而在其他实施方案中,用户接口110可位于远离计算机装置102的一个或多个其他部件之处。
成像装置112可操作以对对象、解剖特征部(例如,骨骼、静脉、组织等)和/或患者解剖结构的其他方面进行成像以产生图像数据(例如,描绘或对应于骨骼、静脉、组织等的图像数据)。如本文所用的“图像数据”是指由成像装置112生成或捕获的数据,包括呈机器可读形式、图形/视觉形式和呈任何其他形式的数据。在不同示例中,图像数据可包括对应于患者的解剖特征部或其一部分的数据。图像数据可以是或包括术前图像、术中图像、术后图像、或独立于任何外科手术规程拍摄的图像。在一些实施方案中,第一成像装置112可用于在第一时间获得第一图像数据(例如,第一图像),并且第二成像装置112可用于在第一时间之后的第二时间获得第二图像数据(例如,第二图像)。成像装置112可能够拍摄2D图像或3D图像以产生图像数据。成像装置112可以是或包括例如超声扫描仪(其可包括例如物理分开的换能器和接收器,或单个超声收发器)、O形臂、C形臂、G形臂或利用基于X射线的成像的任何其他装置(例如,荧光镜、CT扫描仪或其他X射线机)、磁共振成像(MRI)扫描仪、光学相干断层扫描(OCT)扫描仪、内窥镜、显微镜、光学相机、热成像相机(例如,红外相机)、雷达系统(其可包括例如发射器、接收器、处理器和一个或多个天线),或任何其他适合于获得患者解剖特征部的图像的成像装置112。成像装置112可完全包含在单个外壳内,或可包括在单独外壳中或以其他方式物理分开的发射器/发射器和接收器/检测器。
在一些实施方案中,成像装置112可包括多于一个成像装置112。例如,第一成像装置可提供第一图像数据和/或第一图像,并且第二成像装置可提供第二图像数据和/或第二图像。在又其他实施方案中,同一成像装置可用于提供第一图像数据和第二图像数据两者和/或本文所述的任何其他图像数据。成像装置112可操作以生成图像数据流。例如,成像装置112可被配置为在快门打开的情况下操作,或者在快门在打开与关闭之间连续交替的情况下操作,以便捕获连续图像。出于本公开的目的,除非另有指明,否则如果图像数据表示每秒两个或更多个帧,则可将图像数据视为连续的并且/或者提供为图像数据流。
从成像装置112接收的图像数据可由处理器104使用图像处理120来处理。如前所述,可处理图像数据(其可使用例如分割122)以识别关于例如在图像数据中描绘的一个或多个对象和/或解剖元素的信息。所识别的信息可用于支持机器人114的功能。例如,所识别的信息可用于确定机器人114要避开的一个或多个对象和/或解剖元素。类似地,所识别的信息可用于确定机器人114的一个或多个目标对象和/或解剖元素。
机器人114可以是任何外科手术机器人或外科手术机器人系统。机器人114可以是或包括例如Mazor XTM隐形版机器人引导系统。机器人114可被配置为将成像装置112定位在一个或多个精确位置和取向上,并且/或者在稍后时间点将成像装置112返回到同一位置和取向。机器人114可另外地或另选地被配置为操纵外科手术工具(无论是否基于来自导航系统118的引导)以完成或辅助外科手术任务。在一些实施方案中,机器人114可被配置为在外科手术规程期间或结合外科手术规程而保持和/或操纵解剖元素。机器人114可包括一个或多个机器人臂116。在一些实施方案中,机器人臂116可包括第一机器人臂和第二机器人臂,但机器人114可包括多于两个机器人臂。在一些实施方案中,机器人臂116中的一个或多个机器人臂可用于保持和/或操控成像装置112。在成像装置112包括两个或更多个物理分开的部件(例如,发射器和接收器)的实施方案中,一个机器人臂116可保持一个此类部件,并且另一机器人臂116可保持另一此类部件。每个机器人臂116可能够独立于其他机器人臂定位。可在单个共享坐标空间中或在单独坐标空间中控制机器人臂116。
机器人114连同机器人臂116可具有例如一个、两个、三个、四个、五个、六个、七个或更多个自由度。此外,机器人臂116可以任何位姿、平面和/或焦点定位或能够以任何位姿、平面和/或焦点定位。该位姿包含位置和取向。因此,由机器人114(或更具体地说,由机器人臂116)保持的成像装置112、外科手术工具或其他对象可被精确定位在一个或多个所需且特定的位置和取向上。
机器人臂116可包括一个或多个传感器,该一个或多个传感器使得处理器104(或机器人114的处理器)能够确定机器人臂(以及由机器人臂保持或固定到机器人臂的任何对象或元素)在空间中的精确位姿。
在一些实施方案中,参考标记(即,导航标记)可放置在机器人114(包括例如在机器人臂116上)、成像装置112或外科手术空间中的任何其他对象上。参考标记可由导航系统118跟踪,并且跟踪的结果可由机器人114和/或由系统100或其任何部件的操作者使用。在一些实施方案中,导航系统118可用于跟踪系统的其他部件(例如,成像装置112),并且系统可在不使用机器人114的情况下操作(例如,外科医生例如基于由导航系统118生成的信息和/或指令来手动操纵成像装置112和/或一个或多个外科手术工具)。
在示出的实施方案中,系统100包括控制器124,但是在一些实施方案中,系统100可不包括控制器124。控制器124可以是电子控制器、机械控制器或机电控制器。控制器124可包括或可以是本文所述的任何处理器。控制器124可包括存储指令的存储器,这些指令用于执行本文所述的由控制器124实行的任何功能或方法。在一些实施方案中,控制器124可被配置为简单地将从计算装置102(例如,经由通信接口108)接收到的信号转换成用于操作机器人114(并且更具体地,用于控制被配置为移动机器人114的一个或多个马达)、导航系统118和/或机器人114的命令。在其他实施方案中,控制器124可被配置为处理和/或转换从计算装置102、导航系统118和/或机器人114接收到的信号。此外,控制器124可从一个或多个源(例如,计算装置102、导航系统118和/或机器人114)接收信号,并且可向一个或多个源输出信号。
在操作期间,导航系统118可为外科医生和/或外科手术机器人提供导航。导航系统118可以是任何已知的或未来开发的导航系统,包括例如美敦力公司(Medtronic)StealthStationTMS8外科手术导航系统或其任何后续产品。导航系统118可包括一个或多个相机或其他传感器,以用于跟踪手术室或系统100的部分或全部所在的其他房间内的一个或多个参考标记、导航跟踪器或其他对象。一个或多个相机可以是光学相机、红外相机或其他相机。在一些实施方案中,导航系统118可包括一个或多个电磁传感器。在各种实施方案中,导航系统118可用于跟踪成像装置112、机器人114和/或机器人臂116和/或一个或多个外科手术工具的位置和取向(例如,位姿)(或更具体地说,用于跟踪直接或间接以固定关系附接到前述中的一者或多者的导航跟踪器的位姿)。导航系统118可包括用于显示来自外部源(例如,计算装置102、成像装置112或其他源)的一个或多个图像或用于显示来自导航系统118的一个或多个相机或其他传感器的图像和/或视频流的显示器。在一些实施方案中,系统100可在不使用导航系统118的情况下操作。导航系统118可被配置为向外科医生或系统100的其他用户或其部件、向机器人114或系统100的任何其他元件提供关于例如一个或多个解剖元素的位姿、工具是否处于恰当轨迹中和/或如何根据术前或其他外科手术计划将工具移动到恰当轨迹中以实行外科手术任务的引导。
数据库130可存储将一个坐标系关联到另一坐标系(例如,将一个或多个机器人坐标系关联到患者坐标系和/或导航坐标系)的信息。数据库130可另外地或另选地存储例如一个或多个外科手术计划(包括例如关于目标的位姿信息和/或关于外科手术部位处和/或附近的患者的解剖结构的图像信息,以供机器人114、导航系统118和/或计算装置102或系统100的用户使用);结合由系统100的一个或多个其他部件完成的或在这些部件的协助下完成的外科手术的一个或多个有用的图像;和/或任何其他有用的信息。数据库130可被配置为将任何此类信息提供到计算装置102或系统100的任何其他装置或系统100外部的任何其他装置,无论直接地或通过云134。在一些实施方案中,数据库130可以是或包括医院图像存储系统的一部分,诸如图片存档与通信系统(PACS)、健康信息系统(HIS)和/或用于收集、存储、管理和/或传输包括图像数据的电子医疗记录的另一系统。
云134可以是或表示互联网或任何其他广域网。计算装置102可经由通信接口108使用有线连接、无线连接或两者连接到云134。在一些实施方案中,计算装置102可经由云134与数据库130和/或外部装置(例如,计算装置)通信。
系统100或类似系统可用于例如实行本文所述的方法200和/或300中的任一种方法的一个或多个方面。系统100或类似系统还可用于其他目的。
图2描绘了可用于例如限定机器人臂的路径的方法200。
方法200(和/或其一个或多个步骤)可例如由至少一个处理器实行或以其他方式执行。至少一个处理器可与上文所述的计算装置102的处理器104相同或相似。至少一个处理器可以是机器人(诸如机器人114)的一部分或导航系统(诸如导航系统118)的一部分。也可使用除本文所述的任何处理器之外的处理器来执行方法200。至少一个处理器可通过执行存储在存储器(诸如存储器106)中的元素来执行方法200。存储在存储器中且由处理器执行的元素可使处理器执行如方法200中所示的功能的一个或多个步骤。方法200的一个或多个部分可由执行存储器的内容中的任一者(诸如图像处理120和/或分割122)的处理器来执行。
方法200包括生成一个或多个禁飞区(步骤204)。一个或多个禁飞区可对应于被限定为对机器人臂(诸如机器人臂116)和/或机器人(诸如机器人114)的任何部分的不可接近或禁止进入的工作体积的区段。工作体积限定了围绕患者或在患者内的空间体积,机器人臂可进入该空间体积中。尽管一个或多个禁飞区中的每个禁飞区可限定机器人臂和/或机器人的任何部分被限制进入的至少一个体积,但是应当理解,机器人臂可能够进入禁飞区,但是通过例如控制信令来阻止这样做。在此类情况下,可使用例如由控制器(诸如控制器124)产生和/或发射的控制信令将机器人臂和/或机器人的任何部分停止在一个或多个禁飞区的每个禁飞区的边界处。控制信令可例如使一个或多个马达在禁飞区的边界处停止机器人臂和/或机器人的移动。控制信令还可使一个或多个马达将机器人臂和/或机器人移动远离禁飞区的边界。在一些实施方案中,控制信令可禁止一个或多个马达进一步移动机器人臂和/或机器人。在一些实施方案中,控制信令可禁止一个或多个马达的某些运动。在其他示例中,控制信令可使制动器向一个或多个马达施加制动力,以防止机器人臂和/或机器人移动到一个或多个禁飞区中。
在一些实施方案中,可通过限定手术室的体积并且从该体积减去一个或多个禁飞区来限定工作体积。手术室的体积可由例如处理器(诸如处理器104)基于关于手术室的信息来确定。该信息可以是例如图像、传感器数据、激光雷达数据和/或电磁数据。在其他情况下,手术室的体积可根据房间的尺寸计算。在其他实施方案中,可通过扫描手术室(使用例如成像装置)以确定手术室内的一个或多个物理边界并且基于该一个或多个物理边界限定一个或多个禁飞区来生成手术室的体积和一个或多个禁飞区。
一个或多个禁飞区可由处理器(诸如处理器104)自动生成。在一些实施方案中,可基于工作体积和一个或多个禁飞区来生成3D模型。在其他实施方案中,工作体积和/或一个或多个禁飞区可以是或包括或基于经由用户接口(诸如用户接口110)接收的外科医生输入。在另外的实施方案中,工作体积和/或禁飞区可由处理器自动映射或生成,并且此后可由外科医生或其他用户查看和批准(或修改)。
方法200还包括确定对象的位姿(步骤208)。对象可以是器械,诸如例如牵开器、管状牵开器或端口,或者可以是在外科手术、规程或步骤中使用的任何部件或者可存在于外科手术室中的任何部件,包括例如成像装置、手术台、操作人员等。应当理解,可确定任何数量的对象的位姿。例如,可确定一个或多个牵开器和/或一个或多个螺钉中的每一者的位姿。
在一些实施方案中,可从传感器(诸如位置传感器)接收对象的位姿。在其他实施方案中,可从定向或支撑对象的机器人臂接收对象的位姿(例如,牵开器可由机器人臂定向)。在再一些其他实施方案中,对象的位姿可作为来自用户(诸如例如外科医生)的输入被接收。
在其他实施方案中,可从导航系统(诸如导航系统118)的导航相机接收对象的位姿。在此类实施方案中,对象可包含能够由导航系统检测的一个或多个标记(诸如例如,参考标记)。因为一个或多个标记的位姿与对象的位姿相关,所以可通过确定一个或多个标记的位姿来获得对象的位姿。一个或多个标记可包括红外发射装置、发光二极管、电磁发射器、雷达转发器、球体和/或反射标记。在此类实施方案中,可接收描绘一个或多个标记的图像数据并且可基于图像数据来确定所述一个或多个标记的位姿。在此类实施方案中,可使用存储于存储器中的指令或模型来处理图像数据,该指令或模型当被执行时,启用图像处理(诸如图像数据的图像处理120)以识别图像数据中的一个或多个标记。在其他情况下,可使用存储于存储器中的指令或模型来处理图像数据,该指令或模型当被执行时,启用图像数据的分割(诸如分割122)以识别图像数据中的一个或多个标记。
方法200还包括生成障碍物地图(步骤212)。障碍物地图可基于例如在上文所述的步骤208中确定的对象的位姿以及对象的已知尺寸。应当理解,在一些实施方案中,障碍物地图包括多于一个对象。尺寸可包括对象的宽度、长度、深度、厚度和/或直径。尺寸还可包括对象的相对尺寸。例如,尺寸可包括两个对象之间的距离,诸如例如牵开器的两个臂之间的距离。在一些实施方案中,尺寸可作为来自用户的输入被接收。在其他实施方案中,尺寸可从数据库(诸如数据库130)接收。在再一些其他实施方案中,尺寸可由例如用户或导航系统在术前或术中测量。例如,可使用导航探针来测量对象的尺寸,例如,可使导航探针接触对象的不同点。然后,可使用对象的导航点来确定对象的尺寸。
生成障碍物地图可包括基于对象的已知尺寸来限定对象的三维边界。在一些实施方案中,可将对象定位在障碍物地图内,并且可基于对象的已知尺寸来形成表面表示。在一些实施方案中,表面表示可以是虚拟网格。虚拟网格可包括例如一组多边形面,当这些多边形面合在一起时,形成虚拟对象的表面覆盖。该组多边形面可在其边缘和顶点处连接以限定虚拟对象的形状。
方法200还包括限定机器人臂的路径(步骤216)。该路径避免与例如在上述步骤212中生成的障碍物地图中识别的对象碰撞,并且还避开例如在上述步骤204中生成的一个或多个禁飞区。该路径也设置在工作体积内。该路径确保机器人的任何部分避开在障碍物地图中限定的一个或多个禁飞区和对象。该路径可从患者解剖结构之外延伸到患者解剖结构内。该路径还可将机器人臂或机器人的任何部分定向到患者身体上的外科手术部位。例如,外科手术部位可以是切口,并且对象可以是两个牵开器,该两个牵开器被定位成缩回并保持打开切口。该路径可使机器人臂定向到切口,同时避开禁飞区和两个牵开器。此外,在一些实施方案中,机器人臂可定向工具。该工具可以是例如刀、钻、螺钉等。该路径可使机器人臂将工具从患者解剖结构外部的第一位置定向到患者解剖结构内部的第二位置。第二位置可以是例如患者身体上的切口内部的位置。例如,该路径可使机器人臂将螺钉通过切口定向到例如椎骨。
方法200还包括使机器人臂沿着该路径移动(步骤224)。在一些实施方案中,使机器人臂沿着该路径移动的指令可由例如处理器生成并且传输到机器人臂(或其控制器)。在其他实施方案中,将机器人臂定向在一个或多个位姿的指令可由例如处理器生成并且显示在用户接口(诸如用户接口110)上。
方法200还包括生成警报(步骤224)。当机器人臂或机器人的任何部分与对象或一个或多个禁飞区的边界之间的距离达到或超过阈值时,可生成警报。该警报可以是例如听觉的、视觉的或它们的组合。在一些实施方案中,警报可简单地通知用户(诸如外科医生或其他医务人员)已经满足或超过阈值。
该阈值可基于机器人臂或机器人的任何部分与对象之间的可接受距离和/或一个或多个禁飞区的边界。机器人臂或机器人的任何部分与对象和/或一个或多个禁飞区的边界之间的此类距离可通过例如监测机器人臂或机器人的任何部分的位姿以及监测对象的位姿来确定。机器人臂或机器人的任何部分的位姿可使用例如与机器人臂或机器人的任何部分设置或集成的传感器来监测,并且/或者可通过导航系统监测。可通过例如导航系统或定向对象的机器人臂来监测对象的位姿。在一些实施方案中,该距离可与机器人臂(或机器人的任何部分)的位姿和对象的位姿之间的差异和/或机器人臂(或机器人的任何部分)的位姿和一个或多个禁飞区的边界之间的差异相关。
应当理解,在一些实施方案中,阈值可包括多个阈值。例如,机器人臂(或机器人的任何部分)与牵开器之间的距离的阈值可小于机器人臂(或机器人的任何部分)与手术台之间的距离的阈值。在一些实施方案中,阈值可作为输入从例如用户(诸如外科医生或其他医疗提供者)接收,或者可在外科手术计划中提供。在其他实施方案中,阈值可通过例如处理器在术前或术中自动确定。例如,处理器可执行接收对象的预期位置和/或机器人臂的路径作为输入并且输出一个或多个阈值的模型。可使用例如历史阈值、历史对象和/或一个或多个历史路径来训练该模型。
应当理解,在一些实施方案中,方法200可不包括步骤224。
方法200还包括防止机器人臂向前移动(步骤228)。当机器人臂或机器人的任何部分与对象之间的距离和/或机器人臂或机器人的任何部分与一个或多个禁飞区的边界之间的距离达到或超过阈值时,可防止机器人臂或机器人的任何部分的向前移动。该阈值可与上文在步骤224中描述的阈值相同或相似。可通过例如由例如控制器生成的控制信令来防止机器人臂的向前移动。如前所述,在此类情况下,当机器人臂或机器人的任何部分与对象或一个或多个禁飞区的边界之间的距离满足或超过阈值时,可使用控制信令将机器人臂和/或机器人的任何部分停止在一个或多个禁飞区或对象处。控制信令可例如使一个或多个马达停止机器人臂和/或机器人的移动。控制信令还可使一个或多个马达将机器人臂和/或机器人移动远离禁飞区或对象。在其他示例中,控制信令可使制动器向一个或多个马达施加制动力,以防止机器人臂和/或机器人的移动。
应当理解,在一些实施方案中,方法200可不包括步骤228。在再一些其他实施方案中,可组合步骤224和228。例如,当机器人臂或机器人的任何部分与对象或一个或多个禁飞区的边界之间的距离满足或超过阈值时,则可生成警报并且同时可防止机器人臂或机器人的任何部分沿着路径向前移动。
还应当理解,在一些实施方案中,当步骤224和/或228完成时,可重新建立步骤220。例如,在控制信令使机器人臂或机器人的任何部分远离禁飞区和/或对象移动的实施方案中,当机器人臂和/或机器人的任何部分与禁飞区和/或对象之间的距离不再满足或超过阈值时,控制信令可使机器人臂恢复沿着路径的移动。在一些实施方案中,机器人臂可在路径被更新时暂停(使用例如下文描述的方法300),然后沿着更新的路径恢复移动。在再一些其他实施方案中,机器人臂可不恢复移动,直到用户(诸如外科医生或其他医疗提供者)使机器人臂能够移动为止。例如,用户可接收警报(其可在例如步骤224中生成)并且机器人臂可不恢复移动直到用户已经经由例如用户接口确认警报。
本公开涵盖方法200的实施方案,这些实施方案包括相比上文所述的步骤更多或更少的步骤和/或与上文所述的步骤不同的一个或多个步骤。
图3描绘了可用于例如更新机器人臂的路径的方法300。
方法300(和/或其一个或多个步骤)可例如由至少一个处理器实行或以其他方式执行。至少一个处理器可与上文所述的计算装置102的处理器104相同或相似。至少一个处理器可以是机器人(诸如机器人114)的一部分或导航系统(诸如导航系统118)的一部分。也可使用除本文所述的任何处理器之外的处理器来执行方法300。至少一个处理器可通过执行存储在存储器(诸如存储器106)中的元素来执行方法300。存储在存储器中且由处理器执行的元素可使处理器执行如方法300中所示的功能的一个或多个步骤。方法300的一个或多个部分可由执行存储器的内容中的任一者(诸如图像处理120和/或分割122)的处理器来执行。
方法300包括检测对象的移动(步骤304)。检测对象的移动可包括比较对象的第一位姿和对象的第二位姿。获得或确定第一位姿和第二位姿可与步骤208相同或相似。可在第一位姿之后获得对象的第二位姿。
在其他实施方案中,检测对象的移动可包括比较对象的第一图像(其可从例如成像装置(诸如成像装置112)接收)和对象的第二图像。更具体地,可将对象在第一图像中的位姿与对象在第二图像中的位姿进行比较。当第一位姿与第二位姿之间的差异(不管是从图像、传感器数据、导航数据还是以其他方式获得)满足或超过移动阈值时,可检测到移动。
移动阈值可基于对象可展现的可接受的移动量。在一些情况下,可能不需要移动,然而,小的移动阈值可能是可接受的。在其他情况下,可预期对象由于例如外科手术步骤而移动。因此,移动阈值可基于对象的实际移动和预测移动之间的可接受差异。更具体地,在预测移动之后对象的实际位置与对象的预期位置之间的差异可被确定为满足或超过移动阈值。
在一些实施方案中,移动阈值可作为输入从例如用户(诸如外科医生或其他医疗提供者)接收,或者可在外科手术计划中提供。在其他实施方案中,移动阈值可通过例如处理器在术前或术中自动确定。例如,处理器可执行接收对象的预期位置和/或对象的预测移动作为输入并且输出一个或多个移动阈值的模型。可使用例如历史移动阈值、历史对象和/或历史对象的一个或多个历史预测移动来训练该模型。
方法300还包括确定对象的位姿(步骤308)。可基于所检测到的移动来更新障碍物地图中的对象的位姿。例如,可在上文所述的方法200的步骤212中生成障碍物地图。更新障碍物地图中的对象的位姿可包括移动对象的三维边界以反映对象的更新位姿。在其他情况下,更新障碍物地图中的对象的位姿可包括重新生成对象的三维边界以反映对象的更新的位姿。
方法300还包括更新机器人臂的路径(步骤312)。更新机器人臂的路径可基于对象的更新的位姿。换句话说,可将路径更新以在对象已经移动之后避开对象。在一些实施方案中,更新机器人臂的路径更新机器人臂的整个路径。在其他实施方案中,更新机器人臂的路径更新机器人臂的路径的剩余部分。此外,在一些实施方案中,步骤312包括重复上文所述的方法200的步骤204和212。换句话说,可基于对象的更新的位姿重新生成一个或多个禁飞区(步骤204)并且/或者可重新生成障碍物地图(步骤212)。在此类实施方案中,可基于重新生成的一个或多个禁飞区和/或重新生成的障碍物地图来更新路径。
应当理解,步骤302、308、312可连续重复、以时间增量重复和/或当外科手术步骤已经发生时重复。例如,步骤302、308、312可在检测到对象的移动的任何时间、在已经执行手术步骤之后或以其他方式重复。
本公开涵盖方法300的实施方案,这些实施方案包括相比上文所述的步骤更多或更少的步骤和/或与上文所述的步骤不同的一个或多个步骤。
如上所述,本公开涵盖具有比图2和图3(以及方法200和300的对应描述)中识别的所有步骤更少的步骤的方法,以及包括超出图2和图3(以及方法200和300的对应描述)中识别的步骤的额外步骤的方法。本公开还涵盖包括来自本文所描述的一种方法的一个或多个步骤和来自本文所描述的另一种方法的一个或多个步骤的方法。本文所描述的任何相关性可为或包括配准或任何其他相关性。
前述内容并不意图将本公开限于本文所公开的一种或多种形式。在前述的具体实施方式中,例如,出于简化本公开的目的,将本公开的各种特征一起分组在一个或多个方面、实施方案和/或配置中。本公开的方面、实施方案和/或配置的特征可组合在除了上文所论述的那些之外的替代方面、实施方案和/或配置中。本公开的方法不应被解释为反映以下意图:权利要求需要比每项权利要求中明确叙述的特征更多的特征。相反,如以下权利要求书所反映,本发明方面在于少于单个前述公开的方面、实施方案和/或配置的全部特征。因此,以下权利要求特此并入这个具体实施方式中,其中每项权利要求作为本公开的单独的优选实施方案而独立存在。
此外,尽管前述已经包含对一个或多个方面、实施方案和/或配置以及某些变化和修改的描述,但在理解了本公开之后,其他变化、组合和修改在本公开的范围内,例如,可在本领域技术人员的技能和知识范围内。意图在准许的范围内获得包括替代方面、实施方案和/或配置的权利,包括所要求保护的那些的替代、可互换和/或等效的结构、功能、范围或步骤,而不管这些替代、可互换和/或等效的结构、功能、范围或步骤是否在本文中公开,而且不意图公开用于任何可获专利的主题。
Claims (32)
1.一种用于限定机器人臂的路径的系统,所述系统包括:
机器人臂;
对象;
处理器;以及
存储器,所述存储器存储用于由所述处理器处理的数据,所述数据当被处理时,使得所述处理器:
生成一个或多个禁飞区,其中所述一个或多个禁飞区对应于被限定为所述机器人臂不可接近的工作体积的区段,其中所述工作体积被限定为所述机器人臂可接近的;
确定所述对象的位姿;
基于所确定的位姿和所述对象的已知尺寸来生成障碍物地图;以及
限定所述机器人臂沿其定向的路径,所述路径避免与在所述障碍物地图中识别的所述对象碰撞并且避开所述一个或多个禁飞区。
2.根据权利要求1所述的系统,其中所述路径将所述机器人臂定向到患者身体上的外科手术部位。
3.根据权利要求1所述的系统,所述系统还包括由所述机器人臂定向的工具,并且其中所述路径将所述工具从患者体外的第一位置定向到患者体内的第二位置。
4.根据权利要求1所述的系统,其中所述存储器存储用于由所述处理器处理的另外的数据,所述另外的数据当被处理时,使得所述处理器:
当所述机器人臂与所述对象之间的距离达到阈值时生成警报。
5.根据权利要求1所述的系统,其中所述存储器存储用于由所述处理器处理的另外的数据,所述另外的数据当被处理时,使得所述处理器:
当所述机器人臂与所述对象中的一个对象之间的距离达到阈值时,防止所述机器人臂在所述路径上向前移动。
6.根据权利要求1所述的系统,其中所述对象至少部分地定位在患者体内。
7.根据权利要求1所述的系统,所述系统还包括设置在所述对象上的一个或多个标记。
8.根据权利要求7所述的系统,其中所述一个或多个标记是红外发射装置、发光二极管、电磁发射器、雷达转发器、球体或反射标记中的至少一者。
9.根据权利要求7所述的系统,其中确定所述对象的所述位姿包括:
接收描绘所述一个或多个标记的图像数据;以及
基于所述图像数据来确定所述一个或多个标记的位姿,所述一个或多个标记的所述位姿与所述对象的所述位姿相关。
10.根据权利要求7所述的系统,所述系统还包括导航系统,所述导航系统被配置为跟踪所述一个或多个标记中的每个标记的位姿,并且其中确定所述对象的所述位姿使用所述导航系统。
11.根据权利要求1所述的系统,其中生成所述障碍物地图包括基于所述对象的所述已知尺寸来限定所述对象的三维边界。
12.根据权利要求1所述的系统,其中所述存储器存储用于由所述处理器处理的另外的数据,所述另外的数据当被处理时,使得所述处理器:
检测所述对象的移动;
基于所检测到的移动来更新所述障碍物地图中的所述对象的位姿;以及
基于所述对象的更新的位姿来更新所述机器人臂的所述路径。
13.根据权利要求1所述的系统,其中生成所述一个或多个禁飞区包括:
扫描手术室以确定所述手术室内的一个或多个物理边界;以及
基于所述一个或多个物理边界来限定所述一个或多个禁飞区。
14.一种用于限定机器人臂的路径的装置,所述装置包括:
处理器;和
存储器,所述存储器存储用于由所述处理器处理的数据,所述数据当被处理时,使得所述处理器:
生成一个或多个禁飞区,其中所述一个或多个禁飞区对应于被限定为机器人臂不可接近的工作体积的区段,其中所述工作体积被限定为所述机器人臂可接近的;
确定对象的位姿;
基于所确定的位姿和所述对象的已知尺寸来生成障碍物地图;以及
限定所述机器人臂沿其定向的路径,所述路径避免与在所述障碍物地图中识别的所述对象碰撞并且避开所述一个或多个禁飞区。
15.根据权利要求14所述的装置,其中所述存储器存储用于由所述处理器处理的另外的数据,所述另外的数据当被处理时,使得所述处理器:
当所述机器人臂与所述对象之间的距离达到阈值时生成警报。
16.根据权利要求14所述的装置,其中所述存储器存储用于由所述处理器处理的另外的数据,所述另外的数据当被处理时,使得所述处理器:
当所述机器人臂与所述对象中之间的距离达到阈值时,防止所述机器人臂在所述路径上向前移动。
17.根据权利要求14所述的装置,其中生成所述障碍物地图包括基于所述对象的所述已知尺寸来限定所述对象的三维边界。
18.根据权利要求14所述的装置,其中生成所述一个或多个禁飞区包括:
扫描手术室以确定所述手术室内的一个或多个物理边界;以及
基于所述一个或多个物理边界来限定所述一个或多个禁飞区。
19.根据权利要求14所述的装置,其中确定所述对象的所述位姿包括:接收描绘设置在所述对象上的一个或多个标记的图像数据,并且基于所述图像数据来确定所述一个或多个标记的位姿,所述一个或多个标记的所述位姿与所述对象的所述位姿相关。
20.一种用于限定机器人臂的路径的系统,所述系统包括:
机器人臂;
对象;
设置在所述对象上的一个或多个标记;
导航系统,所述导航系统被配置为跟踪所述一个或多个标记中的每个标记的位姿;
处理器;和
存储器,所述存储器存储用于由所述处理器处理的数据,所述数据当被处理时,使得所述处理器:
生成一个或多个禁飞区,其中所述一个或多个禁飞区对应于被限定为所述机器人臂不可接近的工作体积的区段,其中所述工作体积被限定为所述机器人臂可接近的;
使用所述导航系统确定所述一个或多个标记的位姿;
基于所述一个或多个标记的所检测到的位姿和所述对象的已知尺寸来生成障碍物地图;以及
限定所述机器人臂沿其定向的路径,所述路径避免与在所述障碍物地图中识别的所述对象碰撞并且避开所述一个或多个禁飞区。
21.一种限定机器人臂相对于一个或多个对象的路径的方法,所述方法包括:
生成一个或多个禁飞区,所述一个或多个禁飞区对应于被限定为机器人臂不可接近的工作体积的区段,其中所述工作体积被限定为所述机器人臂可接近的;
确定所述一个或多个对象的一个或多个位姿;
基于所确定的一个或多个位姿且基于所述一个或多个对象的已知尺寸来生成障碍物地图;以及
限定所述机器人臂沿其定向的路径,所述路径避免与在所生成的障碍物地图中识别的所述一个或多个对象碰撞并且避开所述一个或多个禁飞区,
其中所述方法的至少一部分由至少一个计算机处理器实行。
22.根据权利要求21所述的方法,其中所述路径被限定为将所述机器人臂定向到患者身体上的外科手术部位。
23.根据权利要求21所述的方法,其中所述路径的限定还包括通过所述机器人臂将工具从患者体外的第一位置定向到患者体内的第二位置。
24.根据权利要求21至23中任一项所述的方法,所述方法还包括当所述机器人臂与所述一个或多个对象之间的距离达到阈值时生成警报。
25.根据权利要求21至24中任一项所述的方法,所述方法还包括当所述机器人臂与所述对象中的一个对象之间的距离达到阈值时防止所述机器人臂在所述路径上向前移动。
26.根据权利要求21至25中任一项所述的方法,其中所述一个或多个对象至少部分地定位在患者体内。
27.根据权利要求21至26中任一项所述的方法,所述方法还包括在所述一个或多个对象上设置一个或多个标记,其中所述一个或多个标记包括红外发射装置、发光二极管、电磁发射器、雷达转发器、球体或反射标记中的至少一者。
28.根据权利要求21至27中任一项所述的方法,其中所述一个或多个对象的所述一个或多个位姿的确定包括:
接收描绘设置在所述一个或多个对象上的一个或多个标记的图像数据;以及
基于所述图像数据来确定所述一个或多个标记的一个或多个位姿,所述一个或多个标记的所述一个或多个位姿与所述相应对象的所述相应位姿相关。
29.根据权利要求26或27所述的方法,所述方法还包括使用导航系统跟踪所述一个或多个标记中的每个标记的位姿,并且其中所述相应对象的所述位姿的确定使用由所述导航系统收集的跟踪数据。
30.根据权利要求21至28中任一项所述的方法,其中所述障碍物地图的生成包括基于所述一个或多个对象的已知尺寸来限定所述一个或多个对象的三维边界。
31.根据权利要求21至29中任一项所述的方法,所述方法还包括:
检测所述一个或多个对象的移动;
基于所检测到的移动来更新所述障碍物地图中的所述一个或多个对象的相应位姿;以及
基于所述一个或多个对象的所述更新的相应位姿来更新所述机器人臂的所述路径。
32.根据权利要求21至30中任一项所述的方法,其中所述一个或多个禁飞区的生成包括:
扫描手术室以确定所述手术室内的一个或多个物理边界;以及
基于所述一个或多个物理边界来限定所述一个或多个禁飞区。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/500,559 US12220195B2 (en) | 2021-10-13 | 2021-10-13 | Systems, methods, and devices for defining a path for a robotic arm |
| US17/500,559 | 2021-10-13 | ||
| PCT/IL2022/051069 WO2023062626A1 (en) | 2021-10-13 | 2022-10-06 | Systems and devices for defining a path for a robotic arm |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118102995A true CN118102995A (zh) | 2024-05-28 |
Family
ID=84329339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280068709.8A Pending CN118102995A (zh) | 2021-10-13 | 2022-10-06 | 用于限定机器人臂的路径的系统和装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US12220195B2 (zh) |
| EP (1) | EP4415646A1 (zh) |
| CN (1) | CN118102995A (zh) |
| WO (1) | WO2023062626A1 (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11559298B2 (en) * | 2018-07-16 | 2023-01-24 | Cilag Gmbh International | Surgical visualization of multiple targets |
| FR3110764B1 (fr) * | 2020-05-20 | 2024-05-10 | Quantum Surgical | Méthode de prédiction de la récidive d’une lésion par analyse d’images |
| EP4455801A4 (en) * | 2021-12-20 | 2025-12-17 | Embraer Sa | CONTROL PLATFORM FOR STANDALONE SYSTEMS |
| US12186913B2 (en) * | 2021-12-29 | 2025-01-07 | Shanghai United Imaging Intelligence Co., Ltd. | Automated collision avoidance in medical environments |
| CN117182891A (zh) * | 2023-06-16 | 2023-12-08 | 南开大学 | 一种机械臂主动建图方法及装置 |
| CN117017494B (zh) * | 2023-08-29 | 2024-06-11 | 哈尔滨海鸿基业科技发展有限公司 | 一种淋巴静脉吻合术的成像导航系统 |
| WO2026003841A1 (en) * | 2024-06-27 | 2026-01-02 | Mazor Robotics Ltd. | Systems and methods for dynamic collision avoidance in robotic procedures |
| JP2026011774A (ja) * | 2024-07-12 | 2026-01-23 | 川崎重工業株式会社 | 手術支援システム、手術支援ロボットの動作方法、および、プログラム |
| US12403597B1 (en) | 2024-10-25 | 2025-09-02 | Altec Industries, Inc. | Intuitive virtual reality interface for controlling robots |
| US12440995B1 (en) * | 2024-12-03 | 2025-10-14 | Altec Industries, Inc. | Virtual barriers for remotely operated equipment |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2879414A1 (en) | 2012-08-03 | 2014-02-06 | Stryker Corporation | Systems and methods for robotic surgery |
| US9827054B2 (en) | 2014-03-14 | 2017-11-28 | Synaptive Medical (Barbados) Inc. | Intelligent positioning system and methods therefore |
| US9668768B2 (en) | 2013-03-15 | 2017-06-06 | Synaptive Medical (Barbados) Inc. | Intelligent positioning system and methods therefore |
| EP4186458B1 (en) * | 2016-05-23 | 2026-02-11 | MAKO Surgical Corp. | System for tracking a physical object |
| EP3609424B1 (en) | 2017-04-14 | 2026-01-14 | Stryker Corporation | Surgical systems for facilitating ad-hoc intraoperative planning of surgical procedures |
-
2021
- 2021-10-13 US US17/500,559 patent/US12220195B2/en active Active
-
2022
- 2022-10-06 EP EP22800832.2A patent/EP4415646A1/en active Pending
- 2022-10-06 CN CN202280068709.8A patent/CN118102995A/zh active Pending
- 2022-10-06 WO PCT/IL2022/051069 patent/WO2023062626A1/en not_active Ceased
-
2025
- 2025-02-10 US US19/049,776 patent/US20250186152A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4415646A1 (en) | 2024-08-21 |
| US12220195B2 (en) | 2025-02-11 |
| US20250186152A1 (en) | 2025-06-12 |
| WO2023062626A1 (en) | 2023-04-20 |
| US20230113312A1 (en) | 2023-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12220195B2 (en) | Systems, methods, and devices for defining a path for a robotic arm | |
| EP4405868B1 (en) | Systems for work volume mapping to facilitate dynamic collision avoidance | |
| CN117425449A (zh) | 用于监测目标或执行手术规程的多臂机器人系统和方法 | |
| US20250152262A1 (en) | Path planning based on work volume mapping | |
| WO2023073517A1 (en) | Systems and devices for tracking one or more surgical landmarks | |
| CN118613225A (zh) | 结合光学跟踪和惯性测量的分段跟踪 | |
| US20250255683A1 (en) | Systems and methods for robotic collision avoidance using medical imaging | |
| CN118678928A (zh) | 用于验证标记的位姿的系统 | |
| CN118613223A (zh) | 用于跟踪解剖元素的移动的系统和方法 | |
| CN116782849A (zh) | 用于识别目标的多臂机器人系统 | |
| US11847809B2 (en) | Systems, devices, and methods for identifying and locating a region of interest | |
| US12396805B2 (en) | Systems, methods, and devices for drilling and imaging an anatomical element | |
| US20240225760A9 (en) | Systems and methods for determining a safety layer for an anatomical element | |
| EP4731117A1 (en) | Systems for real-time detection of object collision and/or object movement | |
| WO2023148712A1 (en) | Systems and methods for controlling a robotic arm | |
| CN118871054A (zh) | 用于混合运动规划的系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |