TWI896395B - 內視鏡影像的生成系統以及生成方法 - Google Patents
內視鏡影像的生成系統以及生成方法Info
- Publication number
- TWI896395B TWI896395B TW113141382A TW113141382A TWI896395B TW I896395 B TWI896395 B TW I896395B TW 113141382 A TW113141382 A TW 113141382A TW 113141382 A TW113141382 A TW 113141382A TW I896395 B TWI896395 B TW I896395B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- image portion
- surgical site
- images
- surgical
- Prior art date
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00064—Constructional details of the endoscope body
- A61B1/00105—Constructional details of the endoscope body characterised by modular construction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00174—Optical arrangements characterised by the viewing angles
- A61B1/00181—Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/08—Accessories or related features not otherwise provided for
- A61B2090/0807—Indication means
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Robotics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Endoscopes (AREA)
Abstract
本發明公開一種內視鏡影像的生成系統以及生成方法。生成系統包括套筒鏡組件、機械手臂裝置以及處理裝置。套筒鏡組件用於搭配一手術器械。套筒鏡組件包括複數個影像擷取元件。機械手臂裝置用於移動套筒鏡組件至一手術部位,複數個影像擷取元件分別擷取複數個不同視角的複數個當前影像。該些當前影像的其中之一是由第一影像部分以及第二影像部分構成。第一影像部分為局部手術器械之影像,第二影像部分為手術部位中未被局部手術器械遮蔽的部分之影像,而些當前影像的其中至少一者包含第三影像部分,第三影像部分與第一影像部分對應的手術部位之區域或位置為相同。處理裝置經配置以第三影像部分取代第一影像部分,並獲得一處理後影像。
Description
本發明涉及一種影像生成系統及方法,特別是涉及一種內視鏡影像的生成系統及方法。
目前在臨床上,脊椎減壓手術常見於用來去除壓迫神經的骨刺或擠壓神經的突出椎間盤,以釋放神經腔的空間,減輕神經根的壓迫,以緩解患者的疼痛。現有技術中,進行脊椎減壓手術時,醫生可搭配顯微鏡來一併執行手術。醫生將套筒置入患者的手術部位,再透過顯微鏡檢視手術部位的即時放大影像並進行手術。然而,顯微鏡的體積會不可避免的佔用一些手術室內的空間而限制醫生的可移動範圍。進一步來說,由顯微鏡看到的手術部位的視野容易被手術器械遮擋,使醫生無法看到手術部位的全貌,進而影響了手術過程的穩定性及精確性。
故,如何通過結構設計的改良,來克服上述的缺陷,已成為該領域所欲解決的重要課題之一。
本發明所要解決的技術問題在於,針對現有技術的不足提供一種內視鏡影像的生成系統以及生成方法。
為了解決上述的技術問題,本發明所採用的其中一技術方案是提供一種內視鏡影像的生成系統,其包括套筒鏡組件、機械手臂裝置及處理裝置。套筒鏡組件搭配一手術器械,套筒鏡組件包括複數個影像擷取元件。機械手臂裝置連接套筒鏡組件。機械手臂裝置經配置以移動套筒鏡組件至一手術部位,使複數個影像擷取元件分別擷取複數個不同視角的複數個當前影像,該些當前影像的其中之一是由一第一影像部分以及一第二影像部分構成。第一影像部分為局部手術器械之影像,第二影像部分為手術部位中未被局部手術器械遮蔽的部分之影像,而該些當前影像的其中至少一者包含一第三影像部分,第三影像部分與第一影像部分對應的手術部位之區域或位置為相同。處理裝置電性連接套筒鏡組件,並經配置以:辨識複數個當前影像中的手術器械的位置及輪廓;分別對複數個當前影像進行分割,以區隔複數個當前影像中的第一影像部分、第二影像部分以及第三影像部分;以第三影像部分取代第一影像部分,以獲得一處理後影像。
為了解決上述的技術問題,本發明所採用的另外一技術方案是提供一種內視鏡影像的生成方法,其包括配置一機械手臂裝置連接於一套筒鏡組件,以移動套筒鏡組件至一手術部位;以套筒鏡組件上的複數個影像擷取元件對手術部位分別擷取複數個不同視角的當前影像,該些當前影像的其中之一是由一第一影像部分以及一第二影像部分構成,其中,第一影像部分為局部手術器械之影像,第二影像部分為手術部位中未被局部手術器械遮蔽的部分之影像,而該些當前影像其中至少一者包含一第三影像部分,第三影像部分與第一影像部分對應的手術部位之區域或位置為相同;並配置電性連接套筒鏡組件的一處理裝置以進行:辨識複數個當前影像中的手術器械的位置及輪廓;分別對複數個當前影像進行分割,以區隔複數個當前影像中的第一影像部分、第二影像部分以及第三影像部分;以第三影像部分取代第一影像
部分,以獲得一處理後影像。
本發明的其中一有益效果在於,本發明所提供的內視鏡影像的生成系統以及生成方法,能夠通過對手術部位的影像進行分割、區隔及接合,將未被手術器械遮擋的手術部位影像取代被遮擋的手術部位影像,讓醫生能夠完整看到手術部位的全貌。此外,本發明所提供的內視鏡影像的生成系統不需搭配顯微鏡使用,因而能夠進一步釋放手術室內的空間,有利於手術的進行。
為使能更進一步瞭解本發明的特徵及技術內容,請參閱以下有關本發明的詳細說明與圖式,然而所提供的圖式僅用於提供參考與說明,並非用來對本發明加以限制。
1:套筒鏡組件
11:外套筒
111:第一開口
112:第二開口
113:連接部
11B:限位塊
12:內套筒
121:外壁
12V:溝槽
12U:容置槽
13:影像擷取元件
131:鏡頭
132:發光元件
2:機械手臂裝置
3:處理裝置
4:導航標記元件
5:追蹤器
6:顯示裝置
U:手術器械
T:手術部位
M、M’:當前影像
M”:處理後影像
M1、M1’:第一影像部分
M2、M2’:第二影像部分
M3:第三影像部分
H:空缺部分
B:病患
P:手術台
S1~S5:步驟
S51~S54:步驟
S11~S16:步驟
圖1為本發明的內視鏡影像的生成系統的示意圖。
圖2為本發明的套筒鏡組件的示意圖。
圖3為本發明的套筒鏡組件的分解示意圖。
圖4為本發明的套筒鏡組件的內套筒的仰視圖。
圖5為本發明的影像擷取元件的示意圖。
圖6為通過本發明的內視鏡影像的生成系統產生的手術部位的當前影像的俯視示意圖。
圖7為通過本發明的內視鏡影像的生成系統產生的手術部位的第一影像部分的俯視示意圖。
圖8為通過本發明的內視鏡影像的生成系統產生的手術部位的另外一當前影像的俯視示意圖。
圖9為通過本發明的內視鏡影像的生成系統產生的手術部位
的處理後影像的俯視示意圖。
圖10為本發明內視鏡影像的生成方法的步驟S1至S5的流程圖。
圖11為本發明內視鏡影像的生成方法的步驟S51至S54的流程圖。
圖12為本發明內視鏡影像的生成方法的步驟S11至S16的流程圖。
以下是通過特定的具體實施例來說明本發明所公開有關「內視鏡影像的生成系統以及生成方法」的實施方式,本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用,本說明書中的各項細節也可基於不同觀點與應用,在不背離本發明的構思下進行各種修改與變更。另外,本發明的附圖僅為簡單示意說明,並非依實際尺寸的描繪,事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容,但所公開的內容並非用以限制本發明的保護範圍。另外,應當可以理解的是,雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件,但這些元件不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件。另外,本文中所使用的術語“或”,應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
[實施例]
參閱圖1所示,本發明實施例提供一種內視鏡影像的生成系統,其包括套筒鏡組件1、機械手臂裝置2以及處理裝置3。機械手臂裝置2可包括多個機械手臂,可進行多自由度的移動。機械手臂裝置2連接套筒
鏡組件1與手術器械U,使套筒鏡組件1搭配手術器械U,對俯臥在手術台P上的病患B進行手術。處理裝置3電性連接套筒鏡組件1。舉例來說,處理裝置3可包括處理器及記憶體,本發明不以為限。處理器可例如但不限於,可程式邏輯控制電路(Programmable Logic Controller Circuit)、微處理電路(Micro-processor Circuit)或微控制電路(Micro-control Circuit)的積體電路、中央處理器等。記憶體可例如但不限於,隨機存取記憶體(random access memory,RAM)、唯讀記憶體(read only memory,ROM)、快閃記憶體、硬碟或其他可用以儲存資料的任何儲存裝置。
參閱圖2至圖4所示,套筒鏡組件1包括可分離的外套筒11與內套筒12。外套筒11與內套筒12彼此間可相互組裝/拆卸。外套筒11具有相互連通的第一開口111與第二開口112,內套筒12設置於第一開口111並位於外套筒11內側。外套筒11與內套筒12皆呈中空圓柱狀,內套筒12的外壁121具有複數個溝槽12V,複數個溝槽12V沿外壁121呈環狀排列。此外,外套筒11還包括一連接部113,機械手臂裝置2可通過其機械手臂夾持連接部113來移動外套筒11。當內套筒12組裝於外套筒11時,複數個溝槽12V分佈在內套筒12的周圍,而外套筒11內壁的一限位塊11B會卡設於其中一溝槽12V中,使內套筒12限定在一特定方位,防止內套筒12裝設於外套筒11後再被隨意轉動。另一方面,若要改變內套筒12的方位,可先將內套筒12從外套筒11拆卸下來後,再以另一方位裝設於外套筒11上,使限位塊11B卡設於另一溝槽12V中。
參閱圖3與圖4所示,套筒鏡組件1還包括複數個影像擷取元件13。本發明不限於影像擷取元件13的數量。在本發明的實施例中,影像擷取元件13的數量為二。二個影像擷取元件13分別設置於內套筒12的二個容置槽12U中。二個容置槽12U的位置位於內套筒12的徑向方向,因此二
個影像擷取元件13之間的距離約略小於內套筒12的直徑,也就是二個影像擷取元件13設置在內套筒12的一直徑之相對兩端位置,其中一影像擷取元件13正對另一影像擷取元件13。此外,當內外套筒相互組裝時,內套筒12與外套筒11為同軸配置且內部空間相互連通,二個影像擷取元件13位於外套筒11內,並朝向外套筒11的第二開口112配置。通過二個影像擷取元件13彼此正對配置的設計,使所擷取到的手術部位T的影像能夠顯示出手術部位T的最大面積範圍。另外需說明的是,本發明中所指的手術部位T是以脊椎部位來舉例說明,下文的圖6至圖9皆示出脊椎部位的俯視示意圖。
參閱圖5所示,每一影像擷取元件13包括一鏡頭131與一發光元件132,發光元件132可為一發光二極體(LED)元件,圍繞鏡頭131周圍設置。鏡頭131可為內視鏡鏡頭或攝影機鏡頭,本發明不以為限。在使用時,發光元件132做為光源來照亮鏡頭131所朝向的位置,讓使用者(醫生)能通過鏡頭131清楚看到手術部位T的具體特徵。
繼續參閱圖1,內視鏡影像的生成系統還包括複數個導航標記元件4與一追蹤器5。複數個導航標記元件4分別設置於機械手臂裝置2(夾持手術器械U的機械手臂)、套筒鏡組件1以及病患的手術部位T。每一導航標記元件4包括動態參考框架(Dynamic Reference Frame,DRF)以及設置在動態參考框架上的複數個感測件。舉例來說,感測件為光學式感測件,例如反光球,而追蹤器5可例如為光學式追蹤器。追蹤器5電性連接處理裝置3。該些導航標記元件4可作為空間定位標記點而建立一空間座標系統,而追蹤器5能夠感應、偵測並記錄導航標記元件4上的複數個光學感測件的坐標位置,並將該些資訊傳至處理裝置3進行適當計算及/儲存。
需說明的是,導航標記元件4為可變形的元件,具體來說,導航標記元件4的動態參考框架其形狀能夠調整。因此,使用者可依據導
航標記元件4所佈置的位置,去自由調整動態參考框架的形態,來達到辨識不同器械的目的。另外,導航標記元件4的感測件及追蹤器5雖是以光學感測方式為例來說明,但本發明不限於此。在其他實施例中,導航標記元件4的感測件及追蹤器5也能夠以電磁感測的方式來建立空間座標系統。
機械手臂裝置2經配置以根據該空間座標系統來導引手術器械U及套筒鏡組件1移動至手術部位T,接著下移手術器械U穿過內套筒12及外套筒11而伸入手術部位T來進行手術。手術器械U會被限制在內外套筒的開口範圍內。處理裝置3通過該空間座標系統獲得手術器械U在手術部位T中的位置資訊,並通過套筒鏡組件1的鏡頭131獲得對應該位置資訊的手術部位T的影像。
另外,本發明的內視鏡影像生成系統還包括顯示裝置6,電性連接處理裝置3。舉例來說,顯示裝置6可包括屏幕與蜂鳴器(圖未示出)。處理裝置3通過綜合預先取得的醫學影像,例如電腦斷層影像(Computed tomography,CT)或磁共振影像(Magnetic Resonance Imaging,MRI),來建立出手術部位T附近的三維虛擬模型。建構完成的三維虛擬模型可顯示於顯示裝置6的屏幕。處理裝置3亦通過套筒鏡組件1的影像擷取元件13取得預定手術部位T附近的影像,內視鏡影像、三維虛擬模型同時顯示於顯示裝置6的屏幕。因此,施術者(即醫生)得以同時獲得整體施術空間資訊、手術器械相對於施術位置的資訊、以及手術位置的即時攝影畫面等影像資訊,並可在手術導航系統的指引下,進一步搭配機械手臂裝置2來進行手術。
此外,若處理裝置3偵測到手術器械U偏移預定手術路徑,處理裝置3會通過顯示裝置6會提供影像或聲音的警示訊號(例如:屏幕局部畫面產生紅色閃爍,或者蜂鳴器產生特定的聲響)給醫療人員,以即時提醒
醫療人員,增加定位可靠度及導航正確性。
為了進一步說明的本發明的內視鏡影像的生成系統的具體操作方式,請參閱圖10所示,本發明還提供一種內視鏡影像的生成方法,其可透過上述內視鏡影像的生成系統來實行。如圖10所示,內視鏡影像的生成方法至少包括步驟S1至S5:
步驟S1:配置一機械手臂裝置來移動一套筒鏡組件與一手術器械,使該套筒鏡組件伸入至一手術部位,並使該手術器械穿過該套筒鏡組件而伸入該手術部位。
進一步地,參閱圖12所示,在步驟S1當中,移動該套筒鏡組件至該手術部位的步驟可進一步包括步驟S11至S16:
步驟S11:分別配置複數個可變形的導航標記元件到該機械手臂裝置、該外套筒以及該手術部位,以建立一空間座標系統。
步驟S12:配置該處理裝置以根據該空間座標系統規劃出一手術路徑,以確定該外套筒伸入該手術部位的位置及角度。
步驟S13:配置該機械手臂裝置以依據該手術路徑移動該外套筒伸入該手術部位。
步驟S14:將內套筒置入校正器內,並對複數個該影像擷取元件的複數個該鏡頭進行校正。
步驟S15:將該內套筒組裝於該外套筒。
步驟S16:通過該空間座標系統以及該套筒鏡組件獲得該手術器械在手術部位中的位置資訊及對應該位置資訊的該當前影像。
請繼續參閱圖10所示,步驟S2:以該套筒鏡組件上的複數個影像擷取元件對該手術部位分別擷取複數個不同視角的當前影像,該些當前影像的其中之一包含一第一影像部分以及一第二影像部分,其中,該第一
影像部分為局部該手術器械之影像,該第二影像部分為該手術部位中未被局部該手術器械遮蔽的部分之影像,而該些當前影像其中至少一者還包含一第三影像部分,該第三影像部分與該第一影像部分對應的該手術部位之區域或位置為相同。
步驟S3:配置一處理裝置以辨識複數個該當前影像中的該手術器械的位置及輪廓。
步驟S4:配置處理裝置以分別對複數個該當前影像進行分割,以分割出複數個該當前影像中的該第一影像部分、該第二影像部分以及該第三影像部分。
步驟S5:配置處理裝置以該第三影像部分取代該第一影像部分,以獲得一處理後影像。
以下將針對上述步驟進一步具體說明。參閱圖3所示。先通過在持有手術器械U的機器手臂上、套筒鏡組件1上以及手術部位T附近設置之導航標記元件4來構建出空間座標系統。處理裝置3能夠根據該空間座標系統規劃出一手術路徑。藉由該手術路徑,能夠確定套筒鏡組件1的外套筒11以及手術器械U伸入手術部位T的位置及角度。在確定外套筒11的位置及角度之後,操作機械手臂裝置2移動外套筒11伸入手術部位T內部。接著,將內套筒12置入一校正器(圖未示出)內,對設置於內套筒12的二個影像擷取元件13的二個鏡頭131進行影像校正,校正的目的是要將二個鏡頭131的畫面焦距調整至同一平面,並將至少其中一鏡頭的畫面旋轉到與另一鏡頭之畫面相同方位。
接著,將校正後的內套筒12組裝於外套筒11,再操作機械手臂裝置2移動手術器械U穿過該套筒鏡組件而伸入該手術部位,並通過該空間座標系統以及套筒鏡組件1獲得手術器械U在手術部位T中的位置資訊
及對應該位置資訊的該當前影像。具體來說,二個影像擷取元件13通過各自鏡頭131來對手術部位T分別擷取出二個當前影像M、M’,如圖6與圖8所示。由於二個影像擷取元件13的位置不同(正對配置),因此該二個當前影像M、M’為由不同視角擷取出的影像。另外需說明的是,圖6與圖8僅為舉例來說明本發明的內視鏡影像生成系統及生成方法的運作,並非表示手術部位T內部的實際情況,例如,手術器械U的位置不一定如圖6與圖8所示。
繼續參閱圖6與圖8,處理裝置3可針對二個當前影像M、M’中的該手術器械的位置及輪廓進行影像辨識,以將二個當前影像M、M’區分成複數個部分。舉例來說,經由處理裝置3的辨識處理,圖6的當前影像M各自包含第一影像部分M1與第二影像部分M2,而圖8的當前影像M’各自包含第一影像部分M1’與第二影像部分M2’。第一影像部分M1、M1’為手術器械U的局部之影像,第二影像部分M2、M2’為手術部位T中未被手術器械U的局部遮蔽的部分之影像。此外,圖8的當前影像M還包含了第三影像部分M3,且圖8的第三影像部分M3與圖6的第一影像部分M1對應到相同的手術部位T之區域或位置。
接著,處理裝置3分別對二個當前影像M、M’進行影像分割。把圖6的當前影像M的第一影像部分M1移除,僅保留第二影像部分M2,如圖7所示。圖7僅剩下第二影像部分M2,而原本對應到圖6的第一影像部分M1的位置已成一空缺部分H。接著,再將圖8中的第三影像部分M3分割出來。由於第三影像部分M3與第一影像部分M1對應到相同的手術部位T之區域,因此第三影像部分M3與圖7的空缺部分H亦對應到相同的手術部位T之區域。
接著,處理裝置3可將由圖8分割出來的第三影像部分M3拼
接移至圖7的鏤空區域,並將第三影像部分M3與第二影像部分M2融合,最後得到一處理後影像M”。也就是說,如圖6、圖8及圖9所示,藉由二個影像擷取元件13所擷取到的不同視角的影像,處理裝置3可將圖8中的第三影像部分M3取代圖6中第一影像部分M1,來獲得圖9的處理後影像M”,而所獲得的處理後影像M”是結合多個視角的手術影像所建立的無遮蔽死角之視野影像。因此,通過本發明的內視鏡影像生成系統及生成方法,消除了手術器械U的影像並顯示出被手術器械U遮擋的影像。要特別說明的是,在將第三影像部分M3拼接至第二影像部分M2之前,處理裝置3可對M3做影像處理,例如將第三影像部分M3平移後擷取所需要的影像部分,以便將視角差異因素盡可能消除。而將第三影像部分M3與第二影像部分M2融合的時候,處理裝置3可分別對在第三影像部分M3與第二影像部分M2做亮度調整,使融合後的影像中不會出現特別突兀的區域。
參閱圖11所示,在步驟S5當中,以第三影像部分取代第一影像部分,以獲得處理後影像的步驟可進一步包括步驟S51至S54:
步驟S51:選擇其中一該當前影像作為主畫面,並比對複數個該當前影像中的該第二影像部分。
步驟S52:重疊該些當前影像。
步驟S53:若該主畫面中的該第一影像部分的所在位置與其他該當前影像中的該第三影像部分的所在位置重疊,則以其他該當前影像中的該第三影像部分取代該第一影像部分。
步驟S54:若該主畫面中的該第二影像部分的所在位置與其他該當前影像中的該第三影像部分所在位置重疊,則維持以該主畫面中的該第二影像部分來顯示。
詳細來說,如圖6、圖7及圖8所示,處理裝置3選擇其中一個當
前影像設定為主畫面,例如以圖6的當前影像M作為主畫面。接著,處理裝置3將主畫面中涵蓋器械位置的影像部分(第一影像部分M1)分割且消除,形成空缺部分H。此時,主畫面可如圖7所示,僅剩第二影像部分M2。
接著,處理裝置3重疊主畫面(圖7)及其他畫面(圖8),並進行比對。當兩個畫面重疊時,若其他畫面的當前影像M’(圖8)中的第三影像部分M3重疊到主畫面的第二影像部分M2(圖7)中的空缺部分H,則處理裝置3便以第三影像部分M3填補空缺部分H的位置(等同於用圖8的第三影像部分M3取代圖6的第一影像部分M1);反之,若其他畫面的當前影像M’(圖8)中的第三影像部分M3是重疊到主畫面的第二影像部分M2(圖7),而不是第一影像部分M1,那麼處理裝置3不會以第三影像部分M3取代第二影像部分M2,而是維持以主畫面(圖6)中的第二影像部分M2來顯示。
換言之,處理裝置3經由重疊二個當前影像M、M’來比對影像部分,以確認圖8的第三影像部分M3確實重疊到圖6中被手術器械U遮擋的部位,才會進一步以第三影像部分M3取代手術器械U的影像。
另外需說明的是,上述步驟S51至S54只是其中一可行的實施例,本發明不限於採用選擇主畫面的方式來影像重疊及比對。在本發明的其他實施例中,處理裝置3也可通過權重設定的方式,對圖6的當前影像M及圖8的當前影像M’賦予不同的權重,例如,圖6的當前影像M(包含圖7的第二影像部分M2)被賦予高權重,而圖8的當前影像M’被賦予低權重。當圖7與圖8的畫面重疊時,若同一位置僅具有一個畫面的影像(例如,圖8的第三影像部分M3重疊到圖7的空缺部分H);反之,若同一位置皆具有兩個畫面的影像(例如,圖8的第三影像部分M3重疊到圖7的第二影像部分M2),則依權重高低顯示,也就是以高權重的影像(圖7的第二影像部分M2)顯示。
[實施例的有益效果]
本發明所提供的內視鏡影像的生成系統以及生成方法,能夠通過對手術部位的影像進行分割、區隔及接合,將未被手術器械遮擋的手術部位影像取代被遮擋的手術部位影像,讓醫生能夠完整看到手術部位的全貌。此外,本發明所提供的內視鏡影像的生成系統不需搭配顯微鏡使用,因而能夠進一步釋放手術室內的空間,有利於手術的進行。
更進一步來說,本發明藉由二個影像擷取元件13所擷取到的不同視角的影像,使處理裝置3進行器械消除、重疊、比對及融合而得到一處理後影像M”。所獲得的處理後影像M”是結合多個視角的手術影像所建立的無遮蔽死角之視野影像,其移除了手術器械U並顯示出被手術器械U遮擋的影像。
以上所公開的內容僅為本發明的優選可行實施例,並非因此侷限本發明的申請專利範圍,所以凡是運用本發明說明書及圖式內容所做的等效技術變化,均包含於本發明的申請專利範圍內。
1:套筒鏡組件
2:機械手臂裝置
3:處理裝置
4:導航標記元件
5:追蹤器
6:顯示裝置
U:手術器械
T:手術部位
B:病患
P:手術台
Claims (15)
- 一種內視鏡影像的生成系統,其包括: 一套筒鏡組件,用於搭配一手術器械,該套筒鏡組件包括複數個影像擷取元件; 一機械手臂裝置,連接該套筒鏡組件,該機械手臂裝置經配置以移動該套筒鏡組件至一手術部位,使複數個該影像擷取元件分別擷取複數個不同視角的複數個當前影像,該些當前影像的其中之一是由一第一影像部分以及一第二影像部分構成,其中,該第一影像部分為局部該手術器械之影像,該第二影像部分為該手術部位中未被局部該手術器械遮蔽的部分之影像,而該些當前影像的其中至少一者包含一第三影像部分,該第三影像部分與該第一影像部分對應的該手術部位之區域或位置為相同;以及 一處理裝置,電性連接該套筒鏡組件,該處理裝置經配置以: 辨識複數個該當前影像中的該手術器械的位置及輪廓; 分別對複數個該當前影像進行分割,以區隔複數個該當前影像中的該第一影像部分、該第二影像部分以及該第三影像部分;以及 以該第三影像部分取代該第一影像部分,以獲得一處理後影像。
- 如請求項1所述的內視鏡影像的生成系統,其中,在以該第三影像部分取代該第一影像部分,以獲得該處理後影像的過程中,進一步包括配置該處理裝置以: 比對複數個該當前影像中的該第二影像部分,以選擇其中一該當前影像作為主畫面;以及 重疊複數個該當前影像,其中: 若該主畫面中的該第一影像部分與其他該當前影像中的該第三影像部分重疊,則以其他該當前影像中的該第三影像部分取代該第一影像部分; 若該主畫面中的該第三影像部分與其他該當前影像中的該第三影像部分重疊,則維持以該主畫面中的該第三影像部分來顯示。
- 如請求項1所述的內視鏡影像的生成系統,其中,該套筒鏡組件還包括可分離的一外套筒與一內套筒,該外套筒具有相互連通的一第一開口與一第二開口,該內套筒設置於該第一開口,複數個該影像擷取元件設置於該內套筒,並分佈在該內套筒的周圍,複數個該影像擷取元件朝向該外套筒該第二開口配置。
- 如請求項3所述的內視鏡影像的生成系統,其中,該內套筒呈圓柱狀,該內套筒具有複數個容置槽,複數個該影像擷取元件分別設置於複數個該容置槽中。
- 如請求項4所述的內視鏡影像的生成系統,其中,當該影像擷取元件的數量為二時,二個該影像擷取元件位於該內套筒的徑向方向上。
- 如請求項1所述的內視鏡影像的生成系統,其中,每一該影像擷取元件包括一鏡頭與一發光元件,該發光元件圍繞該鏡頭周圍。
- 如請求項1所述的內視鏡影像的生成系統,還包括複數個可變形的導航標記元件,分別設置於該機械手臂裝置、該套筒鏡組件以及該手術部位,以建立一空間座標系統;其中,該機械手臂裝置經配置以根據該空間座標系統來導引該手術器械移動至該手術部位,該處理裝置通過該空間座標系統以及該套筒鏡組件獲得該手術器械在手術部位中的位置資訊及對應該位置資訊的該處理後影像。
- 一種內視鏡影像的生成方法,其包括: 配置一機械手臂裝置連接於一套筒鏡組件,以移動該套筒鏡組件至一手術部位,該套筒鏡組件用於搭配一手術器械; 以該套筒鏡組件上的複數個影像擷取元件對該手術部位分別擷取複數個不同視角的當前影像,該些當前影像的其中之一是由一第一影像部分以及一第二影像部分構成,其中,該第一影像部分為局部該手術器械之影像,該第二影像部分為該手術部位中未被局部該手術器械遮蔽的部分之影像,而該些當前影像其中至少一者包含一第三影像部分,該第三影像部分與該第一影像部分對應的該手術部位之區域或位置為相同;以及 配置電性連接該套筒鏡組件的一處理裝置以: 辨識複數個該當前影像中的該手術器械的位置及輪廓; 分別對複數個該當前影像進行分割,以區隔複數個該當前影像中的該第一影像部分、該第二影像部分以及該第三影像部分; 以及 以該第三影像部分取代該第一影像部分,以獲得一處理後影像。
- 如請求項8所述的內視鏡影像的生成方法,其中,在以該第三影像部分取代該第一影像部分,以獲得該處理後影像的步驟中,進一步包括配置該處理裝置以: 選擇其中一該當前影像作為主畫面,並比對複數個該當前影像中的該第二影像部分;以及 重疊該些當前影像,其中: 若該主畫面中的該第一影像部分的所在位置與其他該當前影像中的該第三影像部分的所在位置重疊,則以其他該當前影像中的該第三影像部分取代該第一影像部分; 若該主畫面中的該第二影像部分的所在位置與其他該當前影像中的該第三影像部分的所在位置重疊,則維持以該主畫面中的該第二影像部分來顯示。
- 如請求項8所述的內視鏡影像的生成方法,其中,該套筒鏡組件還包括可分離的一外套筒與一內套筒,該外套筒具有相互連通的一第一開口與一第二開口,該內套筒設置於該第一開口並位於該外套筒內側,複數個該影像擷取元件設置於該內套筒,並分佈在該內套筒的周圍,複數個該影像擷取元件朝向該外套筒的該第二開口配置。
- 如請求項10所述的內視鏡影像的生成方法,其中,該內套筒呈圓柱狀,該內套筒具有複數個容置槽,複數個該影像擷取元件分別設置於複數個該容置槽中。
- 如請求項10所述的內視鏡影像的生成方法,其中,每一該影像擷取元件包括一鏡頭與一發光元件,該發光元件圍繞該鏡頭周圍。
- 如請求項12所述的內視鏡影像的生成方法,其中,在配置該套筒鏡組件伸入該手術部位的步驟中,進一步包括: 對複數個該影像擷取元件的複數個該鏡頭進行校正;以及 將該內套筒組裝於該外套筒中。
- 如請求項13所述的內視鏡影像的生成方法,其中,在將該內套筒組裝於該外套筒之前,還包括: 分別配置複數個可變形的導航標記元件到該機械手臂裝置、該外套筒以及該手術部位,以建立一空間座標系統; 配置該處理裝置以根據該空間座標系統規劃出一手術路徑,以確定該外套筒伸入該手術部位的位置及角度;以及 配置該機械手臂裝置以依據該手術路徑移動該外套筒伸入該手術部位。
- 如請求項14所述的內視鏡影像的生成方法,其中,在配置該機械手臂裝置以依據該手術路徑移動該外套筒伸入該手術部位之後,還包括配置該處理裝置以: 通過該空間座標系統以及該套筒鏡組件獲得該手術器械在手術部位中的位置資訊及對應該位置資訊的該處理後影像。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW113141382A TWI896395B (zh) | 2024-10-30 | 2024-10-30 | 內視鏡影像的生成系統以及生成方法 |
| JP2025003826A JP7788194B1 (ja) | 2024-10-30 | 2025-01-10 | 内視鏡画像の生成システム及び生成方法 |
| US19/059,270 US20260114708A1 (en) | 2024-10-30 | 2025-02-21 | System and method for generating endoscopic image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW113141382A TWI896395B (zh) | 2024-10-30 | 2024-10-30 | 內視鏡影像的生成系統以及生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TWI896395B true TWI896395B (zh) | 2025-09-01 |
| TW202617054A TW202617054A (zh) | 2026-05-01 |
Family
ID=97831840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW113141382A TWI896395B (zh) | 2024-10-30 | 2024-10-30 | 內視鏡影像的生成系統以及生成方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20260114708A1 (zh) |
| JP (1) | JP7788194B1 (zh) |
| TW (1) | TWI896395B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105764436A (zh) * | 2013-09-06 | 2016-07-13 | 普罗赛普特生物机器人公司 | 自动化图像引导组织切除和处理 |
| CN113748468A (zh) * | 2019-02-21 | 2021-12-03 | 剧院公司 | 分析外科手术视频的系统和方法 |
| JP2022546652A (ja) * | 2019-09-09 | 2022-11-04 | アンプリファイ サージカル インコーポレイテッド | マルチポータル外科システム、カニューレ、及び関連技術 |
| US20230076334A1 (en) * | 2012-06-27 | 2023-03-09 | Camplex, Inc. | Hydraulic system for surgical applications |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017145788A1 (ja) * | 2016-02-26 | 2017-08-31 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び、手術システム |
| JP2017164007A (ja) * | 2016-03-14 | 2017-09-21 | ソニー株式会社 | 医療用画像処理装置、医療用画像処理方法、プログラム |
| JP2019130005A (ja) * | 2018-01-31 | 2019-08-08 | 京セラ株式会社 | 撮像装置、表示システムおよび手術システム |
| US20250268454A1 (en) * | 2022-04-18 | 2025-08-28 | National University Corporation Tokai National Higher Education And Research System | Surgical assistance system and surgical assistance device |
-
2024
- 2024-10-30 TW TW113141382A patent/TWI896395B/zh active
-
2025
- 2025-01-10 JP JP2025003826A patent/JP7788194B1/ja active Active
- 2025-02-21 US US19/059,270 patent/US20260114708A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230076334A1 (en) * | 2012-06-27 | 2023-03-09 | Camplex, Inc. | Hydraulic system for surgical applications |
| CN105764436A (zh) * | 2013-09-06 | 2016-07-13 | 普罗赛普特生物机器人公司 | 自动化图像引导组织切除和处理 |
| CN113748468A (zh) * | 2019-02-21 | 2021-12-03 | 剧院公司 | 分析外科手术视频的系统和方法 |
| JP2022546652A (ja) * | 2019-09-09 | 2022-11-04 | アンプリファイ サージカル インコーポレイテッド | マルチポータル外科システム、カニューレ、及び関連技術 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20260114708A1 (en) | 2026-04-30 |
| JP7788194B1 (ja) | 2025-12-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11801115B2 (en) | Mirroring in image guided surgery | |
| US20250009466A1 (en) | Registration degradation correction for surgical navigation procedures | |
| US10130430B2 (en) | No-touch surgical navigation method and system thereof | |
| EP3445267B1 (en) | Method and system for registration verification | |
| US7570987B2 (en) | Perspective registration and visualization of internal areas of the body | |
| US7912532B2 (en) | Method and instrument for surgical navigation | |
| US9289267B2 (en) | Method and apparatus for minimally invasive surgery using endoscopes | |
| TWI862393B (zh) | 在即時影像上疊加虛擬影像的頭戴式虛擬影像模組 | |
| US7728280B2 (en) | Multi-band tracking and calibration system | |
| JP2025526328A (ja) | 術前画像および術中画像の較正および位置合わせ | |
| US20150150435A1 (en) | Three-dimensional target devices, assemblies and methods for calibrating an endoscopic camera | |
| US20150164329A1 (en) | Method and instrument for surgical navigation | |
| US20100177185A1 (en) | Surgical microscope with integrated structured illumination | |
| GB2561290B (en) | Method, system and apparatus for maintaining patient registration in a surgical navigation system | |
| CN101170961A (zh) | 利用显微镜的用于外科手术导航及可视化的方法及设备 | |
| King et al. | Stereo augmented reality in the surgical microscope | |
| US20230329829A1 (en) | Cannula and Proximally Mounted Camera with an Imaging Control System for Rotating Images | |
| US10925687B2 (en) | System and method for optical axis calibration | |
| TWI896395B (zh) | 內視鏡影像的生成系統以及生成方法 | |
| US20230015060A1 (en) | Methods and systems for displaying preoperative and intraoperative image data of a scene | |
| BR102022020506A2 (pt) | Arranjo de câmera endoscópica e método para correção de erro de alinhamento de câmera | |
| CN121943495A (zh) | 内视镜图像的生成系统以及生成方法 | |
| JP2019097851A (ja) | 歯科手術支援システム及びプログラム | |
| US20240156549A1 (en) | Cavity modeling system and cavity modeling method | |
| Bergmeier et al. | Panorama imaging for image-to-physical registration of narrow drill holes inside spongy bones |