TWI857546B - 用於產生一組合式即時手術影像的系統及其方法 - Google Patents

用於產生一組合式即時手術影像的系統及其方法 Download PDF

Info

Publication number
TWI857546B
TWI857546B TW112112924A TW112112924A TWI857546B TW I857546 B TWI857546 B TW I857546B TW 112112924 A TW112112924 A TW 112112924A TW 112112924 A TW112112924 A TW 112112924A TW I857546 B TWI857546 B TW I857546B
Authority
TW
Taiwan
Prior art keywords
image data
data
tissue
computer device
light feature
Prior art date
Application number
TW112112924A
Other languages
English (en)
Other versions
TW202415341A (zh
Inventor
張正春
吳孟晃
陳兆煒
Original Assignee
國立臺北科技大學
臺北醫學大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺北科技大學, 臺北醫學大學 filed Critical 國立臺北科技大學
Publication of TW202415341A publication Critical patent/TW202415341A/zh
Application granted granted Critical
Publication of TWI857546B publication Critical patent/TWI857546B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording for evaluating the cardiovascular system, e.g. pulse, heart rate, blood pressure or blood flow
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physiology (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一種用於產生一組合式即時手術影像的系統，其包含：一計算機裝置，接收並處理複數組手術影像資料；其中該複數組手術影像資料係透過使用不同區段的照射光波長，而產生的一生物體的複數組具不同光學特徵的手術影像資料；其中該計算機裝置基於該不同特徵的手術影像資料，以產生該組合式即時手術影像。

Description

用於產生一組合式即時手術影像的系統及其方法
本發明係關於一種用於產生一組合式即時手術影像的系統及其方法，特別係關於一種可在影像視野至少部分被血液覆蓋的情況下，提供血液覆蓋下之組織影像的用於產生一組合式即時手術影像的系統及其方法，或係關於一種可於醫學內視鏡影像中，提供出血點及/或出血量及/或出血速度及/或血液流動路徑之資訊的用於產生一組合式即時手術影像的系統及其方法。
目前在使用者(例如醫護人員)藉由內視鏡影像以觀察患者身體內部的過程中，當患者身體內部有出血的情況發生時，使用者往往難以透過內視鏡影像以辨識被血液覆蓋的組織，或判斷出血狀況(例如出血點或出血量或出血速度或血液流動路徑等)。因此，即便使用者可透過內視鏡影像得知有出血情況發生，仍難以做出適當的處置。
有鑑於此，將需要一種用於產生一組合式即時手術影像的系統及其方法，其可在影像視野至少部分被血液覆蓋的情況下，提供血液覆蓋下之組織影像，或者可於內視鏡影像中，提供出血點及/或出血量及/或出血速度及/或血液流動路徑的資訊。
為了解決上述問題，本發明之一構想在於提供一種用於產生一組合式即時手術影像的系統及其方法，其可在影像視野至少部分被血液覆蓋 的情況下，提供血液覆蓋下之組織影像，或者可於醫學影像(尤指醫學內視鏡影像)中，提供出血點及/或出血量及/或出血速度及/或血液流動路徑的資訊。
基於前揭構想，本發明提供一種用於產生一組合式即時手術影像的方法，其包含：使用不同區段的照射光波長，以產生一生物體的複數組具不同光學特徵的手術影像資料；使用一計算機裝置以接收並處理該複數組手術影像資料；以及由該計算機裝置基於該不同特徵的手術影像資料，以產生該組合式即時手術影像。
於本發明之一較佳實施例中，該不同光學特徵包含一可見光特徵之影像資料、一紅外光特徵之影像資料、或一熱特徵之影像。
於本發明之一較佳實施例中，該複數組不同特徵的手術影像資料其中至少一者包含一器官影像資料及一組織結構影像資料。
於本發明之一較佳實施例中，該不同區段的照射光波長包含一第一照射光波長以及一第二照射光波長，該第一照射光波長介於380奈米(nanometer，nm)至730奈米，該第二照射光波長介於650奈米至1000奈米。
於本發明之一較佳實施例中，該即時手術影像包含一出血量資料、一出血速度資料、一出血點位置資料、以及一血液流動路徑資料其中至少一者。
於本發明之一較佳實施例中，該即時手術影像為包含一組織顏色資料的紅外光特徵之影像資料。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第一影像資料、一第二影像資料以及一第三影像資料，該第一影像資料關聯於一第一時間區段，該第二影像資料關聯於一第二時間區段，該第三影像 資料關聯於一第三時間區段；其中該第二時間區段晚於該第一時間區段，該第三時間區段晚於該第二時間區段；其中該方法進一步包含：使用該計算機裝置以基於該第一影像資料，產生一第一當前血液資料；使用該計算機裝置以基於該第二影像資料，產生一第二當前血液資料；使用該計算機裝置以基於該第三影像資料，產生一第三當前血液資料；以及使用該計算機裝置基於該第一當前血液資料或該第二當前血液資料或該第三當前血液資料，產生一出血量資料或一出血速度資料。
於本發明之一較佳實施例中，該第一影像資料、該第二影像資料以及該第三影像資料為可見光特徵之影像資料。
於本發明之一較佳實施例中，該第一影像資料、該第二影像資料以及該第三影像資料為紅外光特徵之影像資料。
於本發明之一較佳實施例中，該第一當前血液資料包含一第一血液面積資料，該第二當前血液資料包含一第二血液面積資料，該第三當前血液資料包含一第三血液面積資料。
於本發明之一較佳實施例中，該方法進一步包含：使用該計算機裝置以分別基於該第一影像資料、該第二影像資料以及該第三影像資料，產生一第一血液邊界資料、一第二血液邊界資料以及一第三血液邊界資料；以及使用該計算機裝置以分別基於該第一血液邊界資料、該第二血液邊界資料以及該第三血液邊界資料，產生該第一血液面積資料、該第二血液面積資料以及該第三血液面積資料。
於本發明之一較佳實施例中，該計算機裝置具有一深度學習模組，該計算機裝置係藉由該深度學習模組，以產生該第一血液邊界資料至該第三血液邊界資料或該第一血液面積資料至該第三血液面積資料。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第四影像資料，該第四影像資料關聯於一第四時間區段，該第一時間區段接續於該第四時間區段之後；其中該方法進一步包含：使用該計算機裝置以基於該第四影像資料不包含一血液影像資料，且該第一影像資料包含一第一血液影像資料，而產生一出血點資料。
於本發明之一較佳實施例中，該出血點資料指示出該第一血液影像資料在該第一影像資料上的所在位置。
於本發明之一較佳實施例中，該方法進一步包含：使用該計算機裝置以基於該第一時間區段、該第二時間區段、該第三時間區段其中至少二者，產生一出血時間資料；以及使用該計算機裝置以基於該出血時間資料，產生該出血速度資料。
於本發明之一較佳實施例中，該第一當前血液資料、該第二當前血液資料以及該第三當前血液資料其中至少一者包含一組織類別資料，該組織類別資料關聯於一組織參數資料；其中該方法進一步包含：使用該計算機裝置以基於該第一時間區段、該第二時間區段、該第三時間區段其中至少二者，產生一出血時間資料；使用該計算機裝置以基於該出血時間資料，產生一初始出血速度資料；以及使用該計算機裝置以基於該初始出血速度資料以及該組織參數資料，產生該出血速度資料。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第一可見光特徵之影像資料、一第二可見光特徵之影像資料、一第一紅外光特徵之影像資料以及一第二紅外光特徵之影像資料，該第一可見光特徵之影像資料以及該第一紅外光特徵之影像資料關聯於一第一時間區段，該第二可見光特徵之影像資料以及該第二紅外光特徵之影像資料關聯於一第二時間區段；其中該第二時間區段晚於該第一時間區段；其中該方法進一步包含：使 用該計算機裝置以基於該第一可見光特徵之影像資料、該第二可見光特徵之影像資料、該第一紅外光特徵之影像資料以及該第二紅外光特徵之影像資料，產生一血液流動路徑資料。
於本發明之一較佳實施例中，該方法進一步包含：使用該計算機裝置以基於該第一可見光特徵之影像資料、該第二可見光特徵之影像資料，產生一第一光流資料；使用該計算機裝置以基於該第一紅外光特徵之影像資料、該第二紅外光特徵之影像資料，產生一第二光流資料；以及使用該計算機裝置以基於該第一光流資料以及該第二光流資料，產生該血液流動路徑資料。
於本發明之一較佳實施例中，該第一可見光特徵之影像資料包含一第一血液邊界資料以及一第一組織邊界資料，該第二可見光特徵之影像資料包含一第二血液邊界資料以及一第二組織邊界資料，該第一紅外光特徵之影像資料包含一第三組織邊界資料，該第二紅外光特徵之影像資料包含一第四組織邊界資料；其中該方法進一步包含：使用該計算機裝置以基於該第一血液邊界資料、該第一組織邊界資料、該第二血液邊界資料以及該第二組織邊界資料，以產生該第一光流資料；以及使用該計算機裝置以基於該第三組織邊界資料以及該第四組織邊界資料，以產生該第二光流資料。
於本發明之一較佳實施例中，該計算機裝置係將該第一光流資料減去該第二光流資料，以產生該血液流動路徑資料。
於本發明之一較佳實施例中，該方法進一步包含：使用該計算機裝置將該第一光流資料減去該第二光流資料，以產生一第三光流資料，該第三光流資料包含一光流誤差資料；以及使用該計算機裝置將該第三光流資料中的該光流誤差資料刪除，以產生該血液流動路徑資料。
於本發明之一較佳實施例中，該方法進一步包含：使用該計算機裝置以使該第二紅外光特徵之影像資料包含該血液流動路徑資料，並使用一顯示裝置以顯示該第二紅外光特徵之影像資料。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第三紅外光特徵之影像資料，該第三紅外光特徵之影像資料關聯於一第三時間區段，該第三時間區段晚於該第二時間區段；其中該方法進一步包含：使用該計算機裝置以基於該第一可見光特徵之影像資料或該第二可見光特徵之影像資料或該第一紅外光特徵之影像資料或該第二紅外光特徵之影像資料，產生一第一組織特徵資料；使用該計算機裝置以基於該第三紅外光特徵之影像資料，產生一第二組織特徵資料；以及使用該計算機裝置以基於該第一組織特徵資料符合該第二組織特徵資料，而使該第三紅外光特徵之影像資料包含該血液流動路徑資料，並使用一顯示裝置顯示該第三紅外光特徵之影像資料。
於本發明之一較佳實施例中，該第一組織特徵資料以及該第二組織特徵資料皆關聯於一第一組織，且該第一組織特徵資料以及該第二組織特徵資料皆指示出該第一組織的一組織位置、該第一組織的一組織輪廓以及該第一組織的一組織結構其中至少一者。
於本發明之一較佳實施例中，該第一可見光特徵之影像資料或該第二可見光特徵之影像資料包含一第一組織影像資料，該第一組織影像資料關聯於一第二組織；其中該第三紅外光特徵之影像資料包含一第二組織影像資料，該第二組織影像資料關聯於該第二組織；其中該方法進一步包含：使用該計算機裝置以基於該第一組織影像資料，產生一第一組織顏色資料，該第一組織顏色資料指示出該第一組織影像資料的一第一組織顏色；以及使用該計算機裝置以基於該第一組織影像資料符合該第二組織影像資料，而使該第三紅外 光特徵之影像資料包含一第二組織顏色資料，該第二組織顏色資料指示出該第二組織影像資料的一第二組織顏色，且該第二組織顏色符合該第一組織顏色。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第一可見光特徵之影像資料、一第二可見光特徵之影像資料以及一第二紅外光特徵之影像資料，該第一可見光特徵之影像資料關聯於一第一時間區段，該第二可見光特徵之影像資料以及該第二紅外光特徵之影像資料關聯於一第二時間區段；其中該第二時間區段接續於該第一時間區段之後；其中該方法進一步包含：使用該計算機裝置以基於該第一可見光特徵之影像資料以及該第二可見光特徵之影像資料，產生一出血點位置資料；以及使用該計算機裝置以使該第二紅外光特徵之影像資料包含該出血點位置資料，並使用一顯示裝置顯示該第二紅外光特徵之影像資料。
於本發明之一較佳實施例中，該方法進一步包含：使用該計算機裝置以基於該第一可見光特徵之影像資料不包含一血液影像資料，且該第二可見光特徵之影像資料包含一第一血液影像資料，而產生該出血點位置資料。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第三紅外光特徵之影像資料，該第三紅外光特徵之影像資料關聯於一第三時間區段，該第三時間區段晚於該第二時間區段；其中該方法進一步包含：使用該計算機裝置以基於該第二可見光特徵之影像資料，產生一第三組織特徵資料；使用該計算機裝置以基於該第三紅外光特徵之影像資料，產生一第四組織特徵資料；以及使用該計算機裝置以基於該第三組織特徵資料符合該第四組織特徵資料，而使該第三紅外光特徵之影像資料包含該出血點位置資料，並使用一顯示裝置顯示該第三紅外光特徵之影像資料。
於本發明之一較佳實施例中，該第一可見光特徵之影像資料或該第二可見光特徵之影像資料包含一第三組織影像資料，該第三組織影像資料關聯於一第三組織；其中該第三紅外光特徵之影像資料包含一第四組織影像資料，該第四組織影像資料關聯於該第三組織；其中該方法進一步包含：使用該計算機裝置以基於該第三組織影像資料，產生一第三組織顏色資料，該第三組織顏色資料指示出該第三組織影像資料的一第三組織顏色；以及使用該計算機裝置以基於該第三組織影像資料符合該第四組織影像資料，而使該第三紅外光特徵之影像資料包含一第四組織顏色資料，該第四組織顏色資料指示出該第四組織影像資料的一第四組織顏色，且該第四組織顏色符合該第三組織顏色。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第一可見光特徵之影像資料、一第二可見光特徵之影像資料以及一第二紅外光特徵之影像資料，該第一可見光特徵之影像資料關聯於一第一時間區段，該第二可見光特徵之影像資料以及該第二紅外光特徵之影像資料關聯於一第二時間區段，該第二時間區段晚於該第一時間區段；其中該第一可見光特徵之影像資料或該第二可見光特徵之影像資料包含一第五組織影像資料，該第二紅外光特徵之影像資料包含一第六組織影像資料，該第五組織影像資料以及該第六組織影像資料關聯於一第四組織；其中該方法進一步包含：使用該計算機裝置以基於該第五組織影像資料，產生一第五組織特徵資料；其中該第五組織特徵資料指示出該第五組織影像資料的一第五組織顏色；以及使用該計算機裝置以基於第五組織影像資料符合該第六組織影像資料，而產生一第三紅外光特徵之影像資料，該第三紅外光特徵之影像資料包含一第七組織影像資料以及一第七組織特徵資料；其中該第七組織影像資料關聯於該第四組織，且該第七組織影像資料符合該第六組織影像資料；其中該第七組織特徵資料指示出該第七組織影像資料的一第七組織顏色，該第七組織顏色符合該第五組織顏色。
於本發明之一較佳實施例中，該第二可見光特徵之影像資料的一第一影像視野與該第二紅外光特徵之影像資料的一第二影像視野實質相同。
於本發明之一較佳實施例中，該第三紅外光特徵之影像資料關聯於該第二時間區段。
於本發明之一較佳實施例中，該計算機裝置具有一深度學習模組，該計算機裝置係藉由該深度學習模組，以基於該第五組織影像資料，產生該第五組織特徵資料。
於本發明之一較佳實施例中，該第五組織特徵資料指示出該第五組織影像資料的一第一組織輪廓或一第一組織結構；其中該方法進一步包含：使用該計算機裝置以基於該第六組織影像資料，產生一第六組織特徵資料；其中該第六組織特徵資料指示出該第六組織影像資料的一第二組織輪廓或一第二組織結構；以及使用該計算機裝置以基於該第一組織輪廓符合該第二組織輪廓，或基於該第一組織結構符合該第二組織結構，而使該第七組織顏色符合該第五組織顏色。
根據本發明之目的，再提供一種用於產生一組合式即時手術影像的系統，其包含：一計算機裝置，接收並處理複數組手術影像資料；其中該複數組手術影像資料係透過使用不同區段的照射光波長，而產生的一生物體的複數組具不同光學特徵的手術影像資料；其中該計算機裝置基於該不同特徵的手術影像資料，以產生該組合式即時手術影像。
於本發明之一較佳實施例中，該不同光學特徵包含一可見光特徵之影像資料、或一紅外光特徵之影像資料、或一熱特徵之影像。
於本發明之一較佳實施例中，該複數組不同特徵的手術影像資料其中至少一者包含一器官影像資料或一組織結構影像資料。
於本發明之一較佳實施例中，該不同區段的照射光波長包含一第一照射光波長以及一第二照射光波長，該第一照射光波長介於380奈米(nanometer，nm)至730奈米，該第二照射光波長介於650奈米至1000奈米。
於本發明之一較佳實施例中，該即時手術影像包含一出血量資料、一出血速度資料、一出血點位置資料、以及一血液流動路徑資料其中至少一者。
於本發明之一較佳實施例中，該即時手術影像為包含一組織顏色資料的紅外光特徵之影像資料。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第一影像資料、一第二影像資料以及一第三影像資料，該第一影像資料關聯於一第一時間區段，該第二影像資料關聯於一第二時間區段，該第三影像資料關聯於一第三時間區段；其中該第二時間區段晚於該第一時間區段，該第三時間區段晚於該第二時間區段；其中該計算機裝置基於該第一影像資料，產生一第一當前血液資料；其中該計算機裝置基於該第二影像資料，產生一第二當前血液資料；其中該計算機裝置基於該第三影像資料，產生一第三當前血液資料；其中該計算機裝置基於該第一當前血液資料或該第二當前血液資料或該第三當前血液資料，產生一出血量資料或一出血速度資料。
於本發明之一較佳實施例中，該第一影像資料、該第二影像資料以及該第三影像資料為可見光特徵之影像資料。
於本發明之一較佳實施例中，該第一影像資料、該第二影像資料以及該第三影像資料為紅外光特徵之影像資料。
於本發明之一較佳實施例中，該第一當前血液資料包含一第一血液面積資料，該第二當前血液資料包含一第二血液面積資料，該第三當前血液資料包含一第三血液面積資料。
於本發明之一較佳實施例中，該計算機裝置分別基於該第一影像資料、該第二影像資料以及該第三影像資料，產生一第一血液邊界資料、一第二血液邊界資料以及一第三血液邊界資料；其中該計算機裝置係分別基於該第一血液邊界資料、該第二血液邊界資料以及該第三血液邊界資料，產生該第一血液面積資料、該第二血液面積資料以及該第三血液面積資料。
於本發明之一較佳實施例中，該計算機裝置具有一深度學習模組，該計算機裝置係藉由該深度學習模組，以產生該第一血液邊界資料至該第三血液邊界資料或該第一血液面積資料至該第三血液面積資料。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第四影像資料，該第四影像資料關聯於一第四時間區段，該第一時間區段接續於該第四時間區段之後；其中該計算機裝置基於該第四影像資料不包含一血液影像資料，且該第一影像資料包含一第一血液影像資料，而產生一出血點資料。
於本發明之一較佳實施例中，該出血點資料指示出該第一血液影像資料在該第一影像資料上的所在位置。
於本發明之一較佳實施例中，該計算機裝置基於該第一時間區段、該第二時間區段、該第三時間區段其中至少二者，產生一出血時間資料；該計算機裝置基於該出血時間資料，產生該出血速度資料。
於本發明之一較佳實施例中，該第一當前血液資料、該第二當前血液資料以及該第三當前血液資料其中至少一者包含一組織類別資料，該組織類別資料關聯於一組織參數資料；其中該計算機裝置基於該第一時間區段、 該第二時間區段、該第三時間區段其中至少二者，產生一出血時間資料；其中該計算機裝置基於該出血時間資料，產生一初始出血速度資料；其中該計算機裝置基於該初始出血速度資料以及該組織參數資料，產生該出血速度資料。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第一可見光特徵之影像資料、一第二可見光特徵之影像資料、一第一紅外光特徵之影像資料以及一第二紅外光特徵之影像資料，該第一可見光特徵之影像資料以及該第一紅外光特徵之影像資料關聯於一第一時間區段，該第二可見光特徵之影像資料以及該第二紅外光特徵之影像資料關聯於一第二時間區段；其中該第二時間區段晚於該第一時間區段；其中該計算機裝置基於該第一可見光特徵之影像資料、該第二可見光特徵之影像資料、該第一紅外光特徵之影像資料以及該第二紅外光特徵之影像資料，產生一血液流動路徑資料。
於本發明之一較佳實施例中，該計算機裝置基於該第一可見光特徵之影像資料、該第二可見光特徵之影像資料，產生一第一光流資料；其中該計算機裝置基於該第一紅外光特徵之影像資料、該第二紅外光特徵之影像資料，產生一第二光流資料；其中該計算機裝置基於該第一光流資料以及該第二光流資料，產生該血液流動路徑資料。
於本發明之一較佳實施例中，該第一可見光特徵之影像資料包含一第一血液邊界資料以及一第一組織邊界資料，該第二可見光特徵之影像資料包含一第二血液邊界資料以及一第二組織邊界資料，該第一紅外光特徵之影像資料包含一第三組織邊界資料，該第二紅外光特徵之影像資料包含一第四組織邊界資料；其中該計算機裝置基於該第一血液邊界資料、該第一組織邊界資料、該第二血液邊界資料以及該第二組織邊界資料，以產生該第一光流資料；其中該計算機裝置基於該第三組織邊界資料以及該第四組織邊界資料，以產生該第二光流資料。
於本發明之一較佳實施例中，該計算機裝置係將該第一光流資料減去該第二光流資料，以產生該血液流動路徑資料。
於本發明之一較佳實施例中，該計算機裝置將該第一光流資料減去該第二光流資料，以產生一第三光流資料，該第三光流資料包含一光流誤差資料；其中該計算機裝置將該第三光流資料中的該光流誤差資料刪除，以產生該血液流動路徑資料。
於本發明之一較佳實施例中，該計算機裝置使該第二紅外光特徵之影像資料包含該血液流動路徑資料；其中該計算機裝置使用一顯示裝置以顯示該第二紅外光特徵之影像資料。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第三紅外光特徵之影像資料，該第三紅外光特徵之影像資料關聯於一第三時間區段，該第三時間區段晚於該第二時間區段；其中該計算機裝置基於該第一可見光特徵之影像資料或該第二可見光特徵之影像資料或該第一紅外光特徵之影像資料或該第二紅外光特徵之影像資料，產生一第一組織特徵資料；其中該計算機裝置基於該第三紅外光特徵之影像資料，產生一第二組織特徵資料；其中該計算機裝置基於該第一組織特徵資料符合該第二組織特徵資料，而使該第三紅外光特徵之影像資料包含該血液流動路徑資料；其中該計算機裝置使用一顯示裝置顯示該第三紅外光特徵之影像資料。
於本發明之一較佳實施例中，該第一組織特徵資料以及該第二組織特徵資料皆關聯於一第一組織，且該第一組織特徵資料以及該第二組織特徵資料皆指示出該第一組織的一組織位置、該第一組織的一組織輪廓以及該第一組織的一組織結構其中至少一者。
於本發明之一較佳實施例中，該第一可見光特徵之影像資料或該第二可見光特徵之影像資料包含一第一組織影像資料，該第一組織影像資 料關聯於一第二組織；其中該第三紅外光特徵之影像資料包含一第二組織影像資料，該第二組織影像資料關聯於該第二組織；其中該計算機裝置基於該第一組織影像資料，產生一第一組織顏色資料，該第一組織顏色資料指示出該第一組織影像資料的一第一組織顏色；其中該計算機裝置基於該第一組織影像資料符合該第二組織影像資料，而使該第三紅外光特徵之影像資料包含一第二組織顏色資料，該第二組織顏色資料指示出該第二組織影像資料的一第二組織顏色，且該第二組織顏色符合該第一組織顏色。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第一可見光特徵之影像資料、一第二可見光特徵之影像資料以及一第二紅外光特徵之影像資料，該第一可見光特徵之影像資料關聯於一第一時間區段，該第二可見光特徵之影像資料以及該第二紅外光特徵之影像資料關聯於一第二時間區段；其中該第二時間區段接續於該第一時間區段之後；其中該計算機裝置基於該第一可見光特徵之影像資料以及該第二可見光特徵之影像資料，產生一出血點位置資料；其中該計算機裝置使該第二紅外光特徵之影像資料包含該出血點位置資料；其中該計算機裝置使用一顯示裝置顯示該第二紅外光特徵之影像資料。
於本發明之一較佳實施例中，該計算機裝置基於該第一可見光特徵之影像資料不包含一血液影像資料，且該第二可見光特徵之影像資料包含一第一血液影像資料，而產生該出血點位置資料。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第三紅外光特徵之影像資料，該第三紅外光特徵之影像資料關聯於一第三時間區段，該第三時間區段晚於該第二時間區段；其中該計算機裝置基於該第二可見光特徵之影像資料，產生一第三組織特徵資料；其中該計算機裝置基於該第三紅外光特徵之影像資料，產生一第四組織特徵資料；其中該計算機裝置基 於該第三組織特徵資料符合該第四組織特徵資料，而使該第三紅外光特徵之影像資料包含該出血點位置資料；其中該計算機裝置使用一顯示裝置顯示該第三紅外光特徵之影像資料。
於本發明之一較佳實施例中，該第一可見光特徵之影像資料或該第二可見光特徵之影像資料包含一第三組織影像資料，該第三組織影像資料關聯於一第三組織；其中該第三紅外光特徵之影像資料包含一第四組織影像資料，該第四組織影像資料關聯於該第三組織；其中該計算機裝置基於該第三組織影像資料，產生一第三組織顏色資料，該第三組織顏色資料指示出該第三組織影像資料的一第三組織顏色；其中該計算機裝置基於該第三組織影像資料符合該第四組織影像資料，而使該第三紅外光特徵之影像資料包含一第四組織顏色資料，該第四組織顏色資料指示出該第四組織影像資料的一第四組織顏色，且該第四組織顏色符合該第三組織顏色。
於本發明之一較佳實施例中，該複數組手術影像資料包含一第一可見光特徵之影像資料、一第二可見光特徵之影像資料以及一第二紅外光特徵之影像資料，該第一可見光特徵之影像資料關聯於一第一時間區段，該第二可見光特徵之影像資料以及該第二紅外光特徵之影像資料關聯於一第二時間區段，該第二時間區段晚於該第一時間區段；其中該第一可見光特徵之影像資料或該第二可見光特徵之影像資料包含一第五組織影像資料，該第二紅外光特徵之影像資料包含一第六組織影像資料，該第五組織影像資料以及該第六組織影像資料關聯於一第四組織；其中該計算機裝置基於該第五組織影像資料，產生一第五組織特徵資料；其中該第五組織特徵資料指示出該第五組織影像資料的一第五組織顏色；其中該計算機裝置基於第五組織影像資料符合該第六組織影像資料，而產生一第三紅外光特徵之影像資料，該第三紅外光特徵之影像資料包含一第七組織影像資料 以及一第七組織特徵資料；其中該第七組織影像資料關聯於該第四組織，且該第七組織影像資料符合該第六組織影像資料；其中該第七組織特徵資料指示出該第七組織影像資料的一第七組織顏色，該第七組織顏色符合該第五組織顏色。
於本發明之一較佳實施例中，該第二可見光特徵之影像資料的一第一影像視野與該第二紅外光特徵之影像資料的一第二影像視野實質相同。
於本發明之一較佳實施例中，該第三紅外光特徵之影像資料關聯於該第二時間區段。
於本發明之一較佳實施例中，該計算機裝置具有一深度學習模組，該計算機裝置係藉由該深度學習模組，以基於該第五組織影像資料，產生該第五組織特徵資料。
於本發明之一較佳實施例中，該第五組織特徵資料指示出該第五組織影像資料的一第一組織輪廓或一第一組織結構；其中該計算機裝置基於該第六組織影像資料，產生一第六組織特徵資料；其中該第六組織特徵資料指示出該第六組織影像資料的一第二組織輪廓或一第二組織結構；其中該計算機裝置基於該第一組織輪廓符合該第二組織輪廓，或基於該第一組織結構符合該第二組織結構，而使該第七組織顏色符合該第五組織顏色。
本發明前述各方面及其它方面依據下述的非限制性具體實施例詳細說明以及參照附隨的圖式將更趨於明瞭。
100:系統
110:計算機裝置
120:儲存裝置
210:第一影像資料
211:組織影像
212:第一血液影像
213:組織影像
220:第二影像資料
221:組織影像
222:第二血液影像
223:組織影像
230:第三影像資料
231:組織影像
232:第三血液影像
233:組織影像
240:第四影像資料
250:第五影像資料
252:血液影像
310:第一可見光特徵之影像資料
312:組織影像資料
314:血液影像資料
320:第二可見光特徵之影像資料
322:組織影像資料
324:血液影像資料
330:第一紅外光特徵之影像資料
332:組織影像資料
340:第二紅外光特徵之影像資料
342:組織影像資料
350:第一光流資料
360:第二光流資料
370:第三光流資料
375:光流誤差資料
380:血液流動路徑資料
410:第一可見光特徵之影像資料
414:組織影像資料
420:第二可見光特徵之影像資料
422:第一血液影像資料
424:組織影像資料
430:第二紅外光特徵之影像資料
432:出血點
440:第三紅外光特徵之影像資料
442:出血點
444:組織影像資料
510:第一可見光特徵之影像資料
512:組織影像資料
520:第二可見光特徵之影像資料
522:組織影像資料
530:第二紅外光特徵之影像資料
532:第六組織影像資料
540:第三紅外光特徵之影像資料
542:第七組織影像資料
600:方法
610~630:步驟
902:特定組織
910:內視鏡裝置
第一圖為本發明用於產生一組合式即時手術影像的系統一具體實施例的系統架構圖。
第二圖為本發明用於產生一組合式即時手術影像的系統進行影像分析一具體實施例的示意圖。
第三圖為本發明用於產生一組合式即時手術影像的系統進行影像分析一具體實施例的示意圖。
第四圖為本發明用於產生一組合式即時手術影像的系統進行影像分析一具體實施例的示意圖。
第五圖為本發明用於產生一組合式即時手術影像的系統進行影像分析一具體實施例的示意圖。
第六圖為本發明用於產生一組合式即時手術影像的方法一具體實施例的流程圖。
請參閱第一圖，其例示說明了根據本發明用於產生一組合式即時手術影像的系統一具體實施例的系統架構圖。如第一圖所示實施例，用於產生一組合式即時手術影像的系統100包含計算機裝置110以及儲存裝置120，計算機裝置110通訊連接儲存裝置120，系統100通訊連接內視鏡裝置910。較佳地，計算機裝置110可存取儲存裝置120。較佳地，計算機裝置110可接收並處理複數組手術影像資料(例如計算機裝置110可自內視鏡裝置910接收並處理複數組手術影像資料)，計算機裝置110並可基於該不同特徵的手術影像資料，以產生組合式即時手術影像。在一具體實施例中，該複數組手術影像資料係透過使用不同區段的照射光波長，而產生的一生物體(可稱為目標生物體)的複數組具不同光學特徵的手術影像資料。舉例而言，該複數組手術影像資料可包含一至多個紅外光特徵之影像資料(可稱為紅外光影像資料)以及一至多個可見光特徵之影像資料(可稱為可見光影像資料)。其中， 該一至多個紅外光特徵之影像資料以及該一至多個可見光特徵之影像資料皆關聯於一生物體(例如該一至多個紅外光特徵之影像資料以及該一至多個可見光特徵之影像資料皆拍攝自該生物體)。較佳地，紅外光特徵之影像資料為在紅外光照射下所拍攝或擷取的影像資料，而可見光特徵之影像資料為在可見光照射下所拍攝或擷取的的影像資料。應了解，內視鏡裝置910亦可視需求而為其他類型的醫學影像裝置。
較佳地，不同區段的照射光波長包含一第一照射光波長以及一第二照射光波長，該第一照射光波長可介於380奈米(nanometer，nm)至730奈米，該第二照射光波長可介於650奈米至1000奈米。較佳地，複數組具不同光學特徵的手術影像資料可包含一可見光特徵之影像資料、及/或一紅外光特徵之影像資料、及/或一熱特徵之影像。較佳地，該複數組具不同特徵的手術影像資料其中至少一者可包含一器官影像資料或一組織結構影像資料。其中該器官影像資料或該組織結構影像資料關聯於該生物體。
在不同具體實施例中，系統100可藉由計算機裝置110或儲存裝置120通訊連接內視鏡裝置910。在不同具體實施例中，計算機裝置110可以無線方式或有線方式通訊連接儲存裝置120，而系統100可以無線方式或有線方式通訊連接內視鏡裝置910。在一具體實施例中，內視鏡裝置910可存取資料庫120，且內視鏡裝置910可將所擷取的影像儲存至資料庫120。在一具體實施例中，內視鏡裝置910可通訊連接計算機裝置110，且內視鏡裝置910可將所擷取的影像傳送至計算機裝置110，以由計算機裝置110進行分析。計算機裝置可例如但不限於電腦、伺服器、筆電、行動裝置或其他具有資料運算功能及/或資料、影像處理功能的計算機裝置。
較佳地，內視鏡裝置910可擷取可見光特徵之影像(可稱為可見光影像)以及紅外光(Infrared，IR)特徵之影像(可稱為紅外光影像)。較佳 地，在產生可見光特徵之影像的過程中，可使用波長介於380奈米至730奈米的可見光進行照射，但不以此為限。而在產生紅外光特徵之影像的過程中，可使用波長介於650奈米至1000奈米的紅外光進行照射，但不以此為限。在一具體實施例中，內視鏡裝置910可視為系統100的一部份。在一具體實施例中，系統100可進一步包含顯示裝置，顯示裝置通訊連接計算機裝置及/或內視鏡裝置，且顯示裝置可顯示內視鏡裝置所擷取的影像及/或經過計算機裝置處理的影像或資料。顯示裝置可例如為電腦螢幕、醫學影像顯示裝置或任何具影像顯示功能的顯示裝置，但不以此為限。
較佳地，內視鏡裝置910可具有可見光光源以及紅外光光源，且內視鏡裝置910可切換可見光光源以及紅外光光源，或者內視鏡裝置910可同時照射可見光光源以及紅外光光源(例如可由計算機裝置110控制內視鏡裝置910，以切換可見光光源以及紅外光光源，或者可由內視鏡裝置910自行切換可見光光源以及紅外光光源)。較佳地，內視鏡裝置910可具有第一感測部以及第二感測部。內視鏡裝置910可藉由第一感測部以擷取可見光影像資料，並可藉由第二感測部以擷取紅外光影像資料。應了解，內視鏡裝置可視需求而同時擷取可見光影像以及紅外光影像，或者內視鏡裝置可視需求而於一時間點(或時間區段)只擷取可見光影像以及紅外光影像其中一者。
應了解，由於紅外光光源可穿透血液，因此，即便內視鏡裝置910當前所測得之視野已部分或全部被血液覆蓋，內視鏡裝置910仍可藉由擷取紅外光影像，而擷取到血液覆蓋下的組織或器官等物體的對應影像。藉此，內視鏡裝置910即可藉由擷取可見光影像，而獲得影像視野中的血液未覆蓋之組織影像以及影像視野中的血液影像(亦即，可見光影像資料將包含血液未覆蓋之組織影像資料以及血液影像資料)。內視鏡裝置910並可藉由紅外光影像，而獲得影像視野中的血液未覆蓋之組織影像、以及影像視野中的血液覆蓋下之組織影像 (亦即，紅外光影像資料將包含血液未覆蓋之組織影像資料、以及已被血液覆蓋的組織影像資料)。
在一具體實施例中，系統100可包含一或多個處理器，且系統100係以硬體與軟體協同運作的方式實施資料庫120及/或計算機裝置110及/或顯示裝置。舉例而言，計算機裝置能以硬體與軟體協同運作的方式傳送、接收以及處理各種資料、檔案或指令，資料庫能以硬體與軟體協同運作的方式傳送、接收以及儲存各種資料、檔案或指令，而顯示裝置能以硬體與軟體協同運作的方式傳送、接收、顯示影像資料。在一具體實施例中，內視鏡裝置910可包含一或多個處理器，且內視鏡裝置910係以硬體與軟體協同運作的方式實施各種功能(如擷取影像、傳送或接收影像、資料、指令等)。
請參閱第二圖，其例示說明了根據本發明用於產生一組合式即時手術影像的系統進行影像分析一具體實施例的示意圖。如第二圖所示實施例，計算機裝置所接收並處理的複數組手術影像資料可包含第一影像資料210、第二影像資料220、第三影像資料230以及第五影像資料250。第一影像資料210關聯於第一時間區段，第二影像資料220關聯於第二時間區段，第三影像資料230關聯於第三時間區段，第五影像資料250關聯於第五時間區段。亦即，第一影像資料210是在第一時間區段所擷取的影像資料，第二影像資料220是在第二時間區段所擷取的影像資料，第三影像資料230是在第三時間區段所擷取的影像資料，第五影像資料250是在第五時間區段所擷取的影像資料。較佳地，第二時間區段晚於第一時間區段，第三時間區段晚於第二時間區段，第五時間區段晚於第三時間區段。較佳地，第二時間區段可接續於第一時間區段之後，而第三時間區段可接續於第二時間區段之後。較佳地，第一影像資料210、第二影像資料220以及第三影像資料230為連續的影像資 料。應了解，第一影像資料210、第二影像資料220以及第三影像資料230可視需求而為可見光特徵之影像資料或紅外光特徵之影像資料，但不以此為限。
在一具體實施例中，計算機裝置基於手術影像資料所產生的即時手術影像可包含出血量資料、出血速度資料、出血點位置資料、以及血液流動路徑資料其中至少一者。在一具體實施例中，計算機裝置基於手術影像資料所產生的即時手術影像可為包含組織顏色資料的紅外光特徵之影像資料。詳細而言，即時手術影像可為具有組織顏色資訊的紅外光特徵之影像資料(或可稱為經過著色的紅外光特徵之影像資料)。如此，即可藉由此紅外光影像以顯示出未被血液覆蓋之組織影像以及已被血液覆蓋的組織影像資料，同時亦可視需求而選擇性地於紅外光影像上，顯示出血量資料、出血速度資料、出血點位置資料、以及血液流動路徑資料其中至少一者。應了解，計算機裝置並非僅可在顯示紅外光特徵之影像資料時，一併將出血量資料、出血速度資料、出血點位置資料、以及血液流動路徑資料其中至少一者顯示於顯示裝置上，而係可視需求於顯示可見光特徵之影像資料時，一併將出血量資料、出血速度資料、出血點位置資料、以及血液流動路徑資料其中至少一者顯示於顯示裝置上。
在第二圖所示實施例中，第一影像資料210中具有組織影像(可稱為組織影像資料)211、213以及第一血液影像212(可稱為第一血液影像資料)，第一血液影像212具有第一出血範圍。由第一影像資料210可見，組織影像211、213分別指示出不同的組織，且第一血液影像212位於組織影像211上。第二影像資料220中具有組織影像(可稱為組織影像資料)221、223以及第二血液影像222(可稱為第二血液影像資料)，第二影像資料220具有第二出血範圍。由第二影像資料220可見，組織影像221、223分別指示出不同的組織。第三影像資料230中具有組織影像(可稱為組織影像資料)231、233以及第三血液影像232(可稱為第三血液影像資料)，第三影像資料230具有第三出血範圍。由第 三影像資料230可見，組織影像231、233分別指示出不同的組織。由第五影像資料250可見，其以完全由血液影像252所覆蓋。
計算機裝置可基於第一影像資料210以產生第一當前血液資料，計算機裝置可基於第二影像資料220以產生第二當前血液資料，計算機裝置可基於第三影像資料230以產生第三當前血液資料。計算機裝置並可基於第一當前血液資料及/或第二當前血液資料及/或第三當前血液資料，以產生出血量資料或出血速度資料。在一具體實施例中，第一當前血液資料可包含一第一血液面積資料，其指示出第一血液影像212的面積。第二當前血液資料可包含一第二血液面積資料，其指示出第二血液影像222的面積。第三當前血液資料可包含一第三血液面積資料，其指示出第三血液影像232的面積。
在一具體實施例中，計算機裝置可基於第一影像資料210以產生第一血液邊界資料，第一血液邊界資料指示出第一血液影像212的血液邊界。計算機裝置可基於第二影像資料220以產生第二血液邊界資料，第二血液邊界資料指示出第二血液影像222的血液邊界。計算機裝置可基於第三影像資料230以產生第三血液邊界資料，第三血液邊界資料指示出第三血液影像232的血液邊界。接著，計算機裝置可基於第一血液邊界資料產生該第一血液面積資料，計算機裝置可基於第二血液邊界資料產生第二血液面積資料，計算機裝置可基於第三血液邊界資料產生第三血液面積資料。應了解，計算機裝置可視需求而具有深度學習模組，如此，計算機裝置即可藉由深度學習模組，以產生第一血液邊界資料、第二血液邊界資料以及該第三血液邊界資料。或者，計算機裝置可藉由深度學習模組，以產生第一血液面積資料、第二血液面積資料以及第三血液面積資料。然應了解，計算機裝置並非僅可藉由深度學習模組以產生血液邊界資料或血液面積資料。在不同具體實施例中，計算機裝置亦可採用其它方式以產生血液邊界資料或血液面積資料。
在一具體實施例中，計算機裝置所接收並處理的複數組手術影像資料可包含第四影像資料240，第四影像資料240可關聯於第四時間區段，其中第一時間區段接續於第四時間區段之後。較佳地，第四影像資料240與第一影像資料210可為連續的影像資料。計算機裝置可基於第四影像資料240不包含血液影像資料(即第四影像資料240不具有任何血液影像其可對應於第一影像資料210中的血液影像212)，且第一影像資料210包含一第一血液影像資料(即血液影像212)，而產生一出血點資料(出血點資料可為前述之出血點位置資料)。其中，出血點資料指示出血液影像212在第一影像資料210上的所在位置。在一具體實施例中，血液影像212位於組織影像211上，組織影像211、221、231皆關聯於一特定組織，出血點資料指示出血液影像212與該特定組織彼此間的相對位置。其中，出血點資料即係藉由此種方式以指示出血液影像212在第一影像資料210上的所在位置。
在一具體實施例中，計算機裝置可基於第一時間區段、第二時間區段、第三時間區段其中至少二者(可為其中任兩者或兩者以上)，產生一出血時間資料。接著，計算機裝置可基於出血時間資料，以產生出血速度資料。舉例而言，計算機裝置可先基於第一時間區段以及第三時間區段，產生出血時間資料(如前所述，第一影像資料210是在第一時間區段中所擷取的影像資料，而第三影像資料230是在第三時間區段中所擷取的影像資料)。其中，出血時間資料指示出第一時間區段與第三時間區段之間的時間差。接著，計算機裝置可基於第一當前血液資料中的第一血液面積資料、第三當前血液資料中的第三血液面積資料、以及出血時間資料，以產生(例如計算出)出血速度資料。
在一具體實施例中，計算機裝置可先基於第一血液面積資料與第三血液面積資料，以產生出血量變化資料。其中，出血量變化資料指示出第 一影像資料210與第三影像資料230之間的出血量變化。接著，計算機裝置可基於出血量變化資料以及出血時間資料，產生出血速度資料。應了解，計算機裝置可視需求而具有深度學習模組，如此，計算機裝置即可藉由深度學習模組，以基於血液面積資料產生對應的出血量資料(其中，該出血量資料指示出在該血液面積下的出血量)，或是可藉由深度學習模組，以基於兩個血液面積資料產生對應的出血量變化資料。然應了解，計算機裝置並非僅可藉由深度學習模組以產生出血量資料或出血量變化資料。在不同具體實施例中，計算機裝置亦可採用其它方式以產生出血量資料或出血量變化資料。
在一具體實施例中，第一當前血液資料、第二當前血液資料以及第三當前血液資料其中至少一者包含一組織類別資料，該組織類別資料關聯於一組織參數資料。計算機裝置可基於第一時間區段、第二時間區段、第三時間區段其中至少二者(可為其中任兩者或兩者以上)，產生出血時間資料。計算機裝置可基於出血時間資料，產生初始出血速度資料。接著，計算機裝置可基於初始出血速度資料以及組織參數資料，產生該出血速度資料。在一具體實施例中，計算機裝置可將初始出血速度資料乘上組織參數資料以產生出血速度資料。在另一具體實施例中，計算機裝置可將初始出血速度資料套入組織參數資料所對應的函數公式，以產生出血速度資料。應了解，由於不同組織的出血速度不同，因此，藉由此種做法，計算機裝置即可依據出血的組織所對應的組織類別資料或組織參數資料，以計算出較準確的出血速度及/或出血量。
請參閱第三圖，其例示說明了根據本發明用於產生一組合式即時手術影像的系統進行影像分析一具體實施例的示意圖。如第三圖所示實施例，計算機裝置所接收並處理的複數組手術影像資料可包含第一可見光特徵之影像資料310、第二可見光特徵之影像資料320、第一紅外光特徵之影 像資料330以及第二紅外光特徵之影像資料340。第一可見光特徵之影像資料310以及第一紅外光特徵之影像資料330關聯於第一時間區段，第二可見光特徵之影像資料320以及第二紅外光特徵之影像資料340關聯於第二時間區段。亦即，第一可見光特徵之影像資料310以及第一紅外光特徵之影像資料330是在第一時間區段所擷取的影像資料，第二可見光特徵之影像資料320以及第二紅外光特徵之影像資料340是在第一時間區段所擷取的影像資料。較佳地，第二時間區段晚於第一時間區段。較佳地，第二時間區段可接續於第一時間區段之後。
第一可見光特徵之影像資料310可包含組織影像資料312與血液影像資料314，第二可見光特徵之影像資料320可包含組織影像資料322與血液影像資料324。第一紅外光特徵之影像資料330可包含組織影像資料332，可見光特徵之影像資料340可包含組織影像資料342。組織影像資料312、組織影像資料322、組織影像資料332、以及組織影像資料342皆關聯於同一個組織(可稱為第一組織)。由於第一可見光特徵之影像資料310以及第一紅外光特徵之影像資料330皆是在第一時間區段所擷取的影像資料，因此第一可見光特徵之影像資料310以及第一紅外光特徵之影像資料330具有實質上相同的影像視野。其中，由於紅外光光源可穿透血液，因此第一紅外光特徵之影像資料330中僅包含組織影像資料332，而不會具有對應於血液影像資料314的血液影像。此外，由於第二可見光特徵之影像資料320以及第二紅外光特徵之影像資料340皆是在第一時間區段所擷取的影像資料，因此第二可見光特徵之影像資料320以及第二紅外光特徵之影像資料340具有實質上相同的影像視野。其中，由於紅外光光源可穿透血液，因此第二紅外光特徵之影像資料340中僅包含組織影像資料342，而不會具有對應於血液影像資料324的血液影像，且組織影像資料342可指示出血液(即血液影像資料324)覆蓋下的完整組織邊緣。
在第三圖所示實施例中，計算機裝置可基於第一可見光特徵之影像資料310、第二可見光特徵之影像資料320、第一紅外光特徵之影像資料330以及第二紅外光特徵之影像資料340，產生血液流動路徑資料380。在一具體實施例中，計算機裝置可基於第一可見光特徵之影像資料310、第二可見光特徵之影像資料320，產生第一光流資料350。其中，第一光流資料350可指示出血液影像資料314與血液影像資料324之間的血液流動路徑，第一光流資料350並可指示出組織影像資料312與組織影像資料322之間的移動路徑(若第一可見光特徵之影像資料310以及第二可見光特徵之影像資料320的拍攝位置不同，則第一可見光特徵之影像資料310以及第二可見光特徵之影像資料320將具有不同的影像視野，此時組織影像資料312與組織影像資料322在影像視野中的位置也會不同)。計算機裝置可基於第一紅外光特徵之影像資料330以及第二紅外光特徵之影像資料340，產生一第二光流資料360。其中，第二光流資料360可指示出組織影像資料332與組織影像資料342之間的移動路徑(若第一紅外光特徵之影像資料330以及第二紅外光特徵之影像資料340的拍攝位置不同，則第一紅外光特徵之影像資料330以及第二紅外光特徵之影像資料340將具有不同的影像視野，此時組織影像資料312與組織影像資料322在影像視野中的位置也會不同)。計算機裝置可接著基於第一光流資料350以及第二光流資料360，產生血液流動路徑資料380。
在一具體實施例中，第一可見光特徵之影像資料310可包含第一血液邊界資料以及第一組織邊界資料。其中，第一血液邊界資料指示出血液影像資料314的血液邊界，第一組織邊界資料指示出組織影像資料312的組織邊界。第二可見光特徵之影像資料可包含第二血液邊界資料以及第二組織邊界資料。其中，第二血液邊界資料指示出血液影像資料324的血液邊界，第二組織邊界資料指示出組織影像資料322的組織邊界。第一紅外光特徵之影像資料可包 含第三組織邊界資料，第三組織邊界資料指示出組織影像資料332的組織邊界。第二紅外光特徵之影像資料可包含第四組織邊界資料，第四組織邊界資料指示出組織影像資料342的組織邊界。計算機裝置可基於該第一血液邊界資料、第一組織邊界資料、第二血液邊界資料以及第二組織邊界資料，以產生第一光流資料350。計算機裝置可基於第三組織邊界資料以及第四組織邊界資料，以產生第二光流資料360。
在一具體實施例中，計算機裝置係將第一光流資料350減去第二光流資料360，以產生血液流動路徑資料380。在一具體實施例中，計算機裝置可將第一光流資料350減去第二光流資料360，以產生第三光流資料370。此時第三光流資料370可能包含光流誤差資料375。其中，光流誤差資料375的產生原因，是由組織影像資料322被血液影像資料324覆蓋之處以及組織影像資料342所指示出的血液覆蓋下之組織邊緣，此兩者間的差異所造成的。詳細而言，第二光流資料360包含了被血液覆蓋的組織邊界的光流資料，其可對應於光流誤差資料375。而第一光流資料350則並未包含被血液覆蓋的組織邊界的光流資料。因此當計算機裝置將第一光流資料350減去第二光流資料360時，第三光流資料370即會包含光流誤差資料375。在一具體實施例中，計算機裝置可將第三光流資料370中的光流誤差資料375刪除，以產生血液流動路徑資料380。在一具體實施例中，由於第一光流資料350減去第二光流資料360後，所產生的光流誤差資料375皆為負值。因此，計算機裝置可辨識出呈現負值的光流誤差資料375，並可直接將第三光流資料370中的光流誤差資料375刪除。亦即，計算機裝置可直接將第三光流資料370中，呈現負值的光流資料刪除，以產生血液流動路徑資料380。
在一具體實施例中，計算機裝置可使第二紅外光特徵之影像資料340包含血液流動路徑資料380(亦即，使血液流動路徑資料380關聯於第二紅外光特徵之影像資料340)。計算機裝置並可使用一顯示裝置以顯示第二紅外 光特徵之影像資料340。如此，即可在顯示第二紅外光特徵之影像資料340時，同時顯示(例如標註出)血液流動路徑資料380。應了解，計算機裝置以及顯示裝置並非僅可於第二紅外光特徵之影像資料340上顯示血液流動路徑資料380，而是可視需求於顯示第一可見光特徵之影像資料310、第二可見光特徵之影像資料320、第一紅外光特徵之影像資料330其中一者時，一併於其上顯示血液流動路徑資料380。
在一具體實施例中，計算機裝置所接收並處理的複數組手術影像資料可包含第三紅外光特徵之影像資料，第三紅外光特徵之影像資料關聯於第三時間區段。較佳地，第三時間區段晚於第二時間區段。計算機裝置可基於第一可見光特徵之影像資料310及/或第二可見光特徵之影像資料320及/或第一紅外光特徵之影像資料330及/或第二紅外光特徵之影像資料340，產生一第一組織特徵資料。計算機裝置可基於第三紅外光特徵之影像資料，產生一第二組織特徵資料。計算機裝置可基於第一組織特徵資料符合第二組織特徵資料，而使第三紅外光特徵之影像資料包含血液流動路徑資料380(亦即，使血液流動路徑資料380關聯於第三紅外光特徵之影像資料)。計算機裝置並可使用顯示裝置顯示第三紅外光特徵之影像資料。如此，即可在顯示第三紅外光特徵之影像資料時，同時顯示(例如標註出)血液流動路徑資料380。較佳地，第一組織特徵資料以及第二組織特徵資料皆關聯於第一組織，且第一組織特徵資料以及第二組織特徵資料皆指示出第一組織的組織位置、第一組織的組織輪廓(組織輪廓可包含組織的邊界、形狀等，但不以此為限)以及第一組織的組織結構(組織結構可包含組織的紋理、類型、構成方式等，但不以此為限)其中至少一者。應了解，藉由此做法，當第三紅外光特徵之影像資料中，包含了一特定組織影像資料其對應於第一組織，且組織影像資料312、組織影像資料322、組織影像資料332以及組織影像資料342亦對應於該第一組織時，計算機裝 置即可藉由顯示裝置，以於顯示第三紅外光特徵之影像資料時，同時顯示(例如標註出)血液流動路徑資料380。應了解，計算機裝置亦可藉由類似的做法，以於顯示一第三可見光特徵之影像資料時，同時顯示(例如標註出)血液流動路徑資料380。
在一具體實施例中，第一可見光特徵之影像資料310或第二可見光特徵之影像資料320可包含一第一組織影像資料，該第一組織影像資料關聯於一特定組織(可稱為第二組織)。計算機裝置所接收並處理的複數組手術影像資料可包含第三紅外光特徵之影像資料，第三紅外光特徵之影像資料包含一第二組織影像資料，該第二組織影像資料亦關聯於第二組織。計算機裝置可基於第一組織影像資料，而產生一第一組織顏色資料。其中，第一組織顏色資料指示出第一組織影像資料的組織顏色(可稱為第一組織顏色)。計算機裝置可基於第一組織影像資料符合第二組織影像資料(例如其組織輪廓相符合及/或其組織結構相符合等，但不以此為限)，而使第三紅外光特徵之影像資料包含一第二組織顏色資料。其中，第二組織顏色資料指示出第二組織影像資料的一組織顏色(可稱為第二組織顏色)，且第二組織顏色符合第一組織顏色。藉由此種做法，即可基於可見光特徵之影像資料中，各組織影像資料的顏色，而對紅外光特徵之影像資料中，對應的組織影像資料進行著色。
請參閱第四圖，其例示說明了根據本發明用於產生一組合式即時手術影像的系統進行影像分析一具體實施例的示意圖。如第四圖所示實施例，計算機裝置所接收並處理的複數組手術影像資料可包含第一可見光特徵之影像資料410、第二可見光特徵之影像資料420、以及第二紅外光特徵之影像資料430。第一可見光特徵之影像資料410關聯於第一時間區段，第二可見光特徵之影像資料420以及第二紅外光特徵之影像資料430關聯於第二時間區段。亦即，第一可見光特徵之影像資料410是在第一時間區段所擷取的 影像資料，第二可見光特徵之影像資料420以及第二紅外光特徵之影像資料430是在第一時間區段所擷取的影像資料。其中，第二時間區段晚於第一時間區段。較佳地，第二時間區段接續於第一時間區段之後。
在第四圖所示實施例中，計算機裝置可基於第一可見光特徵之影像資料410以及第二可見光特徵之影像資料420，而產生一出血點位置資料。較佳地，計算機裝置可基於第一可見光特徵之影像資料410不包含血液影像資料(即第一可見光特徵之影像資料410不具有任何血液影像資料其可對應於第二可見光特徵之影像資料420中的第一血液影像資料422)，且第二可見光特徵之影像資料420包含第一血液影像資料422，而產生出血點位置資料。在一具體實施例中，計算機裝置可使第二紅外光特徵之影像資料430包含出血點位置資料，計算機裝置並可使用一顯示裝置顯示第二紅外光特徵之影像資料430。如此，即可在顯示第二紅外光特徵之影像資料430時，一併顯示(例如標註出)出血點位置資料(例如第二紅外光特徵之影像資料430上的出血點432，即可視為第二紅外光特徵之影像資料430所包含的出血點位置資料)。
在第四圖所示實施例中，計算機裝置所接收並處理的複數組手術影像資料可包含第三紅外光特徵之影像資料440，第三紅外光特徵之影像資料440關聯於一第三時間區段(亦即，第三紅外光特徵之影像資料440是在第三時間區段所擷取的影像資料)，且第三時間區段晚於第二時間區段。第一可見光特徵之影像資料410、第二可見光特徵之影像資料420、第二紅外光特徵之影像資料430、以及第三紅外光特徵之影像資料440皆具有一組織影像資料其關聯於特定組織902。且如第四圖所見，出血點位置資料所對應的出血點即係位於特定組織902上。
在一具體實施例中，計算機裝置可基於第二可見光特徵之影像資料420，產生一第三組織特徵資料。計算機裝置可基於第三紅外光特徵之影像 資料440，產生一第四組織特徵資料。接著，計算機裝置可基於第三組織特徵資料符合該第四組織特徵資料，而使第三紅外光特徵之影像資料440包含出血點位置資料。較佳地，計算機裝置可視需求而使用一顯示裝置顯示第三紅外光特徵之影像資料440。如此，即可在顯示第三紅外光特徵之影像資料440時，一併顯示(例如標註出)出血點位置資料(例如第三紅外光特徵之影像資料440上的出血點442，即可視為第三紅外光特徵之影像資料440所包含的出血點位置資料)。較佳地，第三組織特徵資料以及第四組織特徵資料皆關聯於特定組織902，且第三組織特徵資料以及第四組織特徵資料皆指示出特定組織902的組織位置、該特定組織的組織輪廓以及該特定組織的組織結構其中至少一者。藉由此種方式，若使用者於第一時間區段後，又擷取了一紅外光特徵之影像資料，且該紅外光特徵之影像資料具有可對應於特定組織902的一組織影像資料，則計算機裝置即可將出血點位置資料顯示(例如標註出)於該紅外光特徵之影像資料上。應了解，計算機裝置並非僅可在顯示紅外光特徵之影像資料時，一併將出血點位置資料顯示於顯示裝置上，而係可視需求於顯示可見光特徵之影像資料時，一併將出血點位置資料顯示於顯示裝置上。
在一具體實施例中，第一可見光特徵之影像資料410或第二可見光特徵之影像資料420包含一第三組織影像資料(第三組織影像資料可例如為第一可見光特徵之影像資料410中，關聯於特定組織902的組織影像資料414，或可例如為第二可見光特徵之影像資料420中，關聯於特定組織902的組織影像資料424)，第三紅外光特徵之影像資料440包含一第四組織影像資料(第四組織影像資料可例如為第三紅外光特徵之影像資料440中，關聯於特定組織902的組織影像資料444)，第三組織影像資料與第四組織影像資料皆關聯於一第三組織(第三組織可例如為特定組織902)。計算機裝置可基於第三組織影像資料產生第三組織顏色資料，第三組織顏色資料指示出第三組織影像資料的一 組織顏色(可稱為第三組織顏色)。計算機裝置可基於第三組織影像資料符合第四組織影像資料(例如其組織輪廓相符合及/或其組織結構相符合等，但不以此為限)，而使第三紅外光特徵之影像資料440包含一第四組織顏色資料。其中，第四組織顏色資料指示出第四組織影像資料的一組織顏色(可稱為第四組織顏色)，且第四組織顏色符合第三組織顏色。藉由此種做法，即可基於可見光特徵之影像資料中，各組織影像資料的顏色，而對紅外光特徵之影像資料中，對應的組織影像資料進行著色。
請參閱第五圖，其例示說明了根據本發明用於產生一組合式即時手術影像的系統進行影像分析一具體實施例的示意圖。如第五圖所示實施例，計算機裝置所接收並處理的複數組手術影像資料可包含第一可見光特徵之影像資料510、第二可見光特徵之影像資料520以及第二紅外光特徵之影像資料530。第一可見光特徵之影像資料510關聯於第一時間區段，第二可見光特徵之影像資料520以及第二紅外光特徵之影像資料530關聯於第二時間區段。亦即，第一可見光特徵之影像資料510是在第一時間區段所擷取的影像資料，第二可見光特徵之影像資料520以及第二紅外光特徵之影像資料530是在第一時間區段所擷取的影像資料。其中，第二時間區段晚於第一時間區段。第一可見光特徵之影像資料510或第二可見光特徵之影像資料520包含第五組織影像資料(第五組織影像資料可例如為第一可見光特徵之影像資料510的組織影像資料512，或可例如為第二可見光特徵之影像資料520的組織影像資料522)，第二紅外光特徵之影像資料530包含第六組織影像資料532，第五組織影像資料以及第六組織影像資料532皆關聯於一第四組織。較佳地，第二可見光特徵之影像資料520的影像視野(可稱為第一影像視野)與第二紅外光特徵之影像資料530的影像視野(可稱為第二影像視野)實質相同。
在第五圖所示實施例中，計算機裝置可基於第五組織影像資料以產生第五組織特徵資料，第五組織特徵資料指示出第五組織影像資料的組織顏色(可稱為第五組織顏色)。計算機裝置可基於第五組織影像資料符合第六組織影像資料，而產生第三紅外光特徵之影像資料540，第三紅外光特徵之影像資料540包含第七組織影像資料542以及第七組織特徵資料。其中，第七組織影像資料542關聯於第四組織，且第七組織影像資料542符合第六組織影像資料532。另外，第七組織特徵資料指示出第七組織影像資料的組織顏色(可稱為第七組織顏色)，且第七組織顏色符合第五組織顏色。較佳地，第三紅外光特徵之影像資料540關聯於第二時間區段。應了解，藉由此種做法，即可基於可見光特徵之影像資料中各組織影像資料的顏色，而對紅外光特徵之影像資料中，對應的組織影像資料進行著色。
在一具體實施例中，計算機裝置可具有深度學習模組。計算機裝置可藉由深度學習模組，而基於一組織影像資料以產生對應的組織特徵資料(例如計算機裝置可藉由深度學習模組，而基於第五組織影像資料以產生第五組織特徵資料)。應了解，計算機裝置並非僅可藉由深度學習模組以基於組織影像資料產生組織特徵資料，在不同具體實施例中，計算機裝置亦可採用其它方式以基於組織影像資料產生組織特徵資料。
在一具體實施例中，第五組織特徵資料可指示出第五組織影像資料的組織輪廓(可稱為第一組織輪廓)或組織結構(可稱為第一組織結構)。計算機裝置可基於第六組織影像資料532以產生第六組織特徵資料，第六組織特徵資料指示出第六組織影像資料532的組織輪廓(可稱為第二組織輪廓)或組織結構(可稱為第二組織結構)。計算機裝置可基於第一組織輪廓符合第二組織輪廓，及/或基於第一組織結構符合第二組織結構，而使該第七組織顏色符合第五組織顏色。
請參閱第六圖，其例示說明了根據本發明用於產生一組合式即時手術影像的方法一具體實施例的流程圖。應了解，用於產生一組合式即時手術影像的方法可應用於前述之用於產生一組合式即時手術影像的系統。如第六圖所示實施例，用於產生一組合式即時手術影像的方法600開始於步驟610，使用不同區段的照射光波長，以產生一生物體的複數組具不同光學特徵的手術影像資料。接著，進行步驟620，使用計算機裝置以接收並處理該複數組手術影像資料。接著，進行步驟630，由計算機裝置基於該不同特徵的手術影像資料，以產生組合式即時手術影像。
在一具體實施例中，該不同光學特徵可包含一可見光特徵之影像資料及/或一紅外光特徵之影像資料及/或一熱特徵之影像資料。在一具體實施例中，該複數組不同特徵的手術影像資料其中至少一者包含一器官影像資料及/或一組織結構影像資料。其中該器官影像資料或該組織結構影像資料關聯於該生物體。在一具體實施例中，該不同區段的照射光波長包含第一照射光波長以及第二照射光波長。較佳地，第一照射光波長介於380奈米至730奈米，而第二照射光波長介於650奈米至1000奈米。在一具體實施例中，即時手術影像包含出血量資料、出血速度資料、出血點位置資料、以及血液流動路徑資料其中至少一者。在一具體實施例中，即時手術影像為包含組織顏色資料的紅外光特徵之影像資料。
在一具體實施例中，該複數組手術影像資料包含第一影像資料、第二影像資料以及第三影像資料。第一影像資料關聯於第一時間區段，第二影像資料關聯於第二時間區段，第三影像資料關聯於第三時間區段。其中，第二時間區段晚於第一時間區段，第三時間區段晚於第二時間區段。方法600可進一步包含：使用計算機裝置以基於第一影像資料，產生第一當前血液資料；使用計算機裝置以基於第二影像資料，產生第二當前血液資料；使用計 算機裝置以基於第三影像資料，產生第三當前血液資料；以及使用計算機裝置基於第一當前血液資料及/或第二當前血液資料及/或第三當前血液資料，產生出血量資料及/或出血速度資料。在一具體實施例中，第一影像資料、第二影像資料以及第三影像資料為可見光特徵之影像資料。在另一具體實施例中，第一影像資料、第二影像資料以及第三影像資料為紅外光特徵之影像資料。
在一具體實施例中，第一當前血液資料可包含第一血液面積資料，第二當前血液資料可包含第二血液面積資料，第三當前血液資料可包含第三血液面積資料。在一具體實施例中，方法600可進一步包含：使用計算機裝置以分別基於第一影像資料、第二影像資料以及第三影像資料，產生第一血液邊界資料、第二血液邊界資料以及第三血液邊界資料；以及使用計算機裝置以分別基於第一血液邊界資料、第二血液邊界資料以及第三血液邊界資料，產生第一血液面積資料、第二血液面積資料以及第三血液面積資料。在一具體實施例中，計算機裝置可具有深度學習模組，方法600可由計算機裝置藉由深度學習模組，以產生第一血液邊界資料、第二血液邊界資料以及該第三血液邊界資料。或者，方法600可由計算機裝置藉由深度學習模組，以產生第一血液面積資料、第二血液面積資料以及第三血液面積資料。然應了解，在方法600的實施方式中，計算機裝置並非僅可藉由深度學習模組以產生血液邊界資料或血液面積資料。在不同具體實施例中，計算機裝置亦可採用其它方式以產生血液邊界資料或血液面積資料。
在一具體實施例中，該複數組手術影像資料可包含第四影像資料，第四影像資料關聯於第四時間區段，且第一時間區段接續於第四時間區段之後。方法600可進一步包含：使用計算機裝置以基於第四影像資料不包含一血液影像資料，且第一影像資料包含一第一血液影像資料，而產生出血點資料。在一具體實施例中，出血點資料指示出第一血液影像資料在第一影像資料 上的所在位置。在一具體實施例中，第一血液影像資料位於第一影像資料中的一特定組織影像資料上，出血點資料指示出第一血液影像資料與該特定組織影像資料彼此間的相對位置。其中，出血點資料即係藉由此種方式以指示出第一血液影像資料在第一影像資料上的所在位置。
在一具體實施例中，方法600可進一步包含：使用計算機裝置以基於第一時間區段、第二時間區段、第三時間區段其中至少二者，產生出血時間資料；以及使用計算機裝置以基於出血時間資料，產生出血速度資料。在一具體實施例中，第一當前血液資料、第二當前血液資料以及第三當前血液資料其中至少一者包含組織類別資料，組織類別資料關聯於組織參數資料。方法600可進一步包含：使用計算機裝置以基於第一時間區段、第二時間區段、第三時間區段其中至少二者，產生出血時間資料；使用計算機裝置以基於出血時間資料，產生初始出血速度資料；以及使用計算機裝置以基於初始出血速度資料以及組織參數資料，產生出血速度資料。
在一具體實施例中，該複數組手術影像資料包含第一可見光特徵之影像資料、第二可見光特徵之影像資料、第一紅外光特徵之影像資料以及第二紅外光特徵之影像資料。第一可見光特徵之影像資料以及第一紅外光特徵之影像資料關聯於第一時間區段；第二可見光特徵之影像資料以及第二紅外光特徵之影像資料關聯於第二時間區段，第二時間區段晚於該第一時間區段。方法600可進一步包含：使用計算機裝置以基於第一可見光特徵之影像資料、第二可見光特徵之影像資料、第一紅外光特徵之影像資料以及第二紅外光特徵之影像資料，產生血液流動路徑資料。
在一具體實施例中，方法600可進一步包含：使用計算機裝置以基於第一可見光特徵之影像資料以及第二可見光特徵之影像資料，產生第光流資料；使用計算機裝置以基於第一紅外光特徵之影像資料以及第二紅外光特 徵之影像資料，產生第二光流資料；以及使用計算機裝置以基於第一光流資料以及第二光流資料，產生血液流動路徑資料。
在一具體實施例中，第一可見光特徵之影像資料包含第一血液邊界資料以及第一組織邊界資料，第二可見光特徵之影像資料包含第二血液邊界資料以及第二組織邊界資料，第一紅外光特徵之影像資料包含第三組織邊界資料，第二紅外光特徵之影像資料包含第四組織邊界資料。方法600可進一步包含：使用計算機裝置以基於第一血液邊界資料、第一組織邊界資料、第二血液邊界資料以及第二組織邊界資料，以產生該第一光流資料；以及使用計算機裝置以基於第三組織邊界資料以及第四組織邊界資料，以產生第二光流資料。
在一具體實施例中，計算機裝置係將第一光流資料減去第二光流資料，以產生血液流動路徑資料。在一具體實施例中，方法600可進一步包含：使用計算機裝置將第一光流資料減去第二光流資料，以產生第三光流資料，其中，第三光流資料包含光流誤差資料；以及使用計算機裝置將第三光流資料中的光流誤差資料刪除，以產生血液流動路徑資料。在一具體實施例中，方法600可進一步包含：使用計算機裝置以使第二紅外光特徵之影像資料包含血液流動路徑資料，並使用顯示裝置以顯示第二紅外光特徵之影像資料。
在一具體實施例中，該複數組手術影像資料包含第三紅外光特徵之影像資料，第三紅外光特徵之影像資料關聯於第三時間區段，第三時間區段晚於第二時間區段。方法600可進一步包含：使用計算機裝置以基於第一可見光特徵之影像資料及/或第二可見光特徵之影像資料及/或第一紅外光特徵之影像資料及/或第二紅外光特徵之影像資料，產生第一組織特徵資料；使用計算機裝置以基於第三紅外光特徵之影像資料，產生第二組織特徵資料；以及使用計算機裝置以基於第一組織特徵資料符合第二組織特徵資料，而使第三紅外光特徵之影像資料包含血液流動路徑資料，並使用顯示裝置顯示第三紅外 光特徵之影像資料。在一具體實施例中，第一組織特徵資料以及第二組織特徵資料皆關聯於一第一組織，且第一組織特徵資料以及第二組織特徵資料皆指示出第一組織的組織位置、第一組織的組織輪廓以及第一組織的組織結構其中至少一者。
在一具體實施例中，第一可見光特徵之影像資料及/或第二可見光特徵之影像資料包含一第一組織影像資料，第一組織影像資料關聯於一第二組織。第三紅外光特徵之影像資料包含一第二組織影像資料，第二組織影像資料亦關聯於第二組織。方法600可進一步包含：使用計算機裝置以基於第一組織影像資料，產生一第一組織顏色資料，第一組織顏色資料指示出第一組織影像資料的組織顏色(可稱為第一組織顏色)；以及使用計算機裝置以基於第一組織影像資料符合第二組織影像資料，而使第三紅外光特徵之影像資料包含一第二組織顏色資料，第二組織顏色資料指示出第二組織影像資料的組織顏色(可稱為第二組織顏色)，且第二組織顏色符合第一組織顏色。
在一具體實施例中，該複數組手術影像資料包含第一可見光特徵之影像資料、第二可見光特徵之影像資料以及第二紅外光特徵之影像資料。第一可見光特徵之影像資料關聯於第一時間區段，第二可見光特徵之影像資料以及第二紅外光特徵之影像資料關聯於第二時間區段，第二時間區段接續於第一時間區段之後。方法600可進一步包含：使用計算機裝置以基於第一可見光特徵之影像資料以及第二可見光特徵之影像資料，產生出血點位置資料；以及使用計算機裝置以使第二紅外光特徵之影像資料包含出血點位置資料，並使用顯示裝置顯示第二紅外光特徵之影像資料。在一具體實施例中，方法600可進一步包含：使用計算機裝置以基於第一可見光特徵之影像資料不包含一血液影像資料，且第二可見光特徵之影像資料包含第一血液影像資料，而產生出血點位置資料。
在一具體實施例中，該複數組手術影像資料包含第三紅外光特徵之影像資料，第三紅外光特徵之影像資料關聯於第三時間區段，且第三時間區段晚於該第二時間區段。方法600可進一步包含：使用計算機裝置以基於第二可見光特徵之影像資料，產生第三組織特徵資料；使用計算機裝置以基於第三紅外光特徵之影像資料，產生第四組織特徵資料；以及使用計算機裝置以基於第三組織特徵資料符合第四組織特徵資料，而使第三紅外光特徵之影像資料包含出血點位置資料，並使用顯示裝置顯示第三紅外光特徵之影像資料。
在一具體實施例中，第一可見光特徵之影像資料及/或第二可見光特徵之影像資料包含一第三組織影像資料，第三組織影像資料關聯於一第三組織。第三紅外光特徵之影像資料包含一第四組織影像資料，第四組織影像資料亦關聯於第三組織。方法600可進一步包含：使用計算機裝置以基於第三組織影像資料，產生第三組織顏色資料，第三組織顏色資料指示出第三組織影像資料的組織顏色(可稱為第三組織顏色)；以及使用計算機裝置以基於第三組織影像資料符合第四組織影像資料，而使第三紅外光特徵之影像資料包含第四組織顏色資料，第四組織顏色資料指示出第四組織影像資料的組織顏色(可稱為第四組織顏色)，且第四組織顏色符合第三組織顏色。
在一具體實施例中，複數組手術影像資料包含第一可見光特徵之影像資料、第二可見光特徵之影像資料以及第二紅外光特徵之影像資料。第一可見光特徵之影像資料關聯於第一時間區段，第二可見光特徵之影像資料以及第二紅外光特徵之影像資料關聯於第二時間區段，第二時間區段晚於第一時間區段。第一可見光特徵之影像資料及/或第二可見光特徵之影像資料包含第五組織影像資料，第二紅外光特徵之影像資料包含第六組織影像資料，第五組織影像資料以及第六組織影像資料關聯於一第四組織。方法600可進一步包含：使用計算機裝置以基於第五組織影像資料，產生第五組織特徵資 料，其中第五組織特徵資料指示出第五組織影像資料的組織顏色(可稱為第五組織顏色)；以及使用計算機裝置以基於第五組織影像資料符合第六組織影像資料，而產生第三紅外光特徵之影像資料，第三紅外光特徵之影像資料包含第七組織影像資料以及第七組織特徵資料。其中，第七組織影像資料關聯於第四組織，且第七組織影像資料符合第六組織影像資料。此外，第七組織特徵資料指示出第七組織影像資料的組織顏色(可稱為第七組織顏色)，且第七組織顏色符合第五組織顏色。
在一具體實施例中，第二可見光特徵之影像資料的影像視野(可稱為第一影像視野)與第二紅外光特徵之影像資料的影像視野(可稱為第二影像視野)實質相同。在一具體實施例中，第三紅外光特徵之影像資料關聯於第二時間區段。在一具體實施例中，計算機裝置具有深度學習模組，計算機裝置係藉由深度學習模組，以基於第五組織影像資料，產生第五組織特徵資料。
在一具體實施例中，第五組織特徵資料指示出第五組織影像資料的組織輪廓(可稱為第一組織輪廓)或一組織結構(可稱為第一組織結構)。方法600可進一步包含：使用計算機裝置以基於第六組織影像資料，產生第六組織特徵資料，其中第六組織特徵資料指示出第六組織影像資料的組織輪廓(可稱為第二組織輪廓)或一組織結構(可稱為第二組織結構)；以及使用計算機裝置以基於第一組織輪廓符合第二組織輪廓，或基於第一組織結構符合第二組織結構，而使第七組織顏色符合第五組織顏色。
應了解，在不同具體實施例中，本發明之用於產生一組合式即時手術影像的系統及其方法可視需求而選擇性地基於可見光特徵之影像資料及/或紅外光特徵之影像資料，產生出血量資料、出血速度資料、出血點位置資料、以及血液流動路徑資料其中一者，或者可視需求而選擇性地基於 可見光特徵之影像資料及/或紅外光特徵之影像資料，產生包含組織顏色資料的紅外光特徵之影像資料。應了解，本發明之用於產生一組合式即時手術影像的系統及其方法並未限制紅外光特徵之影像資料以及可見光特徵之影像資料的顯示方式。在不同具體實施例中，使用者可視需求而選擇性地同時顯示紅外光特徵之影像資料以及可見光特徵之影像資料，或者，使用者亦可視需求而選擇性地顯示紅外光特徵之影像資料以及可見光特徵之影像資料其中一者。
在一具體實施例中，當出血情況較不嚴重(例如影像視野並未完全被血液所覆蓋)時，使用者可將可見光特徵之影像資料作為主要的顯示影像，並可選擇性地將紅外光特徵之影像資料作為輔助性的顯示影像(例如使用者可視需求而暫時切換至紅外光特徵之影像資料，或者可在顯示可見光特徵之影像資料的同時，一併顯示紅外光特徵之影像資料，但不限於此)。此時，計算機裝置仍可選擇性地基於可見光特徵之影像資料及/或紅外光特徵之影像資料，以產生出血量資料及/或出血速度資料及/或出血點位置資料及/或以及血液流動路徑資料，或者可選擇性地基於可見光特徵之影像資料及/或紅外光特徵之影像資料，以產生包含組織顏色資料的紅外光特徵之影像資料。計算機裝置並可視需求將出血量資料及/或出血速度資料及/或出血點位置資料及/或以及血液流動路徑資料顯示於(例如標示於)可見光特徵之影像資料及/或紅外光特徵之影像資料上。
在一具體實施例中，當出血情況較嚴重(例如影像視野已大部分被血液所覆蓋，或者已完全被血液所覆蓋)時，使用者可將紅外光特徵之影像資料作為主要的顯示影像，並可選擇性地將可見光特徵之影像資料作為輔助性的顯示影像(例如使用者可視需求而暫時切換至可見光特徵之影像資料，或者可在顯示紅外光特徵之影像資料的同時，一併顯示可見 光特徵之影像資料，但不限於此)。此時，計算機裝置仍可選擇性地基於可見光特徵之影像資料及/或紅外光特徵之影像資料，以產生出血量資料及/或出血速度資料及/或出血點位置資料及/或以及血液流動路徑資料，或者可選擇性地基於可見光特徵之影像資料及/或紅外光特徵之影像資料，以產生包含組織顏色資料的紅外光特徵之影像資料。計算機裝置並可視需求將出血量資料及/或出血速度資料及/或出血點位置資料及/或以及血液流動路徑資料顯示於(例如標示於)可見光特徵之影像資料及/或紅外光特徵之影像資料上。較佳地，顯示裝置所顯示的紅外光特徵之影像資料，為包含組織顏色資料的紅外光特徵之影像資料。
至此，本發明之用於產生一組合式即時手術影像的系統及其方法已經由上述說明及圖式加以說明。然應了解，前述列舉之各實施方式(或技術內容/技術特徵)並非僅可單獨使用或應用，所屬領域中具有通常知識者亦可視需求而將前述各實施方式(或技術內容/技術特徵)中任兩者以上加以組合或部分組合於同一個實施例中。此外，本發明的各個具體實施例僅是做為說明之用，在不脫離本發明申請專利範圍與精神下可進行各種改變，且均應包含於本發明之專利範圍中。因此，本說明書所描述的各具體實施例並非用以限制本發明，本發明之真實範圍與精神揭示於以下申請專利範圍。
100:系統
110:計算機裝置
120:儲存裝置
910:內視鏡裝置

Claims (68)

  1. 一種用於產生一組合式即時手術影像的方法，其包含：使用不同區段的照射光波長，以產生一生物體的複數組具不同光學特徵的手術影像資料；使用一計算機裝置以接收並處理該複數組手術影像資料；以及由該計算機裝置基於該不同特徵的手術影像資料，以產生該組合式即時手術影像。
  2. 如請求項1之方法，其中該不同光學特徵包含一可見光特徵之影像資料、一紅外光特徵之影像資料、或一熱特徵之影像。
  3. 如請求項1之方法，其中該複數組不同特徵的手術影像資料其中至少一者包含一器官影像資料及一組織結構影像資料。
  4. 如請求項1之方法，其中該不同區段的照射光波長包含一第一照射光波長以及一第二照射光波長，該第一照射光波長介於380奈米(nanometer，nm)至730奈米，該第二照射光波長介於650奈米至1000奈米。
  5. 如請求項1之方法，其中該即時手術影像包含一出血量資料、一出血速度資料、一出血點位置資料、以及一血液流動路徑資料其中至少一者。
  6. 如請求項1之方法，其中該即時手術影像為包含一組織顏色資料的紅外光特徵之影像資料。
  7. 如請求項1之方法，其中該複數組手術影像資料包含一第一影像資料、一第二影像資料以及一第三影像資料，該第一影像資料 關聯於一第一時間區段，該第二影像資料關聯於一第二時間區段，該第三影像資料關聯於一第三時間區段；其中該第二時間區段晚於該第一時間區段，該第三時間區段晚於該第二時間區段；其中該方法進一步包含：使用該計算機裝置以基於該第一影像資料，產生一第一當前血液資料；使用該計算機裝置以基於該第二影像資料，產生一第二當前血液資料；使用該計算機裝置以基於該第三影像資料，產生一第三當前血液資料；以及使用該計算機裝置基於該第一當前血液資料或該第二當前血液資料或該第三當前血液資料，產生一出血量資料或一出血速度資料。
  8. 如請求項7之方法，其中該第一影像資料、該第二影像資料以及該第三影像資料為可見光特徵之影像資料。
  9. 如請求項7之方法，其中該第一影像資料、該第二影像資料以及該第三影像資料為紅外光特徵之影像資料。
  10. 如請求項7之方法，其中該第一當前血液資料包含一第一血液面積資料，該第二當前血液資料包含一第二血液面積資料，該第三當前血液資料包含一第三血液面積資料。
  11. 如請求項10之方法，進一步包含： 使用該計算機裝置以分別基於該第一影像資料、該第二影像資料以及該第三影像資料，產生一第一血液邊界資料、一第二血液邊界資料以及一第三血液邊界資料；以及使用該計算機裝置以分別基於該第一血液邊界資料、該第二血液邊界資料以及該第三血液邊界資料，產生該第一血液面積資料、該第二血液面積資料以及該第三血液面積資料。
  12. 如請求項11之方法，其中該計算機裝置具有一深度學習模組，該計算機裝置係藉由該深度學習模組，以產生該第一血液邊界資料至該第三血液邊界資料或該第一血液面積資料至該第三血液面積資料。
  13. 如請求項7之方法，其中該複數組手術影像資料包含一第四影像資料，該第四影像資料關聯於一第四時間區段，該第一時間區段接續於該第四時間區段之後；其中該方法進一步包含：使用該計算機裝置以基於該第四影像資料不包含一血液影像資料，且該第一影像資料包含一第一血液影像資料，而產生一出血點資料。
  14. 如請求項13之方法，其中該出血點資料指示出該第一血液影像資料在該第一影像資料上的所在位置。
  15. 如請求項7之方法，進一步包含：使用該計算機裝置以基於該第一時間區段、該第二時間區段、該第三時間區段其中至少二者，產生一出血時間資料；以及使用該計算機裝置以基於該出血時間資料，產生該出血速度資料。
  16. 如請求項7之方法，其中該第一當前血液資料、該第二當前血液資料以及該第三當前血液資料其中至少一者包含一組織類別資料，該組織類別資料關聯於一組織參數資料；其中該方法進一步包含：使用該計算機裝置以基於該第一時間區段、該第二時間區段、該第三時間區段其中至少二者，產生一出血時間資料；使用該計算機裝置以基於該出血時間資料，產生一初始出血速度資料；以及使用該計算機裝置以基於該初始出血速度資料以及該組織參數資料，產生該出血速度資料。
  17. 如請求項1之方法，其中該複數組手術影像資料包含一第一可見光特徵之影像資料、一第二可見光特徵之影像資料、一第一紅外光特徵之影像資料以及一第二紅外光特徵之影像資料，該第一可見光特徵之影像資料以及該第一紅外光特徵之影像資料關聯於一第一時間區段，該第二可見光特徵之影像資料以及該第二紅外光特徵之影像資料關聯於一第二時間區段；其中該第二時間區段晚於該第一時間區段；其中該方法進一步包含：使用該計算機裝置以基於該第一可見光特徵之影像資料、該第二可見光特徵之影像資料、該第一紅外光特徵之影像資料以及該第二紅外光特徵之影像資料，產生一血液流動路徑資料。
  18. 如請求項17之方法，進一步包含：使用該計算機裝置以基於該第一可見光特徵之影像資料、該第二可見光特徵之影像資料，產生一第一光流資料； 使用該計算機裝置以基於該第一紅外光特徵之影像資料、該第二紅外光特徵之影像資料，產生一第二光流資料；以及使用該計算機裝置以基於該第一光流資料以及該第二光流資料，產生該血液流動路徑資料。
  19. 如請求項18之方法，其中該第一可見光特徵之影像資料包含一第一血液邊界資料以及一第一組織邊界資料，該第二可見光特徵之影像資料包含一第二血液邊界資料以及一第二組織邊界資料，該第一紅外光特徵之影像資料包含一第三組織邊界資料，該第二紅外光特徵之影像資料包含一第四組織邊界資料；其中該方法進一步包含：使用該計算機裝置以基於該第一血液邊界資料、該第一組織邊界資料、該第二血液邊界資料以及該第二組織邊界資料，以產生該第一光流資料；以及使用該計算機裝置以基於該第三組織邊界資料以及該第四組織邊界資料，以產生該第二光流資料。
  20. 如請求項18之方法，其中該計算機裝置係將該第一光流資料減去該第二光流資料，以產生該血液流動路徑資料。
  21. 如請求項18之方法，進一步包含：使用該計算機裝置將該第一光流資料減去該第二光流資料，以產生一第三光流資料，該第三光流資料包含一光流誤差資料；以及使用該計算機裝置將該第三光流資料中的該光流誤差資料刪除，以產生該血液流動路徑資料。
  22. 如請求項17之方法，進一步包含：使用該計算機裝置以使該第二紅外光特徵之影像資料包含該血液流動路徑資料，並使用一顯示裝置以顯示該第二紅外光特徵之影像資料。
  23. 如請求項17之方法，其中該複數組手術影像資料包含一第三紅外光特徵之影像資料，該第三紅外光特徵之影像資料關聯於一第三時間區段，該第三時間區段晚於該第二時間區段；其中該方法進一步包含：使用該計算機裝置以基於該第一可見光特徵之影像資料或該第二可見光特徵之影像資料或該第一紅外光特徵之影像資料或該第二紅外光特徵之影像資料，產生一第一組織特徵資料；使用該計算機裝置以基於該第三紅外光特徵之影像資料，產生一第二組織特徵資料；以及使用該計算機裝置以基於該第一組織特徵資料符合該第二組織特徵資料，而使該第三紅外光特徵之影像資料包含該血液流動路徑資料，並使用一顯示裝置顯示該第三紅外光特徵之影像資料。
  24. 如請求項23之方法，其中該第一組織特徵資料以及該第二組織特徵資料皆關聯於一第一組織，且該第一組織特徵資料以及該第二組織特徵資料皆指示出該第一組織的一組織位置、該第一組織的一組織輪廓以及該第一組織的一組織結構其中至少一者。
  25. 如請求項23之方法，其中該第一可見光特徵之影像資料或該第二可見光特徵之影像資料包含一第一組織影像資料，該第一組織影像資料關聯於一第二組織； 其中該第三紅外光特徵之影像資料包含一第二組織影像資料，該第二組織影像資料關聯於該第二組織；其中該方法進一步包含：使用該計算機裝置以基於該第一組織影像資料，產生一第一組織顏色資料，該第一組織顏色資料指示出該第一組織影像資料的一第一組織顏色；以及使用該計算機裝置以基於該第一組織影像資料符合該第二組織影像資料，而使該第三紅外光特徵之影像資料包含一第二組織顏色資料，該第二組織顏色資料指示出該第二組織影像資料的一第二組織顏色，且該第二組織顏色符合該第一組織顏色。
  26. 如請求項1之方法，其中該複數組手術影像資料包含一第一可見光特徵之影像資料、一第二可見光特徵之影像資料以及一第二紅外光特徵之影像資料，該第一可見光特徵之影像資料關聯於一第一時間區段，該第二可見光特徵之影像資料以及該第二紅外光特徵之影像資料關聯於一第二時間區段；其中該第二時間區段接續於該第一時間區段之後；其中該方法進一步包含：使用該計算機裝置以基於該第一可見光特徵之影像資料以及該第二可見光特徵之影像資料，產生一出血點位置資料；以及使用該計算機裝置以使該第二紅外光特徵之影像資料包含該出血點位置資料，並使用一顯示裝置顯示該第二紅外光特徵之影像資料。
  27. 如請求項26之方法，進一步包含：使用該計算機裝置以基於該第一可見光特徵之影像資料不包含一血液影像資料，且該第二可見光特徵之影像資料包含一第一血液影像資料，而產生該出血點位置資料。
  28. 如請求項26之方法，其中該複數組手術影像資料包含一第三紅外光特徵之影像資料，該第三紅外光特徵之影像資料關聯於一第三時間區段，該第三時間區段晚於該第二時間區段；其中該方法進一步包含：使用該計算機裝置以基於該第二可見光特徵之影像資料，產生一第三組織特徵資料；使用該計算機裝置以基於該第三紅外光特徵之影像資料，產生一第四組織特徵資料；以及使用該計算機裝置以基於該第三組織特徵資料符合該第四組織特徵資料，而使該第三紅外光特徵之影像資料包含該出血點位置資料，並使用一顯示裝置顯示該第三紅外光特徵之影像資料。
  29. 如請求項28之方法，其中該第一可見光特徵之影像資料或該第二可見光特徵之影像資料包含一第三組織影像資料，該第三組織影像資料關聯於一第三組織；其中該第三紅外光特徵之影像資料包含一第四組織影像資料，該第四組織影像資料關聯於該第三組織；其中該方法進一步包含： 使用該計算機裝置以基於該第三組織影像資料，產生一第三組織顏色資料，該第三組織顏色資料指示出該第三組織影像資料的一第三組織顏色；以及使用該計算機裝置以基於該第三組織影像資料符合該第四組織影像資料，而使該第三紅外光特徵之影像資料包含一第四組織顏色資料，該第四組織顏色資料指示出該第四組織影像資料的一第四組織顏色，且該第四組織顏色符合該第三組織顏色。
  30. 如請求項1之方法，其中該複數組手術影像資料包含一第一可見光特徵之影像資料、一第二可見光特徵之影像資料以及一第二紅外光特徵之影像資料，該第一可見光特徵之影像資料關聯於一第一時間區段，該第二可見光特徵之影像資料以及該第二紅外光特徵之影像資料關聯於一第二時間區段，該第二時間區段晚於該第一時間區段；其中該第一可見光特徵之影像資料或該第二可見光特徵之影像資料包含一第五組織影像資料，該第二紅外光特徵之影像資料包含一第六組織影像資料，該第五組織影像資料以及該第六組織影像資料關聯於一第四組織；其中該方法進一步包含：使用該計算機裝置以基於該第五組織影像資料，產生一第五組織特徵資料；其中該第五組織特徵資料指示出該第五組織影像資料的一第五組織顏色；以及使用該計算機裝置以基於第五組織影像資料符合該第六組織影像資料，而產生一第三紅外光特徵之影像資料，該第三 紅外光特徵之影像資料包含一第七組織影像資料以及一第七組織特徵資料；其中該第七組織影像資料關聯於該第四組織，且該第七組織影像資料符合該第六組織影像資料；其中該第七組織特徵資料指示出該第七組織影像資料的一第七組織顏色，該第七組織顏色符合該第五組織顏色。
  31. 如請求項30之方法，其中該第二可見光特徵之影像資料的一第一影像視野與該第二紅外光特徵之影像資料的一第二影像視野實質相同。
  32. 如請求項30之方法，其中該第三紅外光特徵之影像資料關聯於該第二時間區段。
  33. 如請求項30之方法，其中該計算機裝置具有一深度學習模組，該計算機裝置係藉由該深度學習模組，以基於該第五組織影像資料，產生該第五組織特徵資料。
  34. 如請求項30之方法，其中該第五組織特徵資料指示出該第五組織影像資料的一第一組織輪廓或一第一組織結構；其中該方法進一步包含：使用該計算機裝置以基於該第六組織影像資料，產生一第六組織特徵資料；其中該第六組織特徵資料指示出該第六組織影像資料的一第二組織輪廓或一第二組織結構；以及使用該計算機裝置以基於該第一組織輪廓符合該第二組織輪廓，或基於該第一組織結構符合該第二組織結構，而使該第七組織顏色符合該第五組織顏色。
  35. 一種用於產生一組合式即時手術影像的系統，其包含： 一計算機裝置，接收並處理複數組手術影像資料；其中該複數組手術影像資料係透過使用不同區段的照射光波長，而產生的一生物體的複數組具不同光學特徵的手術影像資料；其中該計算機裝置基於該不同特徵的手術影像資料，以產生該組合式即時手術影像。
  36. 如請求項35之系統，其中該不同光學特徵包含一可見光特徵之影像資料、或一紅外光特徵之影像資料、或一熱特徵之影像。
  37. 如請求項35之系統，其中該複數組不同特徵的手術影像資料其中至少一者包含一器官影像資料或一組織結構影像資料。
  38. 如請求項35之系統，其中該不同區段的照射光波長包含一第一照射光波長以及一第二照射光波長，該第一照射光波長介於380奈米(nanometer，nm)至730奈米，該第二照射光波長介於650奈米至1000奈米。
  39. 如請求項35之系統，其中該即時手術影像包含一出血量資料、一出血速度資料、一出血點位置資料、以及一血液流動路徑資料其中至少一者。
  40. 如請求項35之系統，其中該即時手術影像為包含一組織顏色資料的紅外光特徵之影像資料。
  41. 如請求項35之系統，其中該複數組手術影像資料包含一第一影像資料、一第二影像資料以及一第三影像資料，該第一影像資料關聯於一第一時間區段，該第二影像資料關聯於一第二時間區段，該第三影像資料關聯於一第三時間區段； 其中該第二時間區段晚於該第一時間區段，該第三時間區段晚於該第二時間區段；其中該計算機裝置基於該第一影像資料，產生一第一當前血液資料；其中該計算機裝置基於該第二影像資料，產生一第二當前血液資料；其中該計算機裝置基於該第三影像資料，產生一第三當前血液資料；其中該計算機裝置基於該第一當前血液資料或該第二當前血液資料或該第三當前血液資料，產生一出血量資料或一出血速度資料。
  42. 如請求項41之系統，其中該第一影像資料、該第二影像資料以及該第三影像資料為可見光特徵之影像資料。
  43. 如請求項41之系統，其中該第一影像資料、該第二影像資料以及該第三影像資料為紅外光特徵之影像資料。
  44. 如請求項41之系統，其中該第一當前血液資料包含一第一血液面積資料，該第二當前血液資料包含一第二血液面積資料，該第三當前血液資料包含一第三血液面積資料。
  45. 如請求項44之系統，其中該計算機裝置分別基於該第一影像資料、該第二影像資料以及該第三影像資料，產生一第一血液邊界資料、一第二血液邊界資料以及一第三血液邊界資料；其中該計算機裝置係分別基於該第一血液邊界資料、該第二血液邊界資料以及該第三血液邊界資料，產生該第一血液面積資料、該第二血液面積資料以及該第三血液面積資料。
  46. 如請求項45之系統，其中該計算機裝置具有一深度學習模組，該計算機裝置係藉由該深度學習模組，以產生該第一血液邊界資料至該第三血液邊界資料或該第一血液面積資料至該第三血液面積資料。
  47. 如請求項41之系統，其中該複數組手術影像資料包含一第四影像資料，該第四影像資料關聯於一第四時間區段，該第一時間區段接續於該第四時間區段之後；其中該計算機裝置基於該第四影像資料不包含一血液影像資料，且該第一影像資料包含一第一血液影像資料，而產生一出血點資料。
  48. 如請求項47之系統，其中該出血點資料指示出該第一血液影像資料在該第一影像資料上的所在位置。
  49. 如請求項41之系統，其中該計算機裝置基於該第一時間區段、該第二時間區段、該第三時間區段其中至少二者，產生一出血時間資料；其中該計算機裝置基於該出血時間資料，產生該出血速度資料。
  50. 如請求項41之系統，其中該第一當前血液資料、該第二當前血液資料以及該第三當前血液資料其中至少一者包含一組織類別資料，該組織類別資料關聯於一組織參數資料；其中該計算機裝置基於該第一時間區段、該第二時間區段、該第三時間區段其中至少二者，產生一出血時間資料；其中該計算機裝置基於該出血時間資料，產生一初始出血速度資料； 其中該計算機裝置基於該初始出血速度資料以及該組織參數資料，產生該出血速度資料。
  51. 如請求項35之系統，其中該複數組手術影像資料包含一第一可見光特徵之影像資料、一第二可見光特徵之影像資料、一第一紅外光特徵之影像資料以及一第二紅外光特徵之影像資料，該第一可見光特徵之影像資料以及該第一紅外光特徵之影像資料關聯於一第一時間區段，該第二可見光特徵之影像資料以及該第二紅外光特徵之影像資料關聯於一第二時間區段；其中該第二時間區段晚於該第一時間區段；其中該計算機裝置基於該第一可見光特徵之影像資料、該第二可見光特徵之影像資料、該第一紅外光特徵之影像資料以及該第二紅外光特徵之影像資料，產生一血液流動路徑資料。
  52. 如請求項51之系統，其中該計算機裝置基於該第一可見光特徵之影像資料、該第二可見光特徵之影像資料，產生一第一光流資料；其中該計算機裝置基於該第一紅外光特徵之影像資料、該第二紅外光特徵之影像資料，產生一第二光流資料；其中該計算機裝置基於該第一光流資料以及該第二光流資料，產生該血液流動路徑資料。
  53. 如請求項52之系統，其中該第一可見光特徵之影像資料包含一第一血液邊界資料以及一第一組織邊界資料，該第二可見光特徵之影像資料包含一第二血液邊界資料以及一第二組織邊界資料，該第一紅外光特徵之影像資料包含一第三組織邊界資料，該第二紅外光特徵之影像資料包含一第四組織邊界資料； 其中該計算機裝置基於該第一血液邊界資料、該第一組織邊界資料、該第二血液邊界資料以及該第二組織邊界資料，以產生該第一光流資料；其中該計算機裝置基於該第三組織邊界資料以及該第四組織邊界資料，以產生該第二光流資料。
  54. 如請求項52之系統，其中該計算機裝置係將該第一光流資料減去該第二光流資料，以產生該血液流動路徑資料。
  55. 如請求項52之系統，其中該計算機裝置將該第一光流資料減去該第二光流資料，以產生一第三光流資料，該第三光流資料包含一光流誤差資料；其中該計算機裝置將該第三光流資料中的該光流誤差資料刪除，以產生該血液流動路徑資料。
  56. 如請求項51之系統，其中該計算機裝置使該第二紅外光特徵之影像資料包含該血液流動路徑資料；其中該計算機裝置使用一顯示裝置以顯示該第二紅外光特徵之影像資料。
  57. 如請求項51之系統，其中該複數組手術影像資料包含一第三紅外光特徵之影像資料，該第三紅外光特徵之影像資料關聯於一第三時間區段，該第三時間區段晚於該第二時間區段；其中該計算機裝置基於該第一可見光特徵之影像資料或該第二可見光特徵之影像資料或該第一紅外光特徵之影像資料或該第二紅外光特徵之影像資料，產生一第一組織特徵資料；其中該計算機裝置基於該第三紅外光特徵之影像資料，產生一第二組織特徵資料； 其中該計算機裝置基於該第一組織特徵資料符合該第二組織特徵資料，而使該第三紅外光特徵之影像資料包含該血液流動路徑資料；其中該計算機裝置使用一顯示裝置顯示該第三紅外光特徵之影像資料。
  58. 如請求項57之系統，其中該第一組織特徵資料以及該第二組織特徵資料皆關聯於一第一組織，且該第一組織特徵資料以及該第二組織特徵資料皆指示出該第一組織的一組織位置、該第一組織的一組織輪廓以及該第一組織的一組織結構其中至少一者。
  59. 如請求項57之系統，其中該第一可見光特徵之影像資料或該第二可見光特徵之影像資料包含一第一組織影像資料，該第一組織影像資料關聯於一第二組織；其中該第三紅外光特徵之影像資料包含一第二組織影像資料，該第二組織影像資料關聯於該第二組織；其中該計算機裝置基於該第一組織影像資料，產生一第一組織顏色資料，該第一組織顏色資料指示出該第一組織影像資料的一第一組織顏色；其中該計算機裝置基於該第一組織影像資料符合該第二組織影像資料，而使該第三紅外光特徵之影像資料包含一第二組織顏色資料，該第二組織顏色資料指示出該第二組織影像資料的一第二組織顏色，且該第二組織顏色符合該第一組織顏色。
  60. 如請求項35之系統，其中該複數組手術影像資料包含一第一可見光特徵之影像資料、一第二可見光特徵之影像資料以及一第二紅外光特徵之影像資料，該第一可見光特徵之影像資料關聯於 一第一時間區段，該第二可見光特徵之影像資料以及該第二紅外光特徵之影像資料關聯於一第二時間區段；其中該第二時間區段接續於該第一時間區段之後；其中該計算機裝置基於該第一可見光特徵之影像資料以及該第二可見光特徵之影像資料，產生一出血點位置資料；其中該計算機裝置使該第二紅外光特徵之影像資料包含該出血點位置資料；其中該計算機裝置使用一顯示裝置顯示該第二紅外光特徵之影像資料。
  61. 如請求項60之系統，其中該計算機裝置基於該第一可見光特徵之影像資料不包含一血液影像資料，且該第二可見光特徵之影像資料包含一第一血液影像資料，而產生該出血點位置資料。
  62. 如請求項60之系統，其中該複數組手術影像資料包含一第三紅外光特徵之影像資料，該第三紅外光特徵之影像資料關聯於一第三時間區段，該第三時間區段晚於該第二時間區段；其中該計算機裝置基於該第二可見光特徵之影像資料，產生一第三組織特徵資料；其中該計算機裝置基於該第三紅外光特徵之影像資料，產生一第四組織特徵資料；其中該計算機裝置基於該第三組織特徵資料符合該第四組織特徵資料，而使該第三紅外光特徵之影像資料包含該出血點位置資料；其中該計算機裝置使用一顯示裝置顯示該第三紅外光特徵之影像資料。
  63. 如請求項62之系統，其中該第一可見光特徵之影像資料或該第二可見光特徵之影像資料包含一第三組織影像資料，該第三組織影像資料關聯於一第三組織；其中該第三紅外光特徵之影像資料包含一第四組織影像資料，該第四組織影像資料關聯於該第三組織；其中該計算機裝置基於該第三組織影像資料，產生一第三組織顏色資料，該第三組織顏色資料指示出該第三組織影像資料的一第三組織顏色；其中該計算機裝置基於該第三組織影像資料符合該第四組織影像資料，而使該第三紅外光特徵之影像資料包含一第四組織顏色資料，該第四組織顏色資料指示出該第四組織影像資料的一第四組織顏色，且該第四組織顏色符合該第三組織顏色。
  64. 如請求項35之系統，其中該複數組手術影像資料包含一第一可見光特徵之影像資料、一第二可見光特徵之影像資料以及一第二紅外光特徵之影像資料，該第一可見光特徵之影像資料關聯於一第一時間區段，該第二可見光特徵之影像資料以及該第二紅外光特徵之影像資料關聯於一第二時間區段，該第二時間區段晚於該第一時間區段；其中該第一可見光特徵之影像資料或該第二可見光特徵之影像資料包含一第五組織影像資料，該第二紅外光特徵之影像資料包含一第六組織影像資料，該第五組織影像資料以及該第六組織影像資料關聯於一第四組織；其中該計算機裝置基於該第五組織影像資料，產生一第五組織特徵資料； 其中該第五組織特徵資料指示出該第五組織影像資料的一第五組織顏色；其中該計算機裝置基於第五組織影像資料符合該第六組織影像資料，而產生一第三紅外光特徵之影像資料，該第三紅外光特徵之影像資料包含一第七組織影像資料以及一第七組織特徵資料；其中該第七組織影像資料關聯於該第四組織，且該第七組織影像資料符合該第六組織影像資料；其中該第七組織特徵資料指示出該第七組織影像資料的一第七組織顏色，該第七組織顏色符合該第五組織顏色。
  65. 如請求項64之系統，其中該第二可見光特徵之影像資料的一第一影像視野與該第二紅外光特徵之影像資料的一第二影像視野實質相同。
  66. 如請求項64之系統，其中該第三紅外光特徵之影像資料關聯於該第二時間區段。
  67. 如請求項64之系統，其中該計算機裝置具有一深度學習模組，該計算機裝置係藉由該深度學習模組，以基於該第五組織影像資料，產生該第五組織特徵資料。
  68. 如請求項64之系統，其中該第五組織特徵資料指示出該第五組織影像資料的一第一組織輪廓或一第一組織結構；其中該計算機裝置基於該第六組織影像資料，產生一第六組織特徵資料；其中該第六組織特徵資料指示出該第六組織影像資料的一第二組織輪廓或一第二組織結構； 其中該計算機裝置基於該第一組織輪廓符合該第二組織輪廓，或基於該第一組織結構符合該第二組織結構，而使該第七組織顏色符合該第五組織顏色。
TW112112924A 2022-10-12 2023-04-06 用於產生一組合式即時手術影像的系統及其方法 TWI857546B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263415598P 2022-10-12 2022-10-12
US63/415,598 2022-10-12

Publications (2)

Publication Number Publication Date
TW202415341A TW202415341A (zh) 2024-04-16
TWI857546B true TWI857546B (zh) 2024-10-01

Family

ID=90670375

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112112924A TWI857546B (zh) 2022-10-12 2023-04-06 用於產生一組合式即時手術影像的系統及其方法

Country Status (3)

Country Link
US (1) US20260038671A1 (zh)
TW (1) TWI857546B (zh)
WO (1) WO2024079523A2 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN119251256B (zh) * 2024-12-05 2025-02-07 成都与睿创新科技有限公司 一种微创手术的出血点定位追踪方法、系统、设备及介质
CN119672717B (zh) * 2025-02-21 2025-05-13 安徽大学 一种基于目标检测的构件预埋件的图像识别与定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060052661A1 (en) * 2003-01-23 2006-03-09 Ramot At Tel Aviv University Ltd. Minimally invasive control surgical system with feedback
US20170209031A1 (en) * 2014-11-12 2017-07-27 Sony Corporation Image processing apparatus, image processing method, and program
US20210381893A1 (en) * 2018-08-01 2021-12-09 Qcell Pc Hybrid spectral imaging devices, systems and methods
CN113925441A (zh) * 2021-12-17 2022-01-14 极限人工智能有限公司 一种基于内窥镜的成像方法及成像系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019164277A1 (ko) * 2018-02-20 2019-08-29 (주)휴톰 수술영상을 이용한 출혈 평가 방법 및 장치
WO2020163970A1 (en) * 2019-02-15 2020-08-20 Surgical Safety Technologies Inc. System and method for adverse event detection or severity estimation from surgical data
US11625834B2 (en) * 2019-11-08 2023-04-11 Sony Group Corporation Surgical scene assessment based on computer vision
WO2021166208A1 (ja) * 2020-02-21 2021-08-26 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法
CN112614145B (zh) * 2020-12-31 2022-04-12 湘潭大学 一种基于深度学习的颅内出血ct图像分割方法
CN114092446B (zh) * 2021-11-23 2024-07-16 中国人民解放军总医院 基于自监督学习与M-Net的颅内出血参数获取方法及装置
CN114549517B (zh) * 2022-03-03 2025-07-01 北京大学人民医院 一种基于计算机视觉的术中出血识别与计量方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060052661A1 (en) * 2003-01-23 2006-03-09 Ramot At Tel Aviv University Ltd. Minimally invasive control surgical system with feedback
US20170209031A1 (en) * 2014-11-12 2017-07-27 Sony Corporation Image processing apparatus, image processing method, and program
US20210381893A1 (en) * 2018-08-01 2021-12-09 Qcell Pc Hybrid spectral imaging devices, systems and methods
CN113925441A (zh) * 2021-12-17 2022-01-14 极限人工智能有限公司 一种基于内窥镜的成像方法及成像系统

Also Published As

Publication number Publication date
WO2024079523A2 (en) 2024-04-18
WO2024079523A3 (en) 2024-08-22
TW202415341A (zh) 2024-04-16
US20260038671A1 (en) 2026-02-05

Similar Documents

Publication Publication Date Title
US20250352294A1 (en) Imaging and display system for guiding medical interventions
US11666238B2 (en) System and method for rapid examination of vasculature and particulate flow using laser speckle contrast imaging
TWI857546B (zh) 用於產生一組合式即時手術影像的系統及其方法
CN104939925A (zh) 基于三角测量的深处和表面可视化
WO2000052643A1 (fr) Dispositif d'observation endoscopique
TW201116257A (en) System and method for analysis of facial defects and computer program product
JP2016116774A (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
WO2014050019A1 (ja) 仮想内視鏡画像生成装置および方法並びにプログラム
WO2019218788A1 (zh) 一种激光治疗成像装置
CN114300095A (zh) 图像处理设备、图像处理方法、装置、设备及存储介质
Dai et al. A fast vein display device based on the camera-projector system
Birch et al. Trocar localisation for robot-assisted vitreoretinal surgery
WO2021149050A1 (en) Systems, devices, subsystems and methods for oral cavity inspection
US11670013B2 (en) Methods, systems, and computing platforms for photograph overlaying utilizing anatomic body mapping
Stoyanov et al. Intra-operative visualizations: Perceptual fidelity and human factors
US10049480B2 (en) Image alignment device, method, and program
US10631948B2 (en) Image alignment device, method, and program
CN115954096B (zh) 一种基于图像数据处理的腔镜vr成像系统
NL2034443B1 (en) Ultrasonic display system and method based on augmented reality
JP2001157667A (ja) 画像表示方法および画像表示装置
US20240242817A1 (en) Visualization device
Kim et al. Integrating FireFly fluorescence into image guidance for the da Vinci robot
CN118267097A (zh) 一种基于虚拟现实的手术实时辅助系统及方法
Sun et al. A novel image fusion approach for visual enhancement of facial vessels in surgical filler injections
CN119157450A (zh) 测距方法、装置、图像处理设备及内窥镜系统