WO2023098524A1 - 多模态医学数据融合的评估方法、装置、设备及存储介质 - Google Patents

多模态医学数据融合的评估方法、装置、设备及存储介质 Download PDF

Info

Publication number
WO2023098524A1
WO2023098524A1 PCT/CN2022/133614 CN2022133614W WO2023098524A1 WO 2023098524 A1 WO2023098524 A1 WO 2023098524A1 CN 2022133614 W CN2022133614 W CN 2022133614W WO 2023098524 A1 WO2023098524 A1 WO 2023098524A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
fusion
feature vector
matrix
medical data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2022/133614
Other languages
English (en)
French (fr)
Inventor
王玉峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Yujin Artificial Intelligence Medical Technology Co Ltd
Original Assignee
Tianjin Yujin Artificial Intelligence Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Yujin Artificial Intelligence Medical Technology Co Ltd filed Critical Tianjin Yujin Artificial Intelligence Medical Technology Co Ltd
Priority to EP22900329.8A priority Critical patent/EP4432219B1/en
Priority to JP2024532692A priority patent/JP7599060B2/ja
Publication of WO2023098524A1 publication Critical patent/WO2023098524A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Definitions

  • the present application relates to the field of medical technology, for example, to an evaluation method, device, equipment and storage medium for multimodal medical data fusion.
  • Rectal cancer is one of the main cancers that threaten the life and health of Chinese residents, and has caused a serious social burden.
  • the main treatment methods for rectal cancer include comprehensive treatment methods such as surgery, radiotherapy, chemotherapy, and targeted therapy.
  • comprehensive treatment methods such as surgery, radiotherapy, chemotherapy, and targeted therapy.
  • the damage caused by tumor or surgery in patients with low rectal cancer may lead to impaired anal function, anal loss, and colostomy, which seriously affect the survival and treatment of patients.
  • Many patients with locally advanced rectal cancer are not suitable for surgical treatment because one-stage surgery cannot achieve the goal of radical cure.
  • the standard treatment for locally advanced rectal cancer ( ⁇ cT 3 or N+) is neoadjuvant chemoradiotherapy combined with total mesorectal resection and adjuvant chemotherapy.
  • Neoadjuvant therapy can effectively achieve tumor downstaging, improve the rate of resection and sphincter preservation. Neoadjuvant therapy also provides better options for preserving organ function in patients with low rectal cancer.
  • neoadjuvant therapy for rectal cancer
  • most clinical guidelines and expert consensus suggest that multimodal data such as endoscopy, digital rectal examination, rectal MRI, serum tumor marker levels, and enhanced CT of the chest, abdomen, and pelvis should be used to comprehensively judge whether a patient has reached the clinical stage. remission or near clinical remission.
  • the evaluation of the effect of neoadjuvant therapy for rectal cancer relies on a multidisciplinary tumor diagnosis and treatment team with experienced experts from departments such as surgery, internal medicine, radiotherapy, imaging, digestive endoscopy, and pathology. Due to the lack of experts in certain professional directions, many medical institutions cannot carry out neoadjuvant treatment of rectal cancer well.
  • Embodiments of the present disclosure provide an evaluation method, device, equipment, and storage medium for multi-modal medical data fusion to solve the problem that it is difficult for clinicians to accurately evaluate the patient's condition in a manual way in related technologies, resulting in relatively low medical risk for patients. high technical problems.
  • an embodiment of the present disclosure provides an evaluation method for multimodal medical data fusion, including:
  • Feature extraction is performed on the medical data to be evaluated for each modality to obtain multiple feature vectors
  • the fusion feature vector is input into a pre-trained multimodal fusion evaluation model, so as to obtain the evaluation results of the multi-modal medical data to be evaluated outputted by the pre-trained multi-modal fusion evaluation model.
  • the fusion feature vector is input into a pre-trained multi-modal fusion evaluation model, so as to obtain the to-be-evaluated values of the various modes output by the pre-trained multi-modal fusion evaluation model Results of evaluation of medical data, including:
  • Each eigenvector in the fusion eigenvector is horizontally spliced to obtain the first matrix W(In) of the eigenvector, and the first function is used to encode the position of the first matrix W(In) of the eigenvector to obtain the second matrix of the eigenvector W(P), the formula used is as follows:
  • t represents a sub-vector in the first matrix W(In) of the eigenvector
  • p(t) represents the encoding result corresponding to the t value
  • pos represents the number of eigenvectors that the vector t belongs to
  • i represents the number of eigenvectors that the vector t belongs to
  • d represents the matrix horizontal direction dimension quantity of the first matrix W (In) of the feature vector
  • the second matrix W (P) of the eigenvector is input to the second function, and the high-dimensional feature representation matrix W (M) on the subspace is calculated, and the formula adopted is as follows:
  • W(M) Concat(F(1), F(2), . . . , F(i)) W 0 ;
  • the CONCAT function represents the second function
  • F(1), F(2)...F(i) represents the formula F calculation for the i-th eigensubvector in the second matrix W(P) of the eigenvector
  • W o represents the transposition of the first matrix W(In) of the eigenvector
  • the x in F(i) represents the i-th eigensubvector in the second matrix W(P) of the input eigenvector;
  • Q, K, and V represent the linear perception of the parameter n of the hidden layer of the multimodal fusion evaluation model layer;
  • Q(x) means linear regression on x;
  • the feature vector of each image is encoded by the encoder of the multi-modal fusion evaluation model, the output W (Out) of the encoder is input to the linear regression layer, and W (Out) is converted to a low-level linear regression layer through the linear regression layer. Dimensional feature representation matrix, and finally output the evaluation result through the operation of the softmax function.
  • obtaining the medical data to be evaluated in multiple modalities of the target object includes at least three of the following methods:
  • the rectal cancer image data set at least includes a macroscopic perspective image, a close perspective image and a microscopic perspective image determined according to the tumor area or the retreated tumor area;
  • the rectal cancer magnetic resonance imaging data set of the target object Acquiring the rectal cancer magnetic resonance imaging data set of the target object as the second modality data, wherein the rectal cancer magnetic resonance imaging data set includes initial rectal cancer magnetic resonance imaging data and target rectal cancer magnetic resonance imaging data;
  • the initial rectal cancer magnetic resonance imaging data and the target rectal cancer magnetic resonance imaging data are marked with the tumor region or the retracted tumor region, and several slice images containing the tumor region or the retracted tumor region are obtained;
  • the initial clinical data set and the target clinical data set of the target object Acquiring the initial clinical data set and the target clinical data set of the target object as the third modality data, wherein the initial clinical data set and the target clinical data set include at least the personal information and case information of the target object;
  • the initial tumor marker information, target tumor marker information, initial blood information, and target blood information of the target subject are acquired as fourth modality data.
  • feature extraction is performed on the medical data to be evaluated for each modality to obtain multiple feature vectors, including:
  • the high-dimensional feature map extracted by the last three-dimensional convolution kernel is converted into a one-dimensional feature vector through ⁇ upsampling modules and a fully connected layer of the neural network model, and the first feature vector and the second feature vector are respectively obtained.
  • feature extraction is performed on the medical data to be evaluated for each modality to obtain multiple feature vectors, including:
  • the numerical features are mapped into a two-dimensional matrix to obtain a third feature vector and a fourth feature vector respectively.
  • the training process of the neural network model includes:
  • the initial neural network model is trained successfully, and the pre-trained neural network model is obtained;
  • the initial feature vector does not meet the preset requirements, continue to train the initial neural network model by adjusting the loss parameters in the initial neural network model until the loss parameters fit and reach the preset loss parameters Threshold to obtain the pre-trained neural network model.
  • a cross-entropy loss function is used to carry out parameter backpropagation and update until the cross-entropy loss function is fitted.
  • an embodiment of the present disclosure provides an evaluation device for multimodal medical data fusion, including:
  • the medical data acquisition module is configured to acquire the medical data to be evaluated in multiple modalities of the target object
  • the feature vector extraction module is configured to perform feature extraction on the medical data to be evaluated for each modality to obtain multiple feature vectors
  • a feature vector fusion module configured to fuse the multiple feature vectors to obtain a fusion feature vector
  • the multi-modal fusion evaluation module is configured to input the fusion feature vector into the pre-trained multi-modal fusion evaluation model, so as to obtain the various modes output by the pre-trained multi-modal fusion evaluation model The evaluation results of the state medical data to be evaluated.
  • an embodiment of the present disclosure provides an electronic device, including a processor, a communication interface, a memory, and a communication bus, wherein the processor, the communication interface, and the memory complete mutual communication through the communication bus;
  • the processor is used to implement the above method steps when executing the program stored in the memory.
  • the embodiments of the present disclosure provide a computer-readable storage medium, on which a computer program is stored, and when the computer program is executed by a processor, the above-mentioned method steps are implemented.
  • An evaluation method, device, equipment, and storage medium for multimodal medical data fusion provided by embodiments of the present disclosure can achieve the following technical effects:
  • the embodiments of the present disclosure perform feature extraction on multimodal medical data based on artificial intelligence, obtain multiple feature vectors, fuse the obtained multiple feature vectors to obtain a fusion feature vector, and use the trained multimodal fusion method based on the fusion feature vector
  • the evaluation model predicts and evaluates the degree of remission of the target object, which can assist in the accurate evaluation of the degree of remission of the target object's disease at the pathological level after treatment, thereby improving the accuracy of judgment and reducing the medical risk of the target object.
  • FIG. 1 is a schematic flowchart of an evaluation method for multimodal medical data fusion provided by an embodiment of the present disclosure
  • FIG. 2 is a schematic diagram of feature extraction and data evaluation of multimodal medical data provided by an embodiment of the present disclosure
  • Fig. 3 is a schematic structural diagram of an evaluation device for multimodal medical data fusion provided by an embodiment of the present disclosure
  • Fig. 4 is a schematic structural diagram of an electronic device provided by an embodiment of the present disclosure.
  • An embodiment of the present disclosure provides an evaluation method for multimodal medical data fusion, as shown in FIG. 1 , including the following steps:
  • S102 Perform feature extraction on the medical data to be evaluated for each modality to obtain multiple feature vectors.
  • obtaining the medical data to be evaluated in multiple modalities of the target object includes at least three of the following methods:
  • the rectal cancer image data set of the target object is acquired through an endoscope as the first modality data, wherein the rectal cancer image data set at least includes a macroscopic perspective image (usually one image) determined according to the tumor area or the retreated tumor area, near Perspective images (usually 1) and microscopic perspective images (usually 2); macroscopic perspective images refer to the images of the area within the first preset distance interval from the tumor area or from the shrinking tumor area and facing the center of the intestinal lumen Panoramic images, for example, a panoramic image taken at a distance of 0.8mm-20mm from the "tumor area” or "regressed tumor area” and facing the center of the intestinal lumen as a macro perspective image; a near perspective image refers to the tumor area or the retracted tumor area An image in which the longest border of the tumor area is smaller than the preset zoom ratio of the visual field border, for example, an image taken when the longest border of the "tumor area” or "regressed tumor area” is less than 10% of the visual field border
  • the rectal cancer magnetic resonance imaging data set of the target object as the second modality data
  • the rectal cancer magnetic resonance imaging data set includes initial rectal cancer magnetic resonance imaging data and target rectal cancer magnetic resonance imaging data
  • automatic labeling or manual The way of labeling is to mark the tumor area or the shrinking tumor area in the initial rectal cancer magnetic resonance imaging data and the target rectal cancer magnetic resonance imaging data, and obtain several slice images containing the tumor area or the shrinking tumor area.
  • the initial rectal cancer magnetic resonance image data may be data of the target object before receiving treatment
  • the target rectal cancer magnetic resonance image data may be data of the target object after receiving treatment.
  • the initial clinical data set and the target clinical data set of the target object are acquired as the third modality data, wherein the initial clinical data set and the target clinical data set include at least personal information and case information of the target object.
  • the initial clinical data set may be the data of the target subject before receiving treatment
  • the target clinical data set may be the data of the target subject after receiving treatment.
  • the personal information of the target object may include but not limited to age, height, weight, etc.
  • the case information of the target object may include but not limited to family history of malignant tumor, personal history of tumor, treatment plan, tumor location, degree of tumor differentiation, pre-treatment T Staging, N stage before treatment, depth of tumor invasion, distance from tumor to anal verge, etc.
  • the initial tumor marker information, target tumor marker information, initial blood information, and target blood information of the target subject are acquired as fourth modality data.
  • the initial tumor marker information and initial blood information may be the data of the target subject before receiving treatment
  • the target tumor marker information and target blood information may be the data of the target subject after receiving treatment.
  • initial tumor marker information and target tumor marker information may include but not limited to carbohydrate antigen 125 (CA125), carbohydrate antigen 153 (CA153), carbohydrate antigen 199 (CA199), carcinoembryonic antigen (CEA) and alpha-fetoprotein (AFP) data; initial blood information and target blood information may include, but not limited to, red blood cells, hemoglobin, platelets, platelet volume, white blood cells, neutrophils, lymphocytes, monocytes, C-reactive protein, ultra Blood routine data such as sensitive C-reactive protein, total protein, albumin and prealbumin.
  • CA125 carbohydrate antigen 125
  • CA153 carbohydrate antigen 153
  • CA199 carbohydrate antigen 199
  • CEA carcinoembryonic antigen
  • AFP alpha-fetoprotein
  • initial blood information and target blood information may include, but not limited to, red blood cells, hemoglobin, platelets, platelet volume, white blood cells, neutrophils, lymphocytes, monocytes, C-
  • feature extraction is performed on the medical data to be evaluated for each modality to obtain multiple feature vectors, including:
  • the convolution calculation and the maximum pooling operation are performed on the matrix-connected macro-view image, close-view image and micro-view image, and a high-dimensional feature map is extracted;
  • feature extraction is performed on the medical data to be evaluated for each modality to obtain multiple feature vectors, including:
  • the training process of the first neural network model and the second neural network model includes:
  • the initial neural network model training is successful, and a pre-trained neural network model is obtained;
  • the initial feature vector does not meet the preset requirements, then by adjusting the loss parameters in the initial neural network model, continue to train the initial neural network model until the loss parameter fits and reaches the preset loss parameter threshold, and the pre-trained neural network model is obtained. network model.
  • the first neural network model and the second neural network model may use a three-dimensional convolutional network (3DCNN), which is not limited in this embodiment of the present disclosure.
  • 3DCNN three-dimensional convolutional network
  • feature extraction is performed on the medical data to be evaluated for each modality to obtain multiple feature vectors, including:
  • the numerical features are mapped into a two-dimensional matrix to obtain a third eigenvector and a fourth eigenvector, respectively.
  • the target object has no family history of malignant tumors, it is mapped to a number 0; if the target object has a family history of malignant tumors, it is mapped to a number 1; similarly , and map other text description features into corresponding numerical features as follows:
  • tumor Personal history of tumor (no 0, yes 1), recurrent tumor (yes 1, no 0), neoadjuvant chemotherapy (yes 1, no 0), neoadjuvant radiotherapy (yes 1, no 0), treatment plan (single drug 1 , double-drug 2, triple-drug 3), tumor location (upper rectum 1, middle rectum 2, lower rectum 3), degree of tumor differentiation (high degree of differentiation 1, degree of differentiation 2, degree of differentiation 3), size (accounting for intestinal 1/3 of the circumference is 0, accounting for 2/3 of the intestinal circumference is 1, accounting for 1 week of the intestinal circumference is 2).
  • the fusion feature vector is input to the pre-trained multi-modal fusion evaluation model to obtain the multiple modes to be evaluated outputted by the pre-trained multi-modal fusion evaluation model Results of evaluation of medical data, including:
  • Each eigenvector in the fused eigenvector is spliced horizontally to obtain the first matrix W(In) of the eigenvector, and the first function is used to encode the position of the first matrix W(In) of the eigenvector to obtain the second matrix W(In) of the eigenvector P), using the following formula:
  • t represents a sub-vector in the first matrix W(In) of the eigenvector
  • p(t) represents the encoding result corresponding to the t value
  • pos represents the number of eigenvectors that the vector t belongs to
  • i represents the number of eigenvectors that the vector t belongs to
  • d represents the matrix horizontal direction dimension quantity of the first matrix W (In) of the feature vector
  • W(M) Concat(F(1), F(2), . . . , F(i)) W 0 ;
  • the CONCAT function represents the second function
  • F(1), F(2)...F(i) represents the formula F calculation for the i-th eigensubvector in the second matrix W(P) of the eigenvector
  • W o represents the transposition of the first matrix W(In) of the eigenvector
  • the x in F(i) represents the i-th eigensubvector in the second matrix W(P) of the input eigenvector;
  • Q, K, and V represent the linear perception of the parameter n of the hidden layer of the multimodal fusion evaluation model layer;
  • Q(x) means linear regression on x;
  • the cross-entropy loss function is used to carry out parameter backpropagation and update until the cross-entropy loss function is fitted.
  • An embodiment of the present disclosure also provides an evaluation device for multimodal medical data fusion, as shown in FIG. 3 , including:
  • the medical data acquisition module 301 is configured to acquire medical data to be evaluated in multiple modalities of the target object;
  • the feature vector extraction module 302 is configured to perform feature extraction on the medical data to be evaluated for each modality to obtain multiple feature vectors;
  • the feature vector fusion module 303 is configured to fuse a plurality of feature vectors to obtain a fusion feature vector
  • the multi-modal fusion evaluation module 304 is configured to input the fusion feature vector into the pre-trained multi-modal fusion evaluation model, so as to obtain the multiple modalities output by the pre-trained multi-modal fusion evaluation model. The results of the evaluation of the data.
  • An embodiment of the present disclosure also provides an electronic device, the structure of which is shown in FIG. 4 , including:
  • a processor (processor) 400 and a memory (memory) 401 may also include a communication interface (Communication Interface) 402 and a communication bus 403. Wherein, the processor 400 , the communication interface 402 , and the memory 401 can communicate with each other through the communication bus 403 . Communication interface 402 may be used for information transfer.
  • the processor 400 can invoke logic instructions in the memory 401 to execute the evaluation method for multimodal medical data fusion in the above-mentioned embodiments.
  • the above logic instructions in the memory 401 may be implemented in the form of software functional units and may be stored in a computer-readable storage medium when sold or used as an independent product.
  • the memory 401 can be used to store software programs and computer-executable programs, such as program instructions/modules corresponding to the methods in the embodiments of the present disclosure.
  • the processor 400 executes the function application and data processing by running the program instructions/modules stored in the memory 401 , that is, realizes the evaluation method of multimodal medical data fusion in the above method embodiments.
  • the memory 401 may include a program storage area and a data storage area, wherein the program storage area may store an operating system and an application program required by at least one function; the data storage area may store data created according to the use of the terminal device, and the like.
  • the memory 401 may include a high-speed random access memory, and may also include a non-volatile memory.
  • An embodiment of the present disclosure also provides a computer-readable storage medium storing computer-executable instructions configured to execute the above-mentioned multimodal medical data fusion evaluation method.
  • An embodiment of the present disclosure provides a computer program product, including a computer program stored on a computer-readable storage medium.
  • the computer program includes program instructions.
  • the above-mentioned computer is made to execute the above-mentioned multimodal Evaluation methods for medical data fusion
  • the above-mentioned computer-readable storage medium may be a transitory computer-readable storage medium, or a non-transitory computer-readable storage medium.
  • An evaluation method, device, device, and storage medium for multi-modal medical data fusion provided by the embodiments of the present disclosure, using three-dimensional convolutional network (3DCNN) technology to fuse multi-view images, to evaluate the macroscopic view of rectal cancer under endoscopy Image, close-view image and micro-view image are fused for feature extraction.
  • 3DCNN three-dimensional convolutional network
  • the multi-modal fusion evaluation model based on artificial intelligence proposed in this application in addition to having excellent Performance, also has self-attention weight, can rely on its self-perception ability, in the case of missing data (four modal data in the present invention should input at least three modal data), still has relatively excellent performance, can quickly And the output evaluation results are accurate, which is closer to clinical use scenarios. It can assist in the precise evaluation of the degree of remission of the target object's disease under the pathological level after treatment, thereby improving the accuracy of judgment and reducing the medical risk of the target object.
  • the technical solutions of the embodiments of the present disclosure can be embodied in the form of software products, which are stored in a storage medium and include at least one instruction to enable a computer device (which may be a personal computer, a server, or a network device, etc.) ) Execute all or part of the steps of the methods of the embodiments of the present disclosure.
  • the aforementioned storage medium can be a non-transitory storage medium, including: U disk, mobile hard disk, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), magnetic disk or optical disc, etc.
  • first element could be called a second element, and likewise, a second element could be called a first element, without changing the meaning of the description, as long as all occurrences of "first element” are renamed consistently and all occurrences of "Second component” can be renamed consistently.
  • the first element and the second element are both elements, but may not be the same element.
  • the terms used in the present application are used to describe the embodiments only and are not used to limit the claims. As used in the examples and description of the claims, the singular forms "a”, “an” and “the” are intended to include the plural forms as well unless the context clearly indicates otherwise .
  • the term “and/or” as used in this application is meant to include any and all possible combinations of one or more of the associated listed ones.
  • the term “comprise” and its variants “comprises” and/or comprising (comprising) etc. refer to stated features, integers, steps, operations, elements, and/or The presence of a component does not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components and/or groupings of these.
  • an element defined by the statement “comprising a " does not preclude the presence of additional identical elements in the process, method or apparatus comprising the element.
  • the disclosed methods and products can be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of units may only be a logical function division.
  • multiple units or components may be combined or may be Integrate into another system, or some features may be ignored, or not implemented.
  • the mutual coupling or direct coupling or communication connection shown or discussed may be through some interfaces, and the indirect coupling or communication connection of devices or units may be in electrical, mechanical or other forms.
  • a unit described as a separate component may or may not be physically separated, and a component displayed as a unit may or may not be a physical unit, that is, it may be located in one place, or may be distributed to multiple network units. Some or all of the units can be selected according to actual needs to implement this embodiment.
  • each functional unit in the embodiments of the present disclosure may be integrated into one processing unit, each unit may exist separately physically, or two or more units may be integrated into one unit.
  • each block in a flowchart or block diagram may represent a module, program segment, or portion of code that includes at least one executable instruction for implementing a specified logical function .
  • the functions noted in the block may occur out of the order noted in the figures. For example, two blocks in succession may, in fact, be executed substantially concurrently, or they may sometimes be executed in the reverse order, depending upon the functionality involved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请涉医疗技术领域，公开了一种多模态医学数据融合的评估方法、装置、设备及存储介质，该方法包括：获取目标对象的多种模态的待评估医学数据；分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量并进行融合得到融合特征向量；将融合特征向量输入至训练好的多模态融合评估模型，以获取该模型输出的评估结果。本申请基于人工智能对多模态医学数据进行特征提取和特征融合、得到融合特征向量，并基于融合特征向量利用多模态融合评估模型对目标对象的病情缓解程度进行预测和评估，可辅助对病理级别下的病情缓解程度进行精准评估，从而提升判断准确率，减少医疗风险。本申请还公开了一种多模态医学数据融合的评估。

Description

多模态医学数据融合的评估方法、装置、设备及存储介质
交叉引用说明
本申请要求于2021年12月2日提交中国专利局、申请号为202111454543.7，发明名称为“多模态医学数据融合的评估方法、装置、设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及医疗技术领域，例如涉及一种多模态医学数据融合的评估方法、装置、设备及存储介质。
背景技术
直肠癌是威胁我国居民生命健康的主要癌症之一，造成了严重的社会负担。直肠癌的主要治疗方法包括手术、放疗、化疗、靶向治疗等综合治疗手段。虽有规范的综合治疗手段，但低位直肠癌患者因肿瘤或手术造成的损伤，可能导致肛门功能受损、肛门缺失、结肠造瘘，严重影响患者生存治疗。许多局部进展期直肠癌患者因一期手术不能达到根治目的，不适合行手术治疗。目前，局部进展期直肠癌(≥cT 3或N+)的标准治疗方式为新辅助放化疗联合全直肠系膜切除术及辅助化疗的综合治疗。新辅助治疗可有效实现肿瘤降期，提高切除率和保肛率。新辅助治疗也为保留低位直肠癌患者的器官功能提供了更好的选择。直肠癌新辅助治疗的疗效评估，即治疗后是否达到临床缓解、达到病理缓解的几率如何，是进行临床决策和评估患者预后的关键环节。
现阶段直肠癌新辅助治疗效果评估，多数临床指南和专家共识建议通过内镜、直肠指检、直肠核磁、血清肿瘤标志物水平及胸腹盆增强CT等多模态数据综合判断患者是 否达到临床缓解或接近临床缓解。直肠癌新辅助治疗效果的评估依赖于拥有包括外科、内科、放疗科、影像科、消化内镜、病理科等科室经验丰富专家的肿瘤多学科诊疗团队。由于缺乏某些专业方向的专家，导致许多医疗机构不能很好的开展直肠癌新辅助治疗。对于专家经验的依赖，也导致对直肠癌新辅助治疗疗效的评估可能因人为因素造成判断误差和决策标准不一。临床急需一种能综合多模态医学数据、客观一致的评估直肠癌新辅助治疗疗效的工具和方法。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。该概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种多模态医学数据融合的评估方法、装置、设备及存储介质，以解决相关技术中临床医生通过人工的方式难以准确评估患者病情缓解情况，导致患者的医疗风险较高的技术问题。
在一些实施例中，本公开实施例提供了一种多模态医学数据融合的评估方法，包括：
获取目标对象的多种模态的待评估医学数据；
分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；
对所述多个特征向量进行融合，得到融合特征向量；
将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果。
在一些实施例中，将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果，包括：
将所述融合特征向量中的各个特征向量进行水平拼接，得到特征向量第一矩阵W(In)，通过第一函数对特征向量第一矩阵W(In)进行位置编码，得到特征向量第二矩阵W(P)，采用的公式如下：
Figure PCTCN2022133614-appb-000001
其中，t表示特征向量第一矩阵W(In)中的某一个子向量；p(t)表示t值对应的编码 结果；pos表示向量t属于第几特征向量；i表示向量t在特征向量第一矩阵W(In)中的序号位；d表示特征向量第一矩阵W(In)的矩阵水平方向维度数量；
将所述特征向量第二矩阵W(P)输入至第二函数，计算得到在子空间上的高维特征表示矩阵W(M)，采用的公式如下：
W(M)＝Concat(F(1)，F(2)，...，F(i))·W 0；
Figure PCTCN2022133614-appb-000002
其中，CONCAT函数表示第二函数，F(1)、F(2)……F(i)表示对特征向量第二矩阵W(P)中的第i个特征子向量进行公式F计算；W o表示特征向量第一矩阵W(In)的转置；
F(i)中的x表示输入的特征向量第二矩阵W(P)中的第i个特征子向量；Q、K、V表示多模态融合评估模型的隐含层的参数n的线性感知层；Q(x)表示对x进行线性回归；
通过多模态融合评估模型的编码器对各个图像的所述特征向量进行编码，将所述编码器的输出W(Out)输入至线性回归层，通过线性回归层将W(Out)转换到低维特征表示矩阵，最终经过softmax函数的运算输出评估结果。
在一些实施例中，获取目标对象的多种模态的待评估医学数据，包括以下方式中的至少三种：
获取目标对象的直肠癌图像数据集作为第一模态数据，其中，所述直肠癌图像数据集至少包括根据肿瘤区域或已退缩肿瘤区域确定的宏观视角图像、近视角图像和微观视角图像；
获取目标对象的直肠癌磁共振影像数据集作为第二模态数据，其中，所述直肠癌磁共振影像数据集包括初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据；分别对所述初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据中的肿瘤区域或已退缩肿瘤区域进行标注，得到若干张包含肿瘤区域或已退缩肿瘤区域的切片图像；
获取目标对象的初始临床数据集和目标临床数据集作为第三模态数据，其中，所述初始临床数据集和目标临床数据集至少包括目标对象的个人信息和病例信息；
获取目标对象的初始肿瘤标志物信息、目标肿瘤标志物信息、初始血液信息以及目标血液信息作为第四模态数据。
在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将所述第一模态数据、第二模态数据分别输入至预先训练好的神经网络模型；
通过所述神经网络模型的硬连线层分别对所述所述第一模态数据、第二模态数据中的医学图像进行矩阵连接；
通过所述神经网络模型的α个三维卷积模块对矩阵连接后的所述医学图像进行卷积计算和最大池化操作，提取出高维特征图；
通过所述神经网络模型的β个上采样模块和一个全连接层将最后一个三维卷积核提取出来的高维特征图转换为一维特征向量，分别得到第一特征向量和第二特征向量。
在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将所述第三模态数据、第四模态数据中的文字描述特征映射成相应的数值特征；
将所述数值特征映射到二维矩阵中，分别得到第三特征向量和第四特征向量。
在一些实施例中，所述神经网络模型的训练过程包括：
将获取到的预设的待评估医学数据作为训练样本输入至相应的初始神经网络模型，以使所述初始神经网络模型输出相应的初始特征向量；
若所述初始特征向量满足预设要求，则所述初始神经网络模型训练成功，得到所述预先训练好的神经网络模型；
若所述初始特征向量不满足预设要求，则通过调整所述初始神经网络模型中的损失参数，继续对所述初始神经网络模型进行训练，直至所述损失参数拟合并达到预设损失参数阈值，得到所述预先训练好的神经网络模型。
在一些实施例中，所述多模态融合评估模型的训练过程中采用交叉熵损失函数进行参数反向传播与更新，直至所述交叉熵损失函数拟合。
在一些实施例中，本公开实施例提供了一种多模态医学数据融合的评估装置，包括：
医学数据获取模块，被配置为获取目标对象的多种模态的待评估医学数据；
特征向量提取模块，被配置为分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；
特征向量融合模块，被配置为对所述多个特征向量进行融合，得到融合特征向量；
多模态融合评估模块，被配置为将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果。
在一些实施例中，本公开实施例提供了一种电子设备，包括处理器、通信接口、存 储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的方法步骤。
在一些实施例中，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。
本公开实施例提供的一种多模态医学数据融合的评估方法、装置、设备及存储介质，可以实现以下技术效果：
本公开实施例基于人工智能对多模态医学数据进行特征提取，得到多个特征向量，对得到的多个特征向量进行融合得到融合特征向量，并基于融合特征向量利用训练好的多模态融合评估模型对目标对象的病情缓解程度进行预测和评估，可辅助对目标对象治疗后的病理级别下的病情缓解程度进行精准评估，从而提升判断准确率，减少目标对象的医疗风险。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
至少一个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一种多模态医学数据融合的评估方法的流程示意图；
图2是本公开实施例提供的对多模态医学数据进行特征提取和数据评估的示意图；
图3是本公开实施例提供的一种多模态医学数据融合的评估装置的结构示意图；
图4是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，至少一个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例提供了一种多模态医学数据融合的评估方法，如图1所示，包括以下步骤：
S101、获取目标对象的多种模态的待评估医学数据。
S102、分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量。
S103、对多个特征向量进行融合，得到融合特征向量。
S104、将融合特征向量输入至预先训练好的多模态融合评估模型，以获取预先训练好的多模态融合评估模型输出的多种模态的待评估医学数据的评估结果。
在一些实施例中，获取目标对象的多种模态的待评估医学数据，包括以下方式中的至少三种：
通过内窥镜获取目标对象的直肠癌图像数据集作为第一模态数据，其中，直肠癌图像数据集至少包括根据肿瘤区域或已退缩肿瘤区域确定的宏观视角图像(通常采用1张)、近视角图像(通常采用1张)和微观视角图像(通常采用2张)；宏观视角图像是指距离肿瘤区域或距离已退缩肿瘤区域在第一预设距离区间内且正对肠腔中心的区域的全景图像，例如，将距离“肿瘤区域”或“已退缩肿瘤区域”0.8mm-20mm远且正对肠腔中心的区域拍摄的全景图像作为宏观视角图像；近视角图像是指肿瘤区域或者已退缩肿瘤区域的最长边界小于视野边界的预设缩放比例的图像，例如，将“肿瘤区域”或“已退缩肿瘤区域”的最长边界小于视野边界的10％下拍摄的图像作为近视角图像；微观视角图像是指距离肿瘤区域或已退缩区域在预设阈值范围内(例如，在0.8mm范围内)且正对肿瘤表面的局部图像。
获取目标对象的直肠癌磁共振影像数据集作为第二模态数据，其中，直肠癌磁共振影像数据集包括初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据；可以采用自动标注或人工标注的方式分别对初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据中的肿瘤区域或已退缩肿瘤区域进行标注，得到若干张包含肿瘤区域或已退缩肿瘤区域的切片图像。其中，初始直肠癌磁共振影像数据可以是目标对象在接受治疗前的数据，目标直肠癌磁共振影像数据可以是目标对象在接受治疗后的数据。
获取所述目标对象的初始临床数据集和目标临床数据集作为第三模态数据，其中，所述初始临床数据集和目标临床数据集至少包括目标对象的个人信息和病例信息。初始临床数据集可以是目标对象在接受治疗前的数据，目标临床数据集可以是目标对象在接受治疗后的数据。目标对象的个人信息可以包括但不限于年龄、身高、体重等信息，目标对象的病例信息可以包括但不限于恶性肿瘤家族史、肿瘤个人史、治疗方案、肿瘤位 置、肿瘤分化程度、治疗前T分期、治疗前N分期、肿瘤浸润深度、肿瘤距肛缘距离等信息。
获取目标对象的初始肿瘤标志物信息、目标肿瘤标志物信息、初始血液信息以及目标血液信息作为第四模态数据。其中，初始肿瘤标志物信息和初始血液信息可以是目标对象在接受治疗前的数据，目标肿瘤标志物信息和目标血液信息可以是目标对象在接受治疗后的数据。可选地，初始肿瘤标志物信息和目标肿瘤标志物信息可以包括但不限于糖类抗原125(CA125)、糖类抗原153(CA153)、糖类抗原199(CA199)、癌胚抗原(CEA)和甲胎蛋白(AFP)的数据；初始血液信息和目标血液信息可以包括但不限于红细胞、血红蛋白、血小板、血小板容积、白细胞、中性粒细胞、淋巴细胞、单核细胞、C反应蛋白、超敏C反应蛋白、总蛋白、白蛋白和前白蛋白等血常规数据。
在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将第一模态数据输入至预先训练好的第一神经网络模型；
通过第一神经网络模型的硬连线层对宏观视角图像、近视角图像和微观视角图像进行矩阵连接；
通过第一神经网络模型的α个三维卷积模块对矩阵连接后的宏观视角图像、近视角图像和微观视角图像进行卷积计算和最大池化操作，提取出高维特征图；
通过第一神经网络模型的β个上采样模块和一个全连接层将最后一个三维卷积核提取出来的高维特征图转换为一维特征向量，得到第一特征向量，其中，α可以取值为7，β可以取值为5。
在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将第二模态数据输入至预先训练好的第二神经网络模型；
通过第二神经网络模型的硬连线层对第二模态数据中标注的若干张包含肿瘤区域或已退缩肿瘤区域的切片图像进行矩阵连接；
通过第二神经网络模型的α个三维卷积模块对矩阵连接后的切片图像进行卷积计算和最大池化操作，提取出高维特征图；
通过第二神经网络模型的β个上采样模块和一个全连接层将最后一个三维卷积核提取出来的高维特征图转换为一维特征向量，得到第二特征向量，其中，α可以取值为5，β可以取值为3。
在一些实施例中，第一神经网络模型、第二神经网络模型的训练过程包括：
将获取到的预设的待评估医学数据作为训练样本输入至相应的初始神经网络模型，以使初始神经网络模型输出相应的初始特征向量；
若初始特征向量满足预设要求，则初始神经网络模型训练成功，得到预先训练好的神经网络模型；
若初始特征向量不满足预设要求，则通过调整初始神经网络模型中的损失参数，继续对初始神经网络模型进行训练，直至损失参数拟合并达到预设损失参数阈值，得到预先训练好的神经网络模型。
可选地，第一神经网络模型、第二神经网络模型可以采用三维卷积网络(3DCNN)，本公开实施例对此不做限定。
在一些实施例中，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
将第三模态数据、第四模态数据中的文字描述特征映射成相应的数值特征；
将数值特征映射到二维矩阵中，分别得到第三特征向量和第四特征向量。
可选地，在对第三模态数据的进行特征提取过程中，若目标对象没有恶性肿瘤家族史，则映射成数字0；若目标对象由恶性肿瘤家族史，则映射成数字1；同样的，将其它文字描述特征映射成相应的数值特征如下所示：
肿瘤个人史(无0，有1)、复发性肿瘤(是1，否0)、新辅助化疗(是1，否0)、新辅助放疗(是1，否0)、治疗方案(单药1，双药2，三药3)、肿瘤位置(直肠上1、直肠中2、直肠下3)、肿瘤分化程度(分化程度高1、分化程度中2、分化程度低3)、大小(占肠周径1/3为0,占肠周径2/3为1,占肠周径1周为2)。
如图2所示，在一些实施例中，将融合特征向量输入至预先训练好的多模态融合评估模型，以获取预先训练好的多模态融合评估模型输出的多种模态的待评估医学数据的评估结果，包括：
将融合特征向量中的各个特征向量进行水平拼接，得到特征向量第一矩阵W(In)，通过第一函数对特征向量第一矩阵W(In)进行位置编码，得到特征向量第二矩阵W(P)，采用的公式如下：
Figure PCTCN2022133614-appb-000003
其中，t表示特征向量第一矩阵W(In)中的某一个子向量；p(t)表示t值对应的编码结果；pos表示向量t属于第几特征向量；i表示向量t在特征向量第一矩阵W(In)中的序号位；d表示特征向量第一矩阵W(In)的矩阵水平方向维度数量；
将特征向量第二矩阵W(P)输入至第二函数，计算得到在子空间上的高维特征表示矩阵W(M)，采用的公式如下：
W(M)＝Concat(F(1)，F(2)，...，F(i))·W 0；
Figure PCTCN2022133614-appb-000004
其中，CONCAT函数表示第二函数，F(1)、F(2)……F(i)表示对特征向量第二矩阵W(P)中的第i个特征子向量进行公式F计算；W o表示特征向量第一矩阵W(In)的转置；
F(i)中的x表示输入的特征向量第二矩阵W(P)中的第i个特征子向量；Q、K、V表示多模态融合评估模型的隐含层的参数n的线性感知层；Q(x)表示对x进行线性回归；
通过多模态融合评估模型的编码器对各个图像特征向量进行编码，将编码器的输出W(Out)输入至线性回归层，通过线性回归层将W(Out)转换到低维特征表示矩阵，最终经过softmax函数的运算输出评估结果。通过将上述的第一、二、三、四特征向量输入至预先训练好的多模态融合评估模型，完成决策，最终得到结果为目标对象的病情完全缓解或非完全缓解的评估结果，以及与评估结果相对应的概率，例如，完全缓解的概率、非完全缓解的概率。
可选地，多模态融合评估模型的训练过程中采用交叉熵损失函数进行参数反向传播与更新，直至交叉熵损失函数拟合。
本公开实施例还提供了一种多模态医学数据融合的评估装置，如图3所示，包括：
医学数据获取模块301，被配置为获取目标对象的多种模态的待评估医学数据；
特征向量提取模块302，被配置为分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；
特征向量融合模块303，被配置为对多个特征向量进行融合，得到融合特征向量；
多模态融合评估模块304，被配置为将融合特征向量输入至预先训练好的多模态融合评估模型，以获取预先训练好的多模态融合评估模型输出的多种模态的待评估医学数据的评估结果。
本公开实施例还提供了一种电子设备，其结构如图4所示，包括：
处理器(processor)400和存储器(memory)401，还可以包括通信接口(Communication Interface)402和通信总线403。其中，处理器400、通信接口402、存储器401可以通过通信总线403完成相互间的通信。通信接口402可以用于信息传输。处理器400可以调用存储器401中的逻辑指令，以执行上述实施例的多模态医学数据融合的评估方法。
此外，上述的存储器401中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器401作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器400通过运行存储在存储器401中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的多模态医学数据融合的评估方法。
存储器401可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器401可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，该计算机可执行指令设置为执行上述的多模态医学数据融合的评估方法。
本公开实施例提供了一种计算机程序产品，包括存储在计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使上述计算机执行上述的多模态医学数据融合的评估方法
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例提供的一种多模态医学数据融合的评估方法、装置、设备和存储介质，采用三维卷积网络(3DCNN)技术，融合多视角图像，对内窥镜下直肠癌的宏观视角图像、近视角图像与微观视图图像进行融合特征提取。鉴于传统的机器学习预测模型，其输入要求有规范的数据格式，若不满足输入要求则会极大影响其性能，故本申请提出的基于人工智能的多模态融合评估模型，除了拥有出色的性能，还具有自注意权重，可依靠其自我感知能力，在数据存在部分缺失的情况下(本发明四种模态数据应至少输入三种模态数据)，仍有着比较优秀的性能，可以快速且精准的输出评估结果，更加贴近临床使用场景。可辅助对目标对象治疗后的病理级别下的病情缓解程度进行精准评估，从而提升判断准确率，减少目标对象的医疗风险。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储 在一个存储介质中，包括至少一个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例的方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样地，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括该要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。本领域技 术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。本领域技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含至少一个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

  1. 一种多模态医学数据融合的评估方法，其特征在于，包括：
    获取目标对象的多种模态的待评估医学数据；
    分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；
    对所述多个特征向量进行融合，得到融合特征向量；
    将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果。
  2. 根据权利要求1所述的方法，其特征在于，所述将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果，包括：
    将所述融合特征向量中的各个特征向量进行水平拼接，得到特征向量第一矩阵W(In)，通过第一函数对特征向量第一矩阵W(In)进行位置编码，得到特征向量第二矩阵W(P)，采用的公式如下：
    Figure PCTCN2022133614-appb-100001
    其中，t表示特征向量第一矩阵W(In)中的某一个子向量；p(t)表示t值对应的编码结果；pos表示向量t属于第几特征向量；i表示向量t在特征向量第一矩阵W(In)中的序号位；d表示特征向量第一矩阵W(In)的矩阵水平方向维度数量；
    将所述特征向量第二矩阵W(P)输入至第二函数，计算得到在子空间上的高维特征表示矩阵W(M)，采用的公式如下：
    W(M)＝Concat(F(1),F(2),...,F(i))·W 0；
    Figure PCTCN2022133614-appb-100002
    其中，CONCAT函数表示第二函数，F(1)、F(2)……F(i)表示对特征向量第二矩阵W(P)中的第i个特征子向量进行公式F计算；W 0表示特征向量第一矩阵W(In)的转置；
    F(i)中的x表示输入的特征向量第二矩阵W(P)中的第i个特征子向量；Q、K、V 表示多模态融合评估模型的隐含层的参数n的线性感知层；Q(x)表示对x进行线性回归；
    通过多模态融合评估模型的编码器对各个图像的所述特征向量进行编码，将所述编码器的输出W(Out)输入至线性回归层，通过线性回归层将W(Out)转换到低维特征表示矩阵，最终经过softmax函数的运算输出评估结果。
  3. 根据权利要求1所述的方法，其特征在于，所述获取目标对象的多种模态的待评估医学数据，包括以下方式中的至少三种：
    获取所述目标对象的直肠癌图像数据集作为第一模态数据，其中，所述直肠癌图像数据集至少包括根据肿瘤区域或已退缩肿瘤区域确定的宏观视角图像、近视角图像和微观视角图像；
    获取所述目标对象的直肠癌磁共振影像数据集作为第二模态数据，其中，所述直肠癌磁共振影像数据集包括初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据；分别对所述初始直肠癌磁共振影像数据和目标直肠癌磁共振影像数据中的肿瘤区域或已退缩肿瘤区域进行标注，得到若干张包含肿瘤区域或已退缩肿瘤区域的切片图像；
    获取所述目标对象的初始临床数据集和目标临床数据集作为第三模态数据，其中，所述初始临床数据集和目标临床数据集至少包括目标对象的个人信息和病例信息；
    获取所述目标对象的初始肿瘤标志物信息、目标肿瘤标志物信息、初始血液信息以及目标血液信息作为第四模态数据。
  4. 根据权利要求3所述的方法，其特征在于，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
    将所述第一模态数据、第二模态数据分别输入至预先训练好的神经网络模型；
    通过所述神经网络模型的硬连线层分别对所述第一模态数据、第二模态数据中的医学图像进行矩阵连接；
    通过所述神经网络模型的α个三维卷积模块对矩阵连接后的所述医学图像进行卷积计算和最大池化操作，提取出高维特征图；
    通过所述神经网络模型的β个上采样模块和一个全连接层将最后一个三维卷积核提取出来的高维特征图转换为一维特征向量，分别得到第一特征向量和第二特征向量。
  5. 根据权利要求3所述的方法，其特征在于，分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量，包括：
    将所述第三模态数据、第四模态数据中的文字描述特征映射成相应的数值特征；
    将所述数值特征映射到二维矩阵中，分别得到第三特征向量和第四特征向量。
  6. 根据权利要求4所述的方法，其特征在于，所述神经网络模型的训练过程包括：
    将获取到的预设的待评估医学数据作为训练样本输入至相应的初始神经网络模型，以使所述初始神经网络模型输出相应的初始特征向量；
    若所述初始特征向量满足预设要求，则所述初始神经网络模型训练成功，得到所述预先训练好的神经网络模型；
    若所述初始特征向量不满足预设要求，则通过调整所述初始神经网络模型中的损失参数，继续对所述初始神经网络模型进行训练，直至所述损失参数拟合并达到预设损失参数阈值，得到所述预先训练好的神经网络模型。
  7. 根据权利要求1所述的方法，其特征在于，所述多模态融合评估模型的训练过程中采用交叉熵损失函数进行参数反向传播与更新，直至所述交叉熵损失函数拟合。
  8. 一种多模态医学数据融合的评估装置，其特征在于，包括：
    医学数据获取模块，被配置为获取目标对象的多种模态的待评估医学数据；
    特征向量提取模块，被配置为分别对每种模态的待评估医学数据进行特征提取，得到多个特征向量；
    特征向量融合模块，被配置为对所述多个特征向量进行融合，得到融合特征向量；
    多模态融合评估模块，被配置为将所述融合特征向量输入至预先训练好的多模态融合评估模型，以获取所述预先训练好的多模态融合评估模型输出的所述多种模态的待评估医学数据的评估结果。
  9. 一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
    存储器，用于存放计算机程序；
    处理器，用于执行存储器上所存放的程序时，实现权利要求1所述的方法步骤。
  10. 一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1所述的方法步骤。
PCT/CN2022/133614 2021-12-02 2022-11-23 多模态医学数据融合的评估方法、装置、设备及存储介质 Ceased WO2023098524A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP22900329.8A EP4432219B1 (en) 2021-12-02 2022-11-23 Multi-modal medical data fusion evaluation method and apparatus, device, and storage medium
JP2024532692A JP7599060B2 (ja) 2021-12-02 2022-11-23 多モード医学データ融合の評価方法、装置、機器及び記憶媒体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111454543.7A CN113870259B (zh) 2021-12-02 2021-12-02 多模态医学数据融合的评估方法、装置、设备及存储介质
CN202111454543.7 2021-12-02

Publications (1)

Publication Number Publication Date
WO2023098524A1 true WO2023098524A1 (zh) 2023-06-08

Family

ID=78985439

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/133614 Ceased WO2023098524A1 (zh) 2021-12-02 2022-11-23 多模态医学数据融合的评估方法、装置、设备及存储介质

Country Status (4)

Country Link
EP (1) EP4432219B1 (zh)
JP (1) JP7599060B2 (zh)
CN (1) CN113870259B (zh)
WO (1) WO2023098524A1 (zh)

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452593A (zh) * 2023-06-16 2023-07-18 武汉大学中南医院 血管性认知障碍的ai评估模型的构建方法、装置及系统
CN116504393A (zh) * 2023-06-09 2023-07-28 山东大学 基于多模态数据的脊髓型颈椎病运动功能辅助评估系统
CN116630386A (zh) * 2023-06-12 2023-08-22 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统
CN116883995A (zh) * 2023-07-07 2023-10-13 广东食品药品职业学院 一种乳腺癌分子亚型的识别系统
CN117058511A (zh) * 2023-08-25 2023-11-14 北京石油化工学院 预测脉管侵犯状态的多模态融合方法、装置及存储介质
CN117350926A (zh) * 2023-12-04 2024-01-05 北京航空航天大学合肥创新研究院 一种基于目标权重的多模态数据增强方法
CN117370933A (zh) * 2023-10-31 2024-01-09 中国人民解放军总医院 多模态统一特征提取方法、装置、设备及介质
CN117422704A (zh) * 2023-11-23 2024-01-19 南华大学附属第一医院 一种基于多模态数据的癌症预测方法、系统及设备
CN117481672A (zh) * 2023-10-25 2024-02-02 深圳医和家智慧医疗科技有限公司 一种乳腺组织硬化初期快速筛查智能方法
CN117495693A (zh) * 2023-10-24 2024-02-02 北京仁馨医疗科技有限公司 用于内窥镜的图像融合方法、系统、介质及电子设备
CN117558451A (zh) * 2024-01-11 2024-02-13 广州中大医疗器械有限公司 一种基于大数据的神经损失程度评估方法
CN117649344A (zh) * 2024-01-29 2024-03-05 之江实验室 磁共振脑影像超分辨率重建方法、装置、设备和存储介质
CN117807559A (zh) * 2024-02-28 2024-04-02 卓世科技(海南)有限公司 一种多模态数据融合方法及系统
CN117829098A (zh) * 2024-03-06 2024-04-05 天津创意星球网络科技股份有限公司 多模态作品评审方法、装置、介质和设备
CN117894468A (zh) * 2024-03-18 2024-04-16 天津市肿瘤医院（天津医科大学肿瘤医院） 基于人工智能的乳腺癌复发风险预测系统
CN117274316B (zh) * 2023-10-31 2024-05-03 广东省水利水电科学研究院 一种河流表面流速的估计方法、装置、设备及存储介质
CN118006429A (zh) * 2024-02-01 2024-05-10 中国计量科学研究院 一种血培养仪通用型全自动校准装置及方法
CN118090743A (zh) * 2024-04-22 2024-05-28 山东浪潮数字商业科技有限公司 一种基于多模态图像识别技术的瓷质酒瓶质量检测系统
CN118280522A (zh) * 2024-04-19 2024-07-02 徐州医科大学附属医院 多模态数据融合的个性化冠状动脉介入治疗规划系统
CN118333466A (zh) * 2024-06-12 2024-07-12 山东理工职业学院 教学水平评估方法、装置、电子设备及存储介质
CN118365192A (zh) * 2024-03-13 2024-07-19 广东省环境科学研究院 水环境质量遥感分析方法、系统、电子设备及存储介质
CN118378063A (zh) * 2024-03-22 2024-07-23 中国人民解放军总医院第一医学中心 一种基于多生物电信号融合的风险评估方法及系统
CN118471542A (zh) * 2024-07-12 2024-08-09 杭州城市大脑技术与服务有限公司 一种基于大数据的医疗健康管理系统
CN118608844A (zh) * 2024-06-03 2024-09-06 华中科技大学同济医学院附属同济医院 异常识别模型的训练方法、异常识别方法及设备、介质
CN118608396A (zh) * 2024-05-15 2024-09-06 大湾区大学(筹) 一种多模态医学图像融合方法
CN118626965A (zh) * 2024-08-13 2024-09-10 江西省农业技术推广中心 一种基于大数据的区域动物防疫体系评估方法及系统
CN118916821A (zh) * 2024-10-09 2024-11-08 青岛汇安谷科技发展有限公司 一种光纤振动检测方法及系统
CN118965283A (zh) * 2024-10-17 2024-11-15 大连卓云科技有限公司 一种基于多模态数据的大语言模型融合方法、设备及介质
CN119312111A (zh) * 2024-09-29 2025-01-14 东莞理工学院 一种融合图卷积约束增强低秩表征的慢性病共病模式识别方法、装置、电子设备及存储介质
CN119377899A (zh) * 2024-12-27 2025-01-28 首都医科大学 一种人工智能医疗辅助数据处理方法和系统
CN119397486A (zh) * 2025-01-02 2025-02-07 一览数字科技(江苏)有限公司 基于多模态数据分析的识别评估方法及系统
CN119405277A (zh) * 2024-11-12 2025-02-11 复旦大学 基于多模态信息的cipn信息融合方法及系统
CN119559454A (zh) * 2025-02-06 2025-03-04 脉得智能科技(无锡)有限公司 一种超声图像的质量评估方法、程序产品、电子设备
CN119624994A (zh) * 2025-02-13 2025-03-14 安徽鲲隆康鑫医疗科技有限公司 基于多模态特征融合模型的钙化区域分割方法及装置
CN119647438A (zh) * 2024-11-27 2025-03-18 平安科技（深圳）有限公司 一种医疗数据结构化方法、装置、设备及介质
CN119672016A (zh) * 2025-02-19 2025-03-21 浙江大学 基于多模态ai驱动的心血管图像检测方法、装置及设备
CN119694535A (zh) * 2024-11-29 2025-03-25 成都四方伟业软件股份有限公司 一种利用多源数据的智能医疗诊断与决策支持方法
CN119811503A (zh) * 2024-12-19 2025-04-11 湖南工商大学 一种干细胞扩增培养的融合度评估方法及设备
CN119851866A (zh) * 2025-01-07 2025-04-18 广东工业大学 一种面向慢性疼痛的中医经络理疗方案智能推荐系统
CN119886491A (zh) * 2025-03-26 2025-04-25 华北电力大学 一种多模态协作的光伏电站巡检方法及系统
CN119961874A (zh) * 2025-04-10 2025-05-09 北方联创通信有限公司 一种信息融合方法及系统
CN120277396A (zh) * 2025-06-04 2025-07-08 红杉天枰科技集团有限公司 基于深度学习的智适应碳源投加方法及系统
CN120470522A (zh) * 2025-04-24 2025-08-12 军事科学院系统工程研究院系统总体研究所 一种多模态试验数据的智能评估方法和装置
CN120726042A (zh) * 2025-08-27 2025-09-30 国网浙江省电力有限公司舟山供电公司 一种基于多模态的设备缺陷检测方法及设备
CN120761914A (zh) * 2025-09-05 2025-10-10 成都高投芯未半导体有限公司 一种igbt管漏电检测方法、装置、介质及设备
CN120783905A (zh) * 2025-06-24 2025-10-14 复旦大学 多模态空气污染物的预测方法、装置、设备、介质及产品
WO2025213714A1 (zh) * 2024-04-11 2025-10-16 中国科学院深圳先进技术研究院 肿瘤分类方法、装置、终端设备以及存储介质
CN120853773A (zh) * 2025-09-23 2025-10-28 陕西中医药大学附属医院 一种中医肿瘤协同治疗临床数据分析方法
CN120875511A (zh) * 2025-09-25 2025-10-31 上海盛巨信息技术有限公司 基于多模态数据的医疗实验流程优化方法及系统

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870259B (zh) * 2021-12-02 2022-04-01 天津御锦人工智能医疗科技有限公司 多模态医学数据融合的评估方法、装置、设备及存储介质
CN114595745B (zh) * 2022-01-27 2026-01-02 阿里巴巴（中国）有限公司 区分目标对象的方法、装置、存储介质及系统
CN114358662B (zh) * 2022-03-17 2022-09-13 北京闪马智建科技有限公司 一种数据质量评估方法、装置、存储介质及电子装置
CN114678105B (zh) * 2022-03-21 2023-10-17 南京圣德医疗科技有限公司 一种结合人工智能技术自动计算球囊参数的方法
CN114693971A (zh) * 2022-03-29 2022-07-01 深圳市大数据研究院 分类预测模型生成方法及分类预测方法、系统、平台
CN114708971B (zh) * 2022-04-20 2025-07-29 推想医疗科技股份有限公司 一种风险评估方法及装置、存储介质及电子设备
CN114898155B (zh) * 2022-05-18 2024-05-28 平安科技（深圳）有限公司 车辆定损方法、装置、设备及存储介质
CN115068737B (zh) * 2022-07-27 2022-11-11 深圳市第二人民医院(深圳市转化医学研究院) 化疗输液药物剂量控制方法、装置、系统和存储介质
CN115130623B (zh) * 2022-09-01 2022-11-25 浪潮通信信息系统有限公司 数据融合方法、装置、电子设备及存储介质
CN115564203B (zh) * 2022-09-23 2023-04-25 杭州国辰智企科技有限公司 基于多维数据协同的设备实时性能评估系统及其方法
CN115762796A (zh) * 2022-09-27 2023-03-07 京东方科技集团股份有限公司 目标模型的获取方法、预后评估值确定方法、装置、设备及介质
CN115762750A (zh) * 2022-10-18 2023-03-07 南京伟思医疗科技股份有限公司 多手段评估多设备治疗的智能方案生成方法和平台
CN115458161A (zh) * 2022-10-19 2022-12-09 联仁健康医疗大数据科技股份有限公司 乳腺癌进展分析方法、装置、设备和介质
CN115579130B (zh) * 2022-11-10 2023-03-14 中国中医科学院望京医院(中国中医科学院骨伤科研究所) 一种患者肢体功能的评估方法、装置、设备及介质
WO2024108483A1 (zh) * 2022-11-24 2024-05-30 中国科学院深圳先进技术研究院 多模态神经生物信号处理方法、装置、服务器及存储介质
CN115965667A (zh) * 2022-12-30 2023-04-14 上海术之道机器人有限公司 介入手术的组织结构模型数据融合的方法和装置
CN115830017B (zh) * 2023-02-09 2023-07-25 智慧眼科技股份有限公司 基于图文多模态融合的肿瘤检测系统、方法、设备及介质
CN116188023B (zh) * 2023-02-23 2025-06-27 支付宝(杭州)信息技术有限公司 一种风险识别模型训练的方法、装置、存储介质及设备
CN116524248B (zh) * 2023-04-17 2024-02-13 首都医科大学附属北京友谊医院 医学数据处理装置、方法及分类模型训练装置
CN116228206B (zh) * 2023-04-25 2024-09-06 宏景科技股份有限公司 数据中心运维管理方法、装置、电子设备及运维管理系统
CN116313019B (zh) * 2023-05-19 2023-08-11 青岛市妇女儿童医院（青岛市妇幼保健院、青岛市残疾儿童医疗康复中心、青岛市新生儿疾病筛查中心） 一种基于人工智能的医疗护理数据处理方法及系统
CN116776110A (zh) * 2023-06-20 2023-09-19 平安科技（深圳）有限公司 基于人工智能的医学数据处理方法、装置、设备及介质
CN117158918A (zh) * 2023-08-31 2023-12-05 中国医学科学院生物医学工程研究所 一种多模态无创血栓诊断增强系统
CN117391847B (zh) * 2023-12-08 2024-07-23 国任财产保险股份有限公司 一种基于多层多视图学习的用户风险评估方法及系统
CN117524501B (zh) * 2024-01-04 2024-03-19 长春职业技术学院 基于特征挖掘的多模态医学数据分析系统及方法
CN119443926B (zh) * 2024-10-23 2025-09-19 四川页岩气勘探开发有限责任公司 基于多模态健康数据融合的员工工作能力评估方法
CN119046893B (zh) * 2024-11-04 2025-02-18 中国医学科学院阜外医院 基于多模态图像结合机器学习的心肌炎识别方法及系统
CN119480036B (zh) * 2024-11-07 2025-10-21 浙江大学 一种基于多模态数据的失能干预质量评价方法、装置及可读存储介质
CN119863439B (zh) * 2024-12-25 2025-09-16 湖南中医药大学第一附属医院((中医临床研究所)) 一种基于机器视觉的银屑病例特征识别方法及装置
CN119919742A (zh) * 2025-04-02 2025-05-02 长三角国智(上海)智能医疗科技有限公司 一种医学数据的分类方法、装置、设备、存储介质及产品
CN120585454B (zh) * 2025-08-07 2025-10-21 珠海横琴全星医疗科技有限公司 基于多模态时序融合的消融阻抗动态预测方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180367871A1 (en) * 2017-06-14 2018-12-20 GM Global Technology Operations LLC Apparatus, method and system for multi-mode fusion processing of data of multiple different formats sensed from heterogeneous devices
CN111079864A (zh) * 2019-12-31 2020-04-28 杭州趣维科技有限公司 一种基于优化视频关键帧提取的短视频分类方法及系统
CN111931795A (zh) * 2020-09-25 2020-11-13 湖南大学 基于子空间稀疏特征融合的多模态情感识别方法及系统
CN113657503A (zh) * 2021-08-18 2021-11-16 上海交通大学 一种基于多模态数据融合的恶性肝肿瘤分类方法
CN113870259A (zh) * 2021-12-02 2021-12-31 天津御锦人工智能医疗科技有限公司 多模态医学数据融合的评估方法、装置、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533683B (zh) * 2019-08-30 2022-04-29 东南大学 一种融合传统特征与深度特征的影像组学分析方法
CN110727824B (zh) * 2019-10-11 2022-04-01 浙江大学 利用多重交互注意力机制解决视频中对象关系问答任务的方法
CN111145718B (zh) * 2019-12-30 2022-06-07 中国科学院声学研究所 一种基于自注意力机制的中文普通话字音转换方法
CN113450294A (zh) * 2021-06-07 2021-09-28 刘星宇 多模态医学图像配准融合方法、装置及电子设备
CN113486395B (zh) * 2021-07-02 2024-07-23 南京大学 一种采用多元信息融合的科研数据匿名化方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180367871A1 (en) * 2017-06-14 2018-12-20 GM Global Technology Operations LLC Apparatus, method and system for multi-mode fusion processing of data of multiple different formats sensed from heterogeneous devices
CN111079864A (zh) * 2019-12-31 2020-04-28 杭州趣维科技有限公司 一种基于优化视频关键帧提取的短视频分类方法及系统
CN111931795A (zh) * 2020-09-25 2020-11-13 湖南大学 基于子空间稀疏特征融合的多模态情感识别方法及系统
CN113657503A (zh) * 2021-08-18 2021-11-16 上海交通大学 一种基于多模态数据融合的恶性肝肿瘤分类方法
CN113870259A (zh) * 2021-12-02 2021-12-31 天津御锦人工智能医疗科技有限公司 多模态医学数据融合的评估方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4432219A4 *

Cited By (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116504393A (zh) * 2023-06-09 2023-07-28 山东大学 基于多模态数据的脊髓型颈椎病运动功能辅助评估系统
CN116504393B (zh) * 2023-06-09 2024-04-26 山东大学 基于多模态数据的脊髓型颈椎病运动功能辅助评估系统
CN116630386A (zh) * 2023-06-12 2023-08-22 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统
CN116630386B (zh) * 2023-06-12 2024-02-20 新疆生产建设兵团医院 Cta扫描图像处理方法及其系统
CN116452593A (zh) * 2023-06-16 2023-07-18 武汉大学中南医院 血管性认知障碍的ai评估模型的构建方法、装置及系统
CN116452593B (zh) * 2023-06-16 2023-09-05 武汉大学中南医院 血管性认知障碍的ai评估模型的构建方法、装置及系统
CN116883995A (zh) * 2023-07-07 2023-10-13 广东食品药品职业学院 一种乳腺癌分子亚型的识别系统
CN117058511A (zh) * 2023-08-25 2023-11-14 北京石油化工学院 预测脉管侵犯状态的多模态融合方法、装置及存储介质
CN117495693B (zh) * 2023-10-24 2024-06-04 北京仁馨医疗科技有限公司 用于内窥镜的图像融合方法、系统、介质及电子设备
CN117495693A (zh) * 2023-10-24 2024-02-02 北京仁馨医疗科技有限公司 用于内窥镜的图像融合方法、系统、介质及电子设备
CN117481672A (zh) * 2023-10-25 2024-02-02 深圳医和家智慧医疗科技有限公司 一种乳腺组织硬化初期快速筛查智能方法
CN117370933B (zh) * 2023-10-31 2024-05-07 中国人民解放军总医院 多模态统一特征提取方法、装置、设备及介质
CN117370933A (zh) * 2023-10-31 2024-01-09 中国人民解放军总医院 多模态统一特征提取方法、装置、设备及介质
CN117274316B (zh) * 2023-10-31 2024-05-03 广东省水利水电科学研究院 一种河流表面流速的估计方法、装置、设备及存储介质
CN117422704A (zh) * 2023-11-23 2024-01-19 南华大学附属第一医院 一种基于多模态数据的癌症预测方法、系统及设备
CN117350926A (zh) * 2023-12-04 2024-01-05 北京航空航天大学合肥创新研究院 一种基于目标权重的多模态数据增强方法
CN117350926B (zh) * 2023-12-04 2024-02-13 北京航空航天大学合肥创新研究院 一种基于目标权重的多模态数据增强方法
CN117558451A (zh) * 2024-01-11 2024-02-13 广州中大医疗器械有限公司 一种基于大数据的神经损失程度评估方法
CN117649344A (zh) * 2024-01-29 2024-03-05 之江实验室 磁共振脑影像超分辨率重建方法、装置、设备和存储介质
CN117649344B (zh) * 2024-01-29 2024-05-14 之江实验室 磁共振脑影像超分辨率重建方法、装置、设备和存储介质
CN118006429A (zh) * 2024-02-01 2024-05-10 中国计量科学研究院 一种血培养仪通用型全自动校准装置及方法
CN117807559A (zh) * 2024-02-28 2024-04-02 卓世科技(海南)有限公司 一种多模态数据融合方法及系统
CN117829098A (zh) * 2024-03-06 2024-04-05 天津创意星球网络科技股份有限公司 多模态作品评审方法、装置、介质和设备
CN117829098B (zh) * 2024-03-06 2024-05-28 天津创意星球网络科技股份有限公司 多模态作品评审方法、装置、介质和设备
CN118365192A (zh) * 2024-03-13 2024-07-19 广东省环境科学研究院 水环境质量遥感分析方法、系统、电子设备及存储介质
CN117894468A (zh) * 2024-03-18 2024-04-16 天津市肿瘤医院（天津医科大学肿瘤医院） 基于人工智能的乳腺癌复发风险预测系统
CN118378063A (zh) * 2024-03-22 2024-07-23 中国人民解放军总医院第一医学中心 一种基于多生物电信号融合的风险评估方法及系统
WO2025213714A1 (zh) * 2024-04-11 2025-10-16 中国科学院深圳先进技术研究院 肿瘤分类方法、装置、终端设备以及存储介质
CN118280522A (zh) * 2024-04-19 2024-07-02 徐州医科大学附属医院 多模态数据融合的个性化冠状动脉介入治疗规划系统
CN118090743A (zh) * 2024-04-22 2024-05-28 山东浪潮数字商业科技有限公司 一种基于多模态图像识别技术的瓷质酒瓶质量检测系统
CN118608396A (zh) * 2024-05-15 2024-09-06 大湾区大学(筹) 一种多模态医学图像融合方法
CN118608844A (zh) * 2024-06-03 2024-09-06 华中科技大学同济医学院附属同济医院 异常识别模型的训练方法、异常识别方法及设备、介质
CN118333466A (zh) * 2024-06-12 2024-07-12 山东理工职业学院 教学水平评估方法、装置、电子设备及存储介质
CN118471542A (zh) * 2024-07-12 2024-08-09 杭州城市大脑技术与服务有限公司 一种基于大数据的医疗健康管理系统
CN118626965A (zh) * 2024-08-13 2024-09-10 江西省农业技术推广中心 一种基于大数据的区域动物防疫体系评估方法及系统
CN119312111A (zh) * 2024-09-29 2025-01-14 东莞理工学院 一种融合图卷积约束增强低秩表征的慢性病共病模式识别方法、装置、电子设备及存储介质
CN118916821A (zh) * 2024-10-09 2024-11-08 青岛汇安谷科技发展有限公司 一种光纤振动检测方法及系统
CN118965283A (zh) * 2024-10-17 2024-11-15 大连卓云科技有限公司 一种基于多模态数据的大语言模型融合方法、设备及介质
CN119405277A (zh) * 2024-11-12 2025-02-11 复旦大学 基于多模态信息的cipn信息融合方法及系统
CN119647438A (zh) * 2024-11-27 2025-03-18 平安科技（深圳）有限公司 一种医疗数据结构化方法、装置、设备及介质
CN119694535A (zh) * 2024-11-29 2025-03-25 成都四方伟业软件股份有限公司 一种利用多源数据的智能医疗诊断与决策支持方法
CN119811503A (zh) * 2024-12-19 2025-04-11 湖南工商大学 一种干细胞扩增培养的融合度评估方法及设备
CN119377899A (zh) * 2024-12-27 2025-01-28 首都医科大学 一种人工智能医疗辅助数据处理方法和系统
CN119397486A (zh) * 2025-01-02 2025-02-07 一览数字科技(江苏)有限公司 基于多模态数据分析的识别评估方法及系统
CN119851866A (zh) * 2025-01-07 2025-04-18 广东工业大学 一种面向慢性疼痛的中医经络理疗方案智能推荐系统
CN119559454A (zh) * 2025-02-06 2025-03-04 脉得智能科技(无锡)有限公司 一种超声图像的质量评估方法、程序产品、电子设备
CN119624994A (zh) * 2025-02-13 2025-03-14 安徽鲲隆康鑫医疗科技有限公司 基于多模态特征融合模型的钙化区域分割方法及装置
CN119672016A (zh) * 2025-02-19 2025-03-21 浙江大学 基于多模态ai驱动的心血管图像检测方法、装置及设备
CN119886491A (zh) * 2025-03-26 2025-04-25 华北电力大学 一种多模态协作的光伏电站巡检方法及系统
CN119961874A (zh) * 2025-04-10 2025-05-09 北方联创通信有限公司 一种信息融合方法及系统
CN119961874B (zh) * 2025-04-10 2025-11-07 北方联创通信有限公司 一种信息融合方法及系统
CN120470522A (zh) * 2025-04-24 2025-08-12 军事科学院系统工程研究院系统总体研究所 一种多模态试验数据的智能评估方法和装置
CN120470522B (zh) * 2025-04-24 2026-01-27 军事科学院系统工程研究院系统总体研究所 一种多模态试验数据的智能评估方法和装置
CN120277396A (zh) * 2025-06-04 2025-07-08 红杉天枰科技集团有限公司 基于深度学习的智适应碳源投加方法及系统
CN120783905A (zh) * 2025-06-24 2025-10-14 复旦大学 多模态空气污染物的预测方法、装置、设备、介质及产品
CN120726042A (zh) * 2025-08-27 2025-09-30 国网浙江省电力有限公司舟山供电公司 一种基于多模态的设备缺陷检测方法及设备
CN120761914A (zh) * 2025-09-05 2025-10-10 成都高投芯未半导体有限公司 一种igbt管漏电检测方法、装置、介质及设备
CN120853773A (zh) * 2025-09-23 2025-10-28 陕西中医药大学附属医院 一种中医肿瘤协同治疗临床数据分析方法
CN120875511A (zh) * 2025-09-25 2025-10-31 上海盛巨信息技术有限公司 基于多模态数据的医疗实验流程优化方法及系统

Also Published As

Publication number Publication date
CN113870259B (zh) 2022-04-01
JP2024545047A (ja) 2024-12-05
CN113870259A (zh) 2021-12-31
JP7599060B2 (ja) 2024-12-12
EP4432219A1 (en) 2024-09-18
EP4432219A4 (en) 2025-01-29
EP4432219B1 (en) 2026-03-25

Similar Documents

Publication Publication Date Title
WO2023098524A1 (zh) 多模态医学数据融合的评估方法、装置、设备及存储介质
Jang et al. Diagnostic performance of endoscopic ultrasound‐artificial intelligence using deep learning analysis of gallbladder polypoid lesions
CN112102321A (zh) 一种基于深度卷积神经网络的病灶图像分割方法及系统
CN113951866B (zh) 一种基于深度学习的子宫肌瘤诊断方法及装置
CN112884759B (zh) 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置
KR20200080626A (ko) 병변 진단에 대한 정보 제공 방법 및 이를 이용한 병변 진단에 대한 정보 제공용 디바이스
CN109636806B (zh) 一种基于多步学习的三维核磁共振胰腺图像分割方法
CN104834943A (zh) 一种基于深度学习的脑肿瘤分类方法
CN111353998A (zh) 一种基于人工智能的肿瘤诊疗预测模型及装置
CN115082381A (zh) 一种基于u型网络的多目标分割方法及装置
John et al. Prostate cancer prediction from multiple pretrained computer vision model
WO2020263002A1 (ko) 혈관 세그멘테이션 방법
Akilandeswari et al. Enhanced Liver Image Segmentation using Custom Metrics and UNet with FastAI
Han et al. Deep Learning‐Based CT Image Characteristics and Postoperative Anal Function Restoration for Patients with Complex Anal Fistula
Liu et al. A hybrid classification model with radiomics and CNN for high and low grading of prostate cancer Gleason score on mp-MRI
CN111275103A (zh) 多视角信息协作的肾脏良恶性肿瘤分类方法
CN115953781B (zh) 基于热层析影像的乳腺人工智能分析系统及方法
Ibrahim et al. Liver Multi-class Tumour Segmentation and Detection Based on Hyperion Pre-trained Models.
CN117198511A (zh) 一种基于深度学习的儿童后颅窝肿瘤诊断方法
Chang et al. Image segmentation in 3D brachytherapy using convolutional LSTM
Celik et al. Forecasting the “T” stage of esophageal cancer by deep learning methods: A pilot study
Chen et al. An automatic prostate surgical region reconstruction method based on multilevel learning
CN115619810B (zh) 一种前列腺分区分割方法、系统及设备
Pocė et al. Pancreas segmentation in CT images: state of the art in clinical practice
CN116168823A (zh) 基于pet/ct影像的肺癌全身检测方法及相关装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22900329

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2024532692

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2022900329

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022900329

Country of ref document: EP

Effective date: 20240613

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 11202403636Y

Country of ref document: SG

WWG Wipo information: grant in national office

Ref document number: 11202403636Y

Country of ref document: SG

WWG Wipo information: grant in national office

Ref document number: 2022900329

Country of ref document: EP