CN114820573B - 基于半监督学习的房颤辅助分析方法 - Google Patents

基于半监督学习的房颤辅助分析方法 Download PDF

Info

Publication number
CN114820573B
CN114820573B CN202210563074.0A CN202210563074A CN114820573B CN 114820573 B CN114820573 B CN 114820573B CN 202210563074 A CN202210563074 A CN 202210563074A CN 114820573 B CN114820573 B CN 114820573B
Authority
CN
China
Prior art keywords
feature map
layer
convolution
left atrium
strain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210563074.0A
Other languages
English (en)
Other versions
CN114820573A (zh
Inventor
赵春艳
赵晨霁
张记龙
向顺
吴清
苏卫华
郭世杰
王元全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202210563074.0A priority Critical patent/CN114820573B/zh
Publication of CN114820573A publication Critical patent/CN114820573A/zh
Application granted granted Critical
Publication of CN114820573B publication Critical patent/CN114820573B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Geometry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Processing (AREA)

Abstract

本发明为一种基于半监督学习的房颤辅助分析方法，首先，搭建图像分割模型，图像分割模型包括编码器和解码器，编码器和解码器均包括三个卷积模块和两个多层感知器模块，编码器和解码器对应模块之间跳跃连接,多层感知器模块将特征图在宽度、高度和深度三个方向上进行移动，进而将多层感知器扩展至三维方向；设计损失函数对图像分割模型进行训练，将心脏磁共振图像输入到训练后的图像分割模型中，得到左心房分割预测图；基于左心房分割预测图，计算左心房体积、应变、应变率和射血分数四种临床指标，根据临床指标是否在正常参考范围内，辅助医生分析房颤。充分利用CNN擅长捕捉局部信息和MLP擅长捕捉全局信息的特点，提高分割精度，对于临床实践具有重要意义。

Description

基于半监督学习的房颤辅助分析方法
技术领域
本发明涉及医学图像分割技术领域，特别是涉及一种基于半监督学习的房颤辅助分析方法。
背景技术
房颤是最常见的心律失常且起源于心房的心脏疾病，据估计全球有超过3000万人受其影响，虽然通过适当的治疗手段可以降低患病风险，但房颤通常是隐匿的，很难及时诊断和干预。目前房颤的诊断方法主要有心脏触诊、光学体积描记术、血压监测振动法和心电图。由于大多数患者主要为阵发性房颤，这四种诊断方法不一定能准确捕捉到房颤发作时间，而且诊断周期长、成本高、准确率低，而且容易受医生主观影响。
左心房的解剖结构为房颤病理研究提供了重要信息，左心房的体积、应变、应变率和射血分数都是预测房颤的独立因子，与健康群体相比，房颤患者的左心房体积显著增大，应变及应变率降低，射血分数降低，目前临床上主要采用这四种临床指标评估房颤，对初步评估房颤具有重要意义。这些临床指标计算的准确性取决于左心房轮廓的准确描绘。随着深度学习的发展，研究者提出许多方法分割左心房，但是大多数采用二维分割方法，临床数据大多数都是三维的，采用二维方法训练模型无法利用切片间的信息，会丢失部分病理信息。三维分割方法不仅能利用切片内的信息，还能利用切片间的解剖结构信息，通常是医学诊断、患者分层和临床治疗的必要条件。
卷积神经网络(CNN)的分割方法主要利用卷积核或滤波器不断地提取特征，许多研究表明特征的实际感受野远小于理论感受野，这不利于充分利用上下文信息进行特征捕获，但是CNN在处理局部特征方面具有优势。多层感知器(MLP)的全连接层通常来说更加擅长捕获全局的上下文信息与空间解剖关系，但是并不擅长捕捉局部的特征。MLP模型的参数量和计算效率均优于同期的CNN，不需要在性能和效率之间有过多取舍。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提出一种基于半监督学习的房颤辅助分析方法；首先，利用图像分割模型得到左心房分割预测图，再基于左心房分割预测图计算左心房体积、应变、应变率和射血分数这四种临床指标，将其与正常参考范围比较，辅助医生诊断是否患有房颤。
本发明解决所述技术问题采用的技术方案如下：
一种基于半监督学习的房颤辅助分析方法，其特征在于，该方法包括以下内容：
1)搭建图像分割模型，图像分割模型包括编码器和解码器，编码器和解码器均包括三个卷积模块和两个多层感知器模块，编码器和解码器对应模块之间跳跃连接；卷积模块包括卷积层、归一化层和激活函数层，多层感知器模块包括在宽度方向具有移动窗口的多层感知器、在高度方向具有移动窗口的多层感知器、在深度方向具有移动窗口的多层感知器、归一化层、激活函数层和随机失活层；多层感知器模块将特征图在宽度、高度和深度三个方向上进行移动，进而将多层感知器扩展至三维方向；
2)设计损失函数对图像分割模型进行训练，损失函数包含监督损失和无监督不确定度损失，将心脏磁共振图像输入到训练后的图像分割模型中，得到左心房分割预测图；
3)基于左心房分割预测图，计算左心房体积、应变、应变率和射血分数四种临床指标，根据临床指标是否在正常参考范围内，辅助医生分析房颤；
左心房体积的计算公式为：
其中，L表示左心房后壁至二尖瓣附着点之间的距离，A1、A2分别表示二腔室长轴视图和四腔室视图中左心房的切片面积，切片面积通过像素点个数乘以空间分辨率得到；
绘制左心房体积随时间的变化曲线，计算曲线的梯度，梯度小于0的时间段表明左心房在持续收缩，因此将梯度小于0的起始时间点作为舒张末期，梯度小于0的终止时间点作为收缩末期；
计算左心房的应变、应变率以及射血分数，应变包括周向应变、总应变、被动应变和主动应变，应变率是应变对时间的导数；计算公式为：
其中，Lt表示t时刻左心房分割预测图的轮廓周长，L0表示初始时刻左心房分割预测图的轮廓周长，LAEDV表示左心房舒张末期体积，LAESV表示左心房收缩末期体积，LAVpre表示左心房收缩前的体积；
将左心房体积、应变、应变率和射血分数这四项临床指标与正常参考范围作对比，达到辅助分析房颤的目的。
与现有技术相比，本发明的有益效果为：
1.本发明通过图像分割模型提取左心房分割预测图，再基于左心房分割预测图计算左心房体积、应变、应变率和射血分数四种临床指标，将这些指标与正常取值范围比较，辅助医生进行房颤诊断，对患者进行干预治疗，提高对房颤症状和临床诊断的认识，在临床实践中具有重要意义，有利于医学自动诊断技术从实验室到临床应用的发展。
2.本发明的图像分割模型由卷积模块和多层感知器模块构成，充分利用CNN擅长捕捉局部信息和MLP擅长捕捉全局信息的特点；多层感知器模块包括在宽度、高度和深度方向具有移动窗口的多层感知器，将特征图在宽度、高度和深度三个方向上进行移动，进而将多层感知器扩展至三维方向，能够让MLP更好的学习全局语义关系，同时减少了参数的数量和计算复杂度，产生更好的表示，构造轻量化图像分割模型，以帮助分割。
3.对原始心脏磁共振图像进行包括传统数据增强和图像混合增强在内的预处理，进行数据增强，数据增强在防止模型过度拟合和增强神经网络的泛化能力方面起着至关重要的作用；传统数据增强方法对于模型性能提升有限，且由于心脏磁共振图像的对比度低、边界模糊、左心房结构复杂等问题，传统数据增强方法并不能完全适用于心脏磁共振图像，因此对传统数据增强后的图像进行混合增强，混合后的图像可以提供的更多信息以促进模型的训练。
4.在模型训练过程中通过计算左心房分割预测图的不确定度，用不确定度估计左心房分割预测图的质量，过滤掉不可靠的左心房分割预测图，利用筛选后的左心房分割预测图对模型进行重新训练，使模型学习到最可靠的信息，从而降低模型的整体不确定性。
5.半监督学习是监督学习和无监督学习相结合的一种方法，半监督学习利用了少量的标记图像和大量的标记图像，减少了模型对标记图像的依赖，很大程度上缓解了数据标注的难度，且半监督的分割性能与监督分割相当。为了同时监督标记图像和未标记图像，提出了监督损失和无监督不确定度损失相结合的损失函数，更好地评估网络模型的分割质量，优化模型。
附图说明
图1为本发明的整体流程图；
图2为本发明的图像预处理流程图；
图3为本发明的图像混合增强的流程图；
图4为本发明的图像分割模型的框架图；
图5为本发明的卷积模块的结构图；
图6为本发明的多层感知器模块的结构图；
图7为本发明的具有移动窗口的多层感知器的结构图；
图8为本发明的房颤分析的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明的技术方案进行详细描述，但并不以此限定本申请的保护范围。
本发明为一种基于半监督学习的房颤辅助分析方法(简称方法，参见图1-8)，包括以下步骤：
S1、制作数据集，数据集由若干张原始心脏磁共振图像和预处理后的心脏磁共振图像组成；
获取原始心脏磁共振图像，对原始心脏磁共振图像进行预处理，实现数据扩充；预处理包括传统数据增强和图像混合增强，传统数据增强包括随机翻转、中心裁剪和提高对比度；
图像混合增强是将两张经过传统数据增强后的心脏磁共振图像进行混合，得到混合后的心脏磁共振图像和对应标签；首先，随机选取一张原始心脏磁共振图像Image1进行传统数据增强，原始心脏磁共振图像Image1的标签为Label1，得到增强后的心脏磁共振图像Image1'，标签Label1'；然后，随机选取另一张原始心脏磁共振图像Image2进行传统数据增强，原始心脏磁共振图像Image2的标签为Label2，得到增强后的心脏磁共振图像Image2'，标签Label2'；最后，将增强后的心脏磁共振图像Imagel′和Image2′进行混合，即将增强后的心脏磁共振图像Image1′和Image2′的像素值求平均，得到混合后的心脏磁共振图像Mixed Image和对应标签Mixed Label；
S2、搭建用于左心房分割的图像分割模型；
如图4所示，图像分割模型以VNet网络为基础，包括编码器和解码器，编码器包括三个卷积模块和两个多层感知器模块，解码器也包括三个卷积模块和两个多层感知器模块，编码器和解码器对应模块之间跳跃连接，编码器为压缩路径，解码器为解压缩路径；编码器采用卷积进行下采样，将特征图的分辨率降低为输入图像分辨率的二分之一；解码器块采用转置卷积进行上采样，将压缩后的特征图分辨率增加2倍；卷积模块包括卷积层、归一化层和激活函数层，多层感知器模块包括具有移动窗口的多层感知器、归一化层、激活函数层和随机失活(dropout)层；
编码器的各个模块之间采用步长stride＝2、卷积核filters＝2×2×2的卷积进行下采样，将特征图的分辨率减半，利用卷积代替池化，使得模型训练占用内存更小；解码器的各个模块之间采用步长stride＝2、filters＝2×2×2的转置卷积进行上采样，将压缩后的特征图分辨率加倍；通过跳跃连接将编码路径中具有相同分辨率的模块传递到解码路径，为解码器中相应模块提供原始的高分辨率特征图；编码器的三个卷积模块依次包括1、2、3个卷积层，每个卷积层的卷积核filters＝5×5×5，输入图像随着压缩路径的不同阶段进行前向传播，特征映射的语义区分特性逐层增强，分辨率逐渐降低；解码器的三个卷积模块依次包括3、2、1个卷积层；归一化层使用GroupNorm(GN)函数而不是BatchNorm函数，解决了BatchNorm函数对较小的批次大小(batch size)效果差的问题；激活函数层使用GELU函数代替ReLU函数，这是由于GELU函数在ReLU函数的基础上引入了随机正则思想，使得图像分割模型具有更好的泛化能力；
多层感知器模块包括在宽度方向具有移动窗口的多层感知器、在高度方向具有移动窗口的多层感知器和在深度方向具有移动窗口的多层感知器，将特征图在宽度、高度和深度三个方向上进行移动，进而将多层感知器(MLP)扩展至三维方向，能够让MLP更好的学习全局语义关系；
首先，利用将特征图X在宽度方向上进行移动，将移动后的特征图Xshift映射为分离特征图TW，再利用多层感知器对分离特征图TW进行处理，然后通过深度可分离卷积(DWConv)将处理后的特征图传递至在高度方向具有移动窗口的多层感知器，得到特征图Y；将特征图Y在高度方向上进行移动，将移动后的特征图Yshift映射为分离特征图TH，分离特征图TH经过多层感知器处理后传递至在深度方向具有移动窗口的多层感知器，得到特征图Z；将特征图Z在深度方向上进行移动，将移动后的特征图Z映射为分离特征图TD，分离特征图TD经过多层感知器处理后，再依次经过归一化层、激活函数层和随机失活层，然后进行残差连接，得到多层感知器模块的输出特征图，输出特征图传递到下一个模块；多层感知器模块的表达式为：
Y＝f(DWConv(MLP(TW))) (2)
Z＝f(MLP(TH)) (4)
Y＝f(T+dropout(GELU(GN(MLP(TD))))) (6)
其中，T表示分离特征图，ShiftW(·)、ShiftH(·)和ShiftD(·)分别表示宽度、高度和深度方向上的移动函数，W表示宽度，H表示高度，D表示深度，Tokenize(·)表示映射为分离特征图的函数，MLP(·)表示多层感知器处理函数，f(·)表示传递函数，GN(·)表示归一化函数，GELU(·)表示GELU激活函数，dropout(·)表示过拟合处理函数；
S3、设计损失函数对图像分割模型进行训练，将心脏磁共振图像输入到训练后的图像分割模型中，得到左心房分割预测图；计算左心房分割预测图的不确定度，不确定度越低说明左心房分割预测图效果越好，将不确定度高于不确定度阈值的左心房分割预测图过滤掉，利用不确定度低于不确定度阈值的左心房分割预测图对图像分割模型进行重新训练，得到训练后的图像分割模型，利用训练后的图像分割模型得到左心房分割预测图；
选择预测熵作为度量，近似估计不确定度，公式表达如式(7)和(8)所示；
其中，表示第k次预测为第c类的概率，Pc表示预测为第c类的概率，K表示预测次数；P表示不确定度，不确定度在体素水平估计得到，{P}∈RH*W*D；
损失函数包含监督损失和无监督不确定度损失，损失函数如公式(9)所示；
L＝LS+λLC (9)
其中，LS表示监督损失，LC表示无监督不确定度损失，λ表示控制监督损失和无监督不确定度损失之间平衡的系数；
监督损失的表达式为：
其中，cross_entroy表示交叉熵损失，Dice_loss表示Dice损失；
无监督不确定度损失的表达式为：
其中，g(·)表示指示函数，fv、f‘v分别表示加入扰动前、后图像分割模型在第v体素处的预测，Pv表示第v体素处的不确定度，片表示不确定度阈值；
利用依赖时间的高斯函数λ(t′)来控制监督损失和无监督不确定度损失之间的平衡，这种设计可以确保损失函数开始时由监督损失主导，避免图像分割模型退化，表达式为：
其中，t′表示当前训练步，tmax表示最大训练步；
S4、基于左心房分割预测图，计算左心房体积、应变、应变率和射血分数四种临床指标，根据临床指标是否在正常参考范围内，辅助医生分析房颤；
医学上将左心房舒张到收缩所经历的时间定义为一个完整心动周期，正确识别左心房舒张末期和收缩末期的时间点是房颤分析的关键；由常识可知，人体左心房的体积在舒张末期达到最大值，在收缩末期达到最小值，因此通过计算左心房体积，分析其随时间变化的趋势，从而准确确定左心房舒张末期和收缩末期的时间点；
左心房体积的计算公式为：
其中，L表示左心房后壁至二尖瓣附着点之间的距离，A1、A2分别表示二腔室长轴视图和四腔室视图中左心房的切片面积，切片面积通过像素点个数乘以空间分辨率得到；
绘制左心房体积随时间的变化曲线，并使用高斯滤波平滑该曲线，去除曲线中的局部最小值和最大值；计算曲线的梯度，梯度小于0的时间段表明左心房在持续收缩，因此将梯度小于0的起始时间点作为舒张末期，梯度小于0的终止时间点作为收缩末期；
确定左心房舒张末期和收缩末期的时间点之后，从左心房体积随时间的变化曲线上分别读取左心房舒张末期体积LAEDV、左心房收缩末期体积LAESV和左心房收缩前的体积LAVpre，用于计算左心房的应变、应变率以及射血分数；应变包括周向应变、总应变、被动应变和主动应变，应变率是应变对时间的导数；射血分数是与左心房收缩末期体积和舒张末期体积相关的临床指标；计算公式为：
其中，Lt表示t时刻左心房分割预测图的轮廓周长，L0表示初始时刻左心房分割预测图的轮廓周长；
医生将左心房体积、应变、应变率和射血分数这四项临床指标与正常参考范围作对比，结合经验，诊断是否患有房颤，达到辅助分析房颤的目的。
本发明未述及之处适用于现有技术。

Claims (5)

1.一种基于半监督学习的房颤辅助分析方法，其特征在于，该方法包括以下内容：
1)搭建图像分割模型，图像分割模型包括编码器和解码器，编码器和解码器均包括三个卷积模块和两个多层感知器模块，编码器和解码器对应模块之间跳跃连接；卷积模块包括卷积层、归一化层和激活函数层，多层感知器模块包括在宽度方向具有移动窗口的多层感知器、在高度方向具有移动窗口的多层感知器、在深度方向具有移动窗口的多层感知器、归一化层、激活函数层和随机失活层；多层感知器模块将特征图在宽度、高度和深度三个方向上进行移动，进而将多层感知器扩展至三维方向；
2)设计损失函数对图像分割模型进行训练，损失函数包含监督损失和无监督不确定度损失，将心脏磁共振图像输入到训练后的图像分割模型中，得到左心房分割预测图；
3)基于左心房分割预测图，计算左心房体积、应变、应变率和射血分数四种临床指标，根据临床指标是否在正常参考范围内，辅助医生分析房颤；
左心房体积的计算公式为：
其中，L表示左心房后壁至二尖瓣附着点之间的距离，A1、A2分别表示二腔室长轴视图和四腔室视图中左心房的切片面积；
绘制左心房体积随时间的变化曲线，计算曲线的梯度，梯度小于0的时间段表明左心房在持续收缩，因此将梯度小于0的起始时间点作为舒张末期，梯度小于0的终止时间点作为收缩末期；
计算左心房的应变、应变率以及射血分数，应变包括周向应变、总应变、被动应变和主动应变，应变率是应变对时间的导数；计算公式为：
其中，Lt表示t时刻左心房分割预测图的轮廓周长，L0表示初始时刻左心房分割预测图的轮廓周长，LAEDV表示左心房舒张末期体积，LAESV表示左心房收缩末期体积，LAVpre表示左心房收缩前的体积；
将左心房体积、应变、应变率和射血分数这四项临床指标与正常参考范围作对比，达到辅助分析房颤的目的。
2.根据权利要求1所述的基于半监督学习的房颤辅助分析方法，其特征在于，多层感知器模块的处理过程为：
首先，利用将特征图X在宽度方向上进行移动，将移动后的特征图Xshift映射为分离特征图TW，再利用多层感知器对分离特征图TW进行处理，然后通过深度可分离卷积(DWConv)将处理后的特征图传递至在高度方向具有移动窗口的多层感知器，得到特征图Y；将特征图Y在高度方向上进行移动，将移动后的特征图Yshift映射为分离特征图TH，分离特征图TH经过多层感知器处理后传递至在深度方向具有移动窗口的多层感知器，得到特征图Z；将特征图Z在深度方向上进行移动，将移动后的特征图Z映射为分离特征图TD，分离特征图TD经过多层感知器处理后，再依次经过归一化层、激活函数层和随机失活层，然后进行残差连接，得到多层感知器模块的输出特征图，输出特征图传递到下一个模块；多层感知器模块的表达式为：
Y＝f(DWConv(MLP(TW))) (2)
Z＝f(MLP(TH)) (4)
Y＝f(T+dropout(GELU(GN(MLP(TD))))) (6)
其中，ShiftW(·)、ShiftH(·)和ShiftD(·)分别表示宽度、高度和深度方向上的移动函数，W表示宽度，H表示高度，D表示深度，Tokenize(·)表示映射为分离特征图的函数，MLP(·)表示多层感知器处理函数，f(·)表示传递函数，GN(·)表示归一化函数，GELU(·)表示GELU激活函数，dropout(·)表示过拟合处理函数，T表示分离特征图。
3.根据权利要求1或2所述的基于半监督学习的房颤辅助分析方法，其特征在于，编码器的各个模块之间采用步长为2、卷积核为2×2×2的卷积进行下采样；解码器的各个模块之间采用步长为2、卷积核为2×2×2的转置卷积进行上采样；编码器的三个卷积模块依次包括1、2、3个卷积层，解码器的三个卷积模块依次包括3、2、1个卷积层，编码器和解码器的卷积层的卷积核均为5×5×5。
4.根据权利要求1所述的基于半监督学习的房颤辅助分析方法，其特征在于，在图像分割模型训练过程中还包括计算左心房分割预测图的不确定度，将不确定度高于不确定度阈值的左心房分割预测图过滤，利用不确定度低于不确定度阈值的左心房分割预测图对图像分割模型进行重新训练，得到训练后的图像分割模型；
选择预测熵作为度量，近似估计不确定度，如式(7)和(8)所示；
其中，表示第k次预测为第c类的概率，Pc表示预测为第c类的概率，K表示预测次数；P表示不确定度。
5.根据权利要求1所述的基于半监督学习的房颤辅助分析方法，其特征在于，该方法还包括获取原始心脏磁共振图像，对原始心脏磁共振图像进行预处理，实现数据扩充；预处理包括传统数据增强和图像混合增强，传统数据增强包括随机翻转、中心裁剪和提高对比度；图像混合增强是将两张经过传统数据增强后的心脏磁共振图像的像素值求平均进行混合，得到混合后的心脏磁共振图像和对应标签。
CN202210563074.0A 2022-05-18 2022-05-18 基于半监督学习的房颤辅助分析方法 Active CN114820573B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210563074.0A CN114820573B (zh) 2022-05-18 2022-05-18 基于半监督学习的房颤辅助分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210563074.0A CN114820573B (zh) 2022-05-18 2022-05-18 基于半监督学习的房颤辅助分析方法

Publications (2)

Publication Number Publication Date
CN114820573A CN114820573A (zh) 2022-07-29
CN114820573B true CN114820573B (zh) 2024-10-25

Family

ID=82517836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210563074.0A Active CN114820573B (zh) 2022-05-18 2022-05-18 基于半监督学习的房颤辅助分析方法

Country Status (1)

Country Link
CN (1) CN114820573B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115565671B (zh) * 2022-10-14 2025-06-27 河北工业大学 基于跨模型相互教学半监督的房颤辅助分析方法
CN117058163A (zh) * 2023-03-02 2023-11-14 重庆理工大学 基于多尺度大卷积核的深度可分离医疗图像分割算法
CN116977330B (zh) * 2023-09-21 2023-12-08 天津医科大学总医院 基于脉冲神经网络和上下文感知的房颤辅助分析方法
CN117011315B (zh) * 2023-10-07 2023-12-29 中国人民解放军总医院第二医学中心 一种lge mri左心房瘢痕分割系统及方法
CN117576119B (zh) * 2023-12-05 2024-07-26 河北工程大学 一种基于压缩-激励网络的半监督左心房分割方法
CN119540548A (zh) * 2024-10-10 2025-02-28 郑州大学 一种基于可学习视觉中心机制和多层感知机的胎盘图像分割方法
CN120635177A (zh) * 2025-04-28 2025-09-12 拓微摹心数据科技(南京)有限公司 一种左心房容积自动计算方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110874860A (zh) * 2019-11-21 2020-03-10 哈尔滨工业大学 基于混合损失函数的对称监督模型的目标提取方法
CN112399819A (zh) * 2018-07-02 2021-02-23 3M创新有限公司 用于监测时间相关过程的传感系统和方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801294A (zh) * 2018-12-14 2019-05-24 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN113130024B (zh) * 2019-12-31 2024-10-29 华为技术有限公司 医疗事件的预测方法及穿戴设备、计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112399819A (zh) * 2018-07-02 2021-02-23 3M创新有限公司 用于监测时间相关过程的传感系统和方法
CN110874860A (zh) * 2019-11-21 2020-03-10 哈尔滨工业大学 基于混合损失函数的对称监督模型的目标提取方法

Also Published As

Publication number Publication date
CN114820573A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN114820573A (zh) 基于半监督学习的房颤辅助分析方法
CN112488976B (zh) 一种基于darts网络的多模态医学图像融合方法
CN115830041B (zh) 一种基于交叉融合卷积与可变形注意力Transformer的3D医学图像分割方法
CN111861910B (zh) 一种ct图像降噪系统及方法
CN111192245A (zh) 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN114820632A (zh) 基于双通道U形改进Transformer网络的视网膜血管图像分割方法
CN114862865B (zh) 基于多视角冠状动脉造影序列图像的血管分割方法及系统
KR20210016860A (ko) 초음파 영상 기반의 기계 학습을 통한 관상동맥 병변 진단 시스템 및 이의 진단 방법
CN114767163B (zh) 基于超声心动图的儿童先天性心脏病智能诊断系统
CN113421250A (zh) 一种基于无病变影像训练的眼底疾病智能诊断方法
CN115565671A (zh) 基于跨模型相互教学半监督的房颤辅助分析方法
CN113344991A (zh) 基于深度学习的无监督医学图像配准方法及系统
Feng et al. GCFormer: Multi-scale feature plays a crucial role in medical images segmentation
CN115063657A (zh) 基于异构特征融合的缺血性脑卒中发病风险预测模型
CN115410032A (zh) 基于自监督学习的octa图像分类结构训练方法
CN118507065A (zh) 基于ecg和cmr数据的跨模态数据分析方法
CN111145901A (zh) 深静脉血栓溶栓疗效预测方法及系统、存储介质与终端
CN116434947A (zh) 一种基于多模态深度学习的主动脉瓣反流检测系统
CN120316447A (zh) 一种基于混合优化与多模态特征融合的心电信号重构方法
Yang et al. AMF-NET: Attention-aware multi-scale fusion network for retinal vessel segmentation
CN114119538A (zh) 一种肝静脉及肝门静脉的深度学习分割系统
Zhou et al. Motico: an attentional mechanism network model for smart aging disease risk prediction based on image data classification
CN117058376A (zh) 一种基于改进Unet++的脑部影像数据处理方法
CN119516284B (zh) 一种异质图卷积癫痫分类模型构建方法、癫痫监测装置、设备及介质
CN120876937A (zh) 一种基于舌象-视网膜图像双模态特征融合的糖尿病前期预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant