CN119540468B - 针对软组织的多角度摄影及三维重建方法及系统 - Google Patents
针对软组织的多角度摄影及三维重建方法及系统 Download PDFInfo
- Publication number
- CN119540468B CN119540468B CN202510091349.9A CN202510091349A CN119540468B CN 119540468 B CN119540468 B CN 119540468B CN 202510091349 A CN202510091349 A CN 202510091349A CN 119540468 B CN119540468 B CN 119540468B
- Authority
- CN
- China
- Prior art keywords
- data
- feature
- image
- soft tissue
- tissue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three-dimensional [3D] modelling for computer graphics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种针对软组织的多角度摄影及三维重建方法及系统,涉及软组织三维重建技术领域,包括基于深度学习分析软组织特征,生成球管运动轨迹及采样间隔数据,控制机械臂驱动球管多角度采集投影图像;利用图像质量评估网络筛选最优图像序列,并进行材料分解、特征提取、空间配准、图像优化等预处理;将优化图像和材料特征输入重建模型,结合解剖结构模板进行迭代计算生成密度分布数据,并基于密度分布数据进行曲面重建和基于图卷积的组织智能分割,最终生成包含组织分层信息的三维模型。
Description
技术领域
本发明涉及软组织三维重建技术领域,尤其涉及一种针对软组织的多角度摄影及三维重建方法及系统。
背景技术
软组织的三维重建技术在医学影像领域具有重要应用价值,通过采集多角度投影图像并结合计算机视觉技术,可以获得软组织内部结构的精确三维表示。传统的软组织成像方法主要依赖X射线计算机断层扫描和核磁共振成像等技术,这些技术通过不同能量水平的射线或磁场信号与人体组织的相互作用来获取组织密度和形态信息。随着深度学习技术的发展,基于神经网络的特征提取和图像重建方法在提升软组织成像质量方面取得了显著进展。
然而现有技术中的软组织成像及重建技术仍存在若干问题,传统的固定轨迹扫描方式难以根据不同软组织的特性进行自适应调整,导致采样效率低下且图像质量不均匀;在多角度图像采集过程中,由于患者呼吸运动和设备振动等因素的影响,容易产生空间位置偏差和运动伪影,影响重建精度;未能充分考虑不同组织层次的生物力学特性和形变规律,难以准确反映软组织的层次化结构特征;在噪声抑制和对比度增强方面性能有限,且缺乏对材料特性的精确分析能力。
综上所述,亟需一种自适应多角度摄影及三维重建方法。通过深度卷积神经网络分析软组织特征,实现球管运动轨迹的智能优化;采用视觉伺服控制技术保证采集设备的精确跟踪;结合压缩感知重建和生物力学约束实现高精度三维重建;通过组织分类模型对重建结果进行智能分割,最终获得具有精确层次结构的三维模型。本发明能够解决现有技术中的问题。
发明内容
本发明实施例提供一种针对软组织的多角度摄影及三维重建方法及系统,能够解决现有技术中的问题。
本发明实施例的第一方面,
提供一种针对软组织的多角度摄影及三维重建方法,包括:
采用深度卷积神经网络对受检软组织进行特征分析,获得软组织的体积参数和密度分布参数;基于体积参数和密度分布参数,通过轨迹优化算法生成球管运动轨迹数据和采样间隔数据;根据所述球管运动轨迹数据控制多自由度机械手驱动球管运动,并通过视觉伺服控制器调节所述多自由度机械手带动探测器组件进行同步跟踪;根据所述采样间隔数据,控制球管在预设的第一能量水平范围和第二能量水平范围分别采集软组织投影图像,获得多角度软组织投影数据集;
将所述多角度软组织投影数据集输入图像质量评估网络,生成图像质量评分数据,根据所述图像质量评分数据筛选获得最优图像序列数据;对所述最优图像序列数据进行材料分解处理,采用多尺度特征融合网络提取软组织结构特征数据和材料特征数据;将所述软组织结构特征数据与惯性传感数据进行特征点匹配,通过自校正空间配准算法生成配准图像数据;对所述配准图像数据依次进行基于小波变换的自适应降噪处理和局部对比度增强处理,获得优化多角度图像数据;
将所述优化多角度图像数据和所述材料特征数据输入压缩感知重建模型,结合人体软组织解剖结构模板构建正则化约束条件,通过迭代计算生成软组织密度分布数据;基于所述软组织密度分布数据,采用自适应网格划分算法进行曲面重建,生成初始三维模型数据;将所述初始三维模型数据输入图卷积特征提取网络,提取拓扑特征数据和形态特征数据;根据所述拓扑特征数据和所述形态特征数据构建组织分类模型,对不同密度区域进行智能分割,生成包含组织分层信息的三维模型数据。
在一种可选的实施例中,
基于体积参数和密度分布参数,通过轨迹优化算法生成球管运动轨迹数据和采样间隔数据包括:
基于所述体积参数确定空间包络区域,在所述空间包络区域内建立三维网格,采用自适应网格划分策略对所述三维网格进行递归细化,通过计算网格单元的密度曲率值和梯度变化率,确定网格细化程度,当所述密度曲率值大于第一预设阈值或所述梯度变化率大于第二预设阈值时,对网格单元进行细分,当所述密度曲率值和所述梯度变化率均小于第三预设阈值时,对网格单元进行合并;
构建密度特征张量,所述密度特征张量包含网格节点的密度值、密度梯度值和密度海森矩阵特征值,基于所述密度特征张量计算网格节点的重要性得分,选取所述重要性得分大于预设阈值的网格节点作为候选采样节点,对所述候选采样节点进行层次聚类,并在每个聚类中引入拓扑约束确定关键采样点;
建立结合射线衰减和散射效应的成像质量评价模型,将所述成像质量评价模型输出的图像清晰度指标和信噪比指标加入路径优化目标函数,基于所述关键采样点构建最优访问序列的优化问题,采用自适应步长的迭代优化算法求解连接所述关键采样点的最优路径;
在优化过程中引入局部搜索策略,当检测到所述关键采样点之间的连接路径存在局部次优解时,基于禁忌搜索方法对局部路径段进行重构,并利用路径平滑性约束对重构后的路径进行修正,生成连接所有所述关键采样点的球管运动轨迹数据;
根据所述球管运动轨迹数据将相邻所述关键采样点之间的路径划分为多个采样区域,在每个所述采样区域内建立密度梯度直方图,基于所述密度梯度直方图的统计特性,确定采样间隔的初始值,结合所述关键采样点的组织界面跃变程度,对采样间隔进行自适应调整,生成所述采样间隔数据。
在一种可选的实施例中,
根据所述球管运动轨迹数据控制多自由度机械手驱动球管运动,并通过视觉伺服控制器调节所述多自由度机械手带动探测器组件进行同步跟踪包括:
构建球管与探测器组件之间的视觉特征空间和控制空间的映射关系,提取球管和探测器组件的特征点以及特征点坐标,建立所述特征点在视觉系统坐标系下的三维坐标映射,通过所述三维坐标映射计算图像特征对所述多自由度机械手运动的偏导数,生成图像雅可比矩阵;
采集探测器组件相对于球管的实时位置坐标和姿态角度,计算探测器组件相对于球管的位置偏差向量和姿态偏差向量,将所述位置偏差向量和所述姿态偏差向量组合构建误差向量,基于误差向量和图像雅可比矩阵确定动态补偿控制律,生成所述多自由度机械手的初始控制输出;
基于误差向量的模值和预设的误差阈值的比较结果,确定比例增益系数的调整方向,根据预先设定的多自由度机械手的运动稳定性指标,确定阻尼系数的调整方向,当所述误差向量的模值大于第一误差阈值时,按照预设比例降低所述比例增益系数,当所述误差向量的模值小于第二误差阈值时,按照预设比例增加所述比例增益系数,生成自适应调整后的控制参数;
在预设的观测时间窗口内,采集球管与探测器组件之间的相对特征变化量和多自由度机械手的关节运动增量,将相对特征变化量和关节运动增量输入递推最小二乘估计器计算协方差矩阵,基于协方差矩阵计算卡尔曼增益矩阵,基于卡尔曼增益矩阵对所述图像雅可比矩阵进行更新,得到实时图像雅可比矩阵;
将所述初始控制输出和所述实时图像雅可比矩阵输入自抗扰观测器,计算多自由度机械手运动过程中的外部综合干扰项,将所述外部综合干扰项的补偿值与初始控制输出进行叠加,生成补偿控制输出;计算探测器组件相对于球管的实际跟踪轨迹与期望跟踪轨迹之间的偏差距离,根据所述偏差距离构建自适应滑模控制项,将所述自适应滑模控制项与所述补偿控制输出进行叠加,生成滑模修正控制输出;
在多个采样周期,重复执行操作,生成调节所述多自由度机械手的最终控制指令。
在一种可选的实施例中,
将所述多角度软组织投影数据集输入图像质量评估网络,生成图像质量评分数据,根据所述图像质量评分数据筛选获得最优图像序列数据包括:
将多角度软组织投影数据输入特征分离网络,通过双分支结构分别提取图像的细节特征和结构特征,分别构建频域注意力图,根据所述频域注意力图对细节特征和结构特征进行增强,得到增强双频域特征数据;
将所述双频域特征数据输入包含多个残差密集块的残差密集连接网络,每个残差密集块内部采用密集连接方式串联多个卷积层,相邻残差密集块之间通过跳跃连接进行特征复用,提取多层次图像特征,得到多尺度特征图;
构建自注意力金字塔模块,将所述多尺度特征图划分为不同尺度的特征区块,计算不同特征区块之间的相关性矩阵,根据所述相关性矩阵生成注意力权重,对特征区块进行自适应加权,得到融合特征数据;
将所述融合特征数据输入不确定性学习模块,所述不确定性学习模块包含两个并行分支,通过第一分支输出质量评分预测值,通过第二分支输出预测不确定性估计值,将质量评分预测值和预测不确定性估计值结合,生成可信度加权的质量评分;
根据可信度加权的质量评分对图像进行排序,获取初始候选序列,对所述初始候选序列中的图像进行成对相似度计算,构建相似度矩阵;基于所述相似度矩阵对所述初始候选序列进行聚类分析,将相似度高于预设的相似度阈值的图像归为同一类别,在每个类别中选取质量评分最高的图像作为类别标记图像;
计算所述初始候选序列中各图像与对应类别标记图像的互信息,根据互信息和质量评分的加权组合,对图像重排序,按照预设的前排比例,选取对应排名且满足最小图像数量要求的图像,组成最优图像序列。
在一种可选的实施例中,
将所述软组织结构特征数据与惯性传感数据进行特征点匹配,通过自校正空间配准算法生成配准图像数据包括:
在所述软组织结构特征数据中,对每个候选特征点构建预设半径的圆形邻域,计算所述圆形邻域内像素点与中心点的灰度差值和所述圆形邻域的灰度方差,当连续多个像素点的灰度差值大于预设的灰度差阈值,且灰度方差大于预设的灰度方差阈值时,将所述候选特征点标记为结构特征点,得到软组织特征点集;
对所述惯性传感数据进行卡尔曼滤波预处理,得到滤波数据,对所述滤波数据进行空间积分,获取传感器位置坐标,并投影至图像平面得到位置特征点集;对所述位置特征点集中的每个位置特征点计算马氏距离,剔除马氏距离大于预设距离阈值的位置特征点,得到优化位置特征点集;
计算所述软组织特征点集和所述优化位置特征点集中每个特征点对应邻域的矩阵特征值比值,得到局部结构复杂度;
根据所述局部结构复杂度自适应调整采样半径,在每个特征点周围构建多尺度采样模式,基于所述多尺度采样模式分别提取软组织特征点集和优化位置特征点集中各特征点的特征描述向量;
计算所述特征描述向量之间的互信息系数和相对位置关系参数,根据所述互信息系数和所述相对位置关系参数对软组织特征点集和优化位置特征点集进行匹配,得到初始匹配点对集合;
计算所述初始匹配点对集合中每对匹配点的特征描述向量互信息系数和局部空间变换一致性程度,结合所述惯性传感数据提供的运动约束,生成匹配可信度分数;根据所述匹配可信度分数对所述初始匹配点对集合进行筛选,选取所述匹配可信度分数高于预设的匹配可信度分数阈值的匹配点对,作为优选匹配点对;基于所述优选匹配点对构建空间变换矩阵,根据当前匹配误差分布自适应确定损失函数阈值参数;
基于所述损失函数阈值参数,结合Huber损失函数,对所述空间变换矩阵进行参数优化,当优化过程中所述空间变换矩阵的参数变化量小于预设的矩阵参数变化量阈值时,将当前的所述空间变换矩阵确定为最优变换矩阵;
根据所述最优变换矩阵对所述软组织结构特征数据进行空间变换,生成配准图像数据。
在一种可选的实施例中,
将所述优化多角度图像数据和所述材料特征数据输入压缩感知重建模型,结合人体软组织解剖结构模板构建正则化约束条件,通过迭代计算生成软组织密度分布数据包括:
根据材料特征数据获取光子衰减系数,构建组织衰减系数矩阵,基于组织衰减系数矩阵建立线性密度映射函数,得到材料-密度映射模型;
基于优化多角度图像数据构建正交稀疏基矩阵,计算投影数据在所述正交稀疏基矩阵下的稀疏表示系数;
从人体软组织解剖结构模板中,提取组织界面位置坐标和界面曲率值,基于所述界面位置坐标和所述界面曲率值构建解剖学特征约束;
利用所述界面位置坐标,将密度重建空间划分为多个连续子区域,在连续子区域内部,施加密度连续性约束,在所述界面位置坐标处,构建可控跳变的分段连续约束函数,生成密度分布正则化项;
计算重建空间中相邻图像块的结构相似度系数,根据所述结构相似度系数构建非局部差分算子,将非局部差分算子作用于密度分布数据,建立结构保持约束项;
将所述材料-密度映射模型、所述解剖学特征约束、所述密度分布正则化项和所述结构保持约束项组合为联合优化目标函数;通过增广拉格朗日方法对所述联合优化目标函数进行变量分解,得到投影一致性约束项和结构保持约束项;
基于所述投影一致性约束项,通过共轭梯度法求解投影系数矩阵,基于所述结构保持约束项,通过近端梯度下降法优化约束参数,获得当前迭代的密度分布图像;
基于历史重建数据构建三层字典学习网络,训练得到不同尺度组织结构的特征字典组;
将当前迭代的密度分布图像在所述特征字典组中进行稀疏分解,计算各尺度下的重建误差,选择重建误差最小的特征字典进行密度分布重构,得到优化密度图像;
计算相邻两次迭代获得的优化密度图像之间的欧氏距离差值,当所述欧氏距离差值小于预设的密度图像距离差阈值时,将当前的优化密度图像确定为所述软组织密度分布数据。
在一种可选的实施例中,
根据所述拓扑特征数据和所述形态特征数据构建组织分类模型,对不同密度区域进行智能分割,生成包含组织分层信息的三维模型数据包括:
将拓扑特征数据和形态特征数据输入三维卷积提取网络,获得多尺度特征映射序列,基于所述多尺度特征映射序列构建特征层次网络,计算局部结构张量矩阵,从所述局部结构张量矩阵中提取组织边界方向向量和主曲率参数,生成结构描述向量;
利用所述结构描述向量构建组织连通图模型,所述组织连通图模型的图节点存储局部结构描述向量,图边存储相邻节点之间的空间位置关系;
构建基于相变扩散的特征增强单元,将所述组织连通图模型输入非线性扩散方程,求解所述非线性扩散方程,得到增强边界特征和增强内部结构特征,并更新所述组织连通图模型的节点特征;
基于领域知识建立软组织弹性力学模型,将组织应力应变关系转换为节点位移约束参数,生成生物力学约束条件,根据所述生物力学约束条件计算组织变形应变能,构建基于组织变形应变能最小化准则的区域增长函数;
根据所述区域增长函数对所述组织连通图模型进行分层迭代分割,得到分割区域,计算分割区域的组织变形应变能的数值,将相邻区域的组织变形应变能差值大于预设应变能差值阈值的边界,确定为组织分界点集;基于所述组织分界点集构建组织层次标签集合,建立组织分层规则库,生成组织层次数据;
对所述组织层次数据进行可信度计算,得到区域分类可信度值,将所述区域分类可信度值低于预设可信度阈值的区域标记为待优化区域集合;
采用邻域信息传递算法对所述待优化区域集合进行迭代优化,更新节点特征参数和边约束参数,直至所有区域的分类可信度值均大于所述预设可信度阈值,得到优化分类标识数据;
将所述优化分类标识数据与所述密度分布数据进行空间配准融合,生成带有解剖结构标注的三维软组织模型。
本发明实施例的第二方面,
提供一种针对软组织的多角度摄影及三维重建系统,包括:
第一单元,用于采用深度卷积神经网络对受检软组织进行特征分析,获得软组织的体积参数和密度分布参数;基于体积参数和密度分布参数,通过轨迹优化算法生成球管运动轨迹数据和采样间隔数据;根据所述球管运动轨迹数据控制多自由度机械手驱动球管运动,并通过视觉伺服控制器调节所述多自由度机械手带动探测器组件进行同步跟踪;根据所述采样间隔数据,控制球管在预设的第一能量水平范围和第二能量水平范围分别采集软组织投影图像,获得多角度软组织投影数据集;
第二单元,用于将所述多角度软组织投影数据集输入图像质量评估网络,生成图像质量评分数据,根据所述图像质量评分数据筛选获得最优图像序列数据;对所述最优图像序列数据进行材料分解处理,采用多尺度特征融合网络提取软组织结构特征数据和材料特征数据;将所述软组织结构特征数据与惯性传感数据进行特征点匹配,通过自校正空间配准算法生成配准图像数据;对所述配准图像数据依次进行基于小波变换的自适应降噪处理和局部对比度增强处理,获得优化多角度图像数据;
第三单元,用于将所述优化多角度图像数据和所述材料特征数据输入压缩感知重建模型,结合人体软组织解剖结构模板构建正则化约束条件,通过迭代计算生成软组织密度分布数据;基于所述软组织密度分布数据,采用自适应网格划分算法进行曲面重建,生成初始三维模型数据;将所述初始三维模型数据输入图卷积特征提取网络,提取拓扑特征数据和形态特征数据;根据所述拓扑特征数据和所述形态特征数据构建组织分类模型,对不同密度区域进行智能分割,生成包含组织分层信息的三维模型数据。
本发明实施例的第三方面,
提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行前述所述的方法。
本发明实施例的第四方面,
提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述所述的方法。
在本发明实施例中,通过深度学习网络进行图像质量评估和筛选,并结合自适应降噪、局部对比度增强等处理方法优化图像数据,有效提高了投影图像的质量;利用多尺度特征融合网络提取软组织的结构和材料特征,结合人体解剖结构模板构建正则化约束条件,提高了三维重建的精度和准确性;利用图卷积特征提取网络提取三维模型的拓扑和形态特征,构建组织分类模型,实现了对不同密度区域的智能分割,最终生成包含组织分层信息的三维模型,有助于更精细地分析软组织的结构和病变情况;采用深度学习网络分析软组织特征,并通过轨迹优化算法生成球管运动轨迹和采样间隔数据,实现球管和探测器的同步跟踪,自动化程度高,优化了成像流程,提高了成像效率。
附图说明
图1为本发明实施例针对软组织的多角度摄影及三维重建方法的流程示意图;
图2为本发明实施例针对软组织的多角度摄影及三维重建系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明实施例针对软组织的多角度摄影及三维重建方法的流程示意图,如图1所示,所述方法包括:
S101.采用深度卷积神经网络对受检软组织进行特征分析,获得软组织的体积参数和密度分布参数;基于体积参数和密度分布参数,通过轨迹优化算法生成球管运动轨迹数据和采样间隔数据;根据所述球管运动轨迹数据控制多自由度机械手驱动球管运动,并通过视觉伺服控制器调节所述多自由度机械手带动探测器组件进行同步跟踪;根据所述采样间隔数据,控制球管在预设的第一能量水平范围和第二能量水平范围分别采集软组织投影图像,获得多角度软组织投影数据集;
所述第一能量水平范围具体是指较低的X射线能量范围,通常为低千伏值,如40-70kVp),用于捕捉软组织的细节和对低密度材料的衰减信息更敏感的数据。在对应的能量范围内,X射线的穿透能力较弱,但对软组织和低密度区域的对比度较高。
所述第二能量水平范围具体是指较高的X射线能量范围,通常为中高千伏值,如80-140kVp),用于穿透较高密度的组织(如骨骼)或对软组织与材料差异的深度对比分析。在对应的能量范围内,X射线具有更强的穿透能力,可以减少低能量射线中的散射效应,同时为多能量成像提供补充信息。
采用深度卷积神经网络对受检软组织进行特征分析。该网络包含特征提取层和分析层,通过多层卷积运算提取软组织的密度分布、边界轮廓和空间结构等特征,经过网络分析后输出两类关键参数:反映软组织整体大小和形状的体积参数,以及表征软组织内部结构密度变化的密度分布参数。
基于获取的体积参数和密度分布参数,通过轨迹优化算法进行计算分析。该算法综合考虑软组织的空间分布特征、扫描覆盖要求和设备运动约束,优化生成两组数据:用于指导球管空间运动的轨迹数据,以及决定采样位置分布的采样间隔数据。其中轨迹数据包含球管运动的空间坐标序列,采样间隔数据包含各采样点的位置和采样时序信息。
采用多自由度机械手控制系统执行球管运动。机械手根据轨迹数据驱动球管按照预定路径运动,同时配备视觉伺服控制器实时获取球管位置信息,并据此调节多自由度机械手带动探测器组件进行位置跟踪,确保球管与探测器之间保持精确的相对位置关系,实现同步运动控制。
根据采样间隔数据确定具体的采样时刻和位置,在每个采样位置分别使用两个预设能量范围进行投影成像。第一能量水平范围和第二能量水平范围的射线能量具有不同的穿透能力,能够获取软组织不同层次的结构信息。通过这种双能量采集方式,在多个角度位置获取软组织的投影图像,最终形成包含丰富结构信息的多角度软组织投影数据集。
在本实施例中,利用深度卷积神经网络提取软组织的体积参数和密度分布参数,为后续处理提供高精度基础数据;基于轨迹优化算法生成球管运动轨迹和采样间隔数据,提高扫描效率和数据覆盖率,减少冗余采样;多自由度机械手与视觉伺服控制器协同工作,确保球管和探测器组件的运动同步性,提升图像采集的稳定性和精度;在不同能量水平下采集多角度软组织投影图像,丰富数据集,改善软组织成像对比度和细节分辨率;将特征分析、轨迹生成、设备控制和多能量数据采集整合为一体,实现自动化和高效的软组织成像过程。
S102.将所述多角度软组织投影数据集输入图像质量评估网络,生成图像质量评分数据,根据所述图像质量评分数据筛选获得最优图像序列数据;对所述最优图像序列数据进行材料分解处理,采用多尺度特征融合网络提取软组织结构特征数据和材料特征数据;将所述软组织结构特征数据与惯性传感数据进行特征点匹配,通过自校正空间配准算法生成配准图像数据;对所述配准图像数据依次进行基于小波变换的自适应降噪处理和局部对比度增强处理,获得优化多角度图像数据;
将采集的多角度软组织投影数据集输入图像质量评估网络,该网络对每张投影图像的清晰度、对比度、信噪比等指标进行评估打分,生成质量评分数据。基于评分数据筛选出质量最优的图像序列,去除质量不佳的图像。
对筛选后的最优图像序列进行材料分解处理,利用多尺度特征融合网络分析图像特征。该网络通过多个尺度层面提取和融合特征,输出两类数据:反映组织形态结构的结构特征数据,以及表征组织材料属性的材料特征数据。
将提取的软组织结构特征数据与采集过程中记录的惯性传感数据进行特征点匹配,通过自校正空间配准算法对图像进行空间位置校正,消除由于设备运动和患者移动导致的空间位置偏差,生成经过配准的图像数据。
对配准后的图像数据进行两步优化处理:首先使用基于小波变换的自适应降噪算法去除图像噪声,然后进行局部对比度增强处理,提升图像细节表现,最终获得优化后的多角度图像数据。
在本实施例中,通过图像质量评估网络筛选最优图像序列,确保后续处理基于高质量数据,提升结果可靠性;采用多尺度特征融合网络提取软组织结构和材料特征数据,增强对复杂组织信息的识别能力;结合惯性传感数据进行特征点匹配,利用自校正空间配准算法生成高精度的配准图像数据,减少误差;基于小波变换的自适应降噪处理和局部对比度增强技术,进一步优化图像清晰度和细节表现;对多角度图像数据进行系统处理和优化,为后续分析和诊断提供丰富且准确的图像信息。
S103.将所述优化多角度图像数据和所述材料特征数据输入压缩感知重建模型,结合人体软组织解剖结构模板构建正则化约束条件,通过迭代计算生成软组织密度分布数据;基于所述软组织密度分布数据,采用自适应网格划分算法进行曲面重建,生成初始三维模型数据;将所述初始三维模型数据输入图卷积特征提取网络,提取拓扑特征数据和形态特征数据;根据所述拓扑特征数据和所述形态特征数据构建组织分类模型,对不同密度区域进行智能分割,生成包含组织分层信息的三维模型数据。
将优化后的多角度图像数据和材料特征数据共同输入压缩感知重建模型,同时引入人体软组织解剖结构模板作为先验知识,构建正则化约束条件。通过迭代优化计算,重建获得表征软组织内部结构的密度分布数据。
基于获得的软组织密度分布数据,使用自适应网格划分算法进行三维重建。该算法根据密度分布的梯度变化自适应调整网格密度,对软组织表面进行曲面拟合,生成初始的三维模型数据。
将初始三维模型数据输入图卷积特征提取网络,该网络通过图卷积运算分析三维模型的结构特征,提取两类特征数据:描述软组织连接关系的拓扑特征数据,以及描述软组织形状特征的形态特征数据。
基于提取的拓扑特征和形态特征数据构建组织分类模型,该模型对三维模型中不同密度区域进行智能分割和分类。通过分类模型的分析,识别不同组织层次的边界,最终生成包含完整组织分层信息的三维模型数据。
在本实施例中,利用优化多角度图像数据和材料特征数据,结合解剖模板的正则化约束,通过压缩感知重建模型生成高精度软组织密度分布数据;采用自适应网格划分算法进行曲面重建,快速生成初始三维模型数据,支持后续分析和操作;借助图卷积特征提取网络,获取拓扑特征和形态特征,准确描述组织结构和形态特征;构建组织分类模型,对不同密度区域进行智能分割,生成带有组织分层信息的三维模型数据,为软组织分析和诊断提供多层次支持;实现软组织中不同密度区域的精细分层和分类,提高诊断和治疗的针对性与准确性。
在一种可选的实施方式中,基于体积参数和密度分布参数,通过轨迹优化算法生成球管运动轨迹数据和采样间隔数据包括:
基于所述体积参数确定空间包络区域,在所述空间包络区域内建立三维网格,采用自适应网格划分策略对所述三维网格进行递归细化,通过计算网格单元的密度曲率值和梯度变化率,确定网格细化程度,当所述密度曲率值大于第一预设阈值或所述梯度变化率大于第二预设阈值时,对网格单元进行细分,当所述密度曲率值和所述梯度变化率均小于第三预设阈值时,对网格单元进行合并;
构建密度特征张量,所述密度特征张量包含网格节点的密度值、密度梯度值和密度海森矩阵特征值,基于所述密度特征张量计算网格节点的重要性得分,选取所述重要性得分大于预设阈值的网格节点作为候选采样节点,对所述候选采样节点进行层次聚类,并在每个聚类中引入拓扑约束确定关键采样点;
建立结合射线衰减和散射效应的成像质量评价模型,将所述成像质量评价模型输出的图像清晰度指标和信噪比指标加入路径优化目标函数,基于所述关键采样点构建最优访问序列的优化问题,采用自适应步长的迭代优化算法求解连接所述关键采样点的最优路径;
在优化过程中引入局部搜索策略,当检测到所述关键采样点之间的连接路径存在局部次优解时,基于禁忌搜索方法对局部路径段进行重构,并利用路径平滑性约束对重构后的路径进行修正,生成连接所有所述关键采样点的球管运动轨迹数据;
根据所述球管运动轨迹数据将相邻所述关键采样点之间的路径划分为多个采样区域,在每个所述采样区域内建立密度梯度直方图,基于所述密度梯度直方图的统计特性,确定采样间隔的初始值,结合所述关键采样点的组织界面跃变程度,对采样间隔进行自适应调整,生成所述采样间隔数据。
所述密度海森矩阵特征值具体是指描述密度分布曲率特性的数值指标,来源于密度分布的局部变化特性,表示密度在不同方向上的变化程度和趋势。具体地,特征值反映了密度在某个方向上是如何扩展或收缩的,其中,正特征值表示密度在该方向上的变化是扩展的,表明该区域的密度值随着位置的变化而逐渐增加;负特征值表示密度在该方向上的变化是收缩的,表明该区域的密度值随着位置的变化而逐渐减小;绝对值的大小表示密度变化的剧烈程度,绝对值越大,说明该方向上的密度曲率越显著,变化越剧烈;特征值组合通过综合考虑多个方向的特征值,可以确定局部区域的密度分布形状,例如是否是一个尖锐的边缘、平滑的平面或是曲率显著的特征点。
在一种具体实施方式中,首先,根据给定的体积参数,例如人体某个器官的尺寸范围,确定一个空间包络区域。在这个空间区域内建立一个初始的三维网格。然后,采用自适应网格划分策略对这个三维网格进行递归细化。具体来说,计算每个网格单元的密度曲率值和密度梯度变化率。密度曲率值反映了密度分布的弯曲程度,梯度变化率反映了密度变化的剧烈程度。如果一个网格单元的密度曲率值大于预设的第一阈值,或者其密度梯度变化率大于预设的第二阈值,则认为该单元的密度变化较为复杂,需要进一步细分。反之,如果一个网格单元的密度曲率值和密度梯度变化率都小于预设的第三阈值,则认为该单元的密度变化平缓,可以将其与相邻单元合并以减少计算量。例如,假设第一阈值为0.1,第二阈值为0.05,第三阈值为0.01。对于一个密度曲率值为0.12的网格单元,由于其大于第一阈值,需要对其进行细分。重复这个过程,直到所有网格单元的密度曲率值和梯度变化率都满足预设条件。
接下来,构建密度特征张量。对于每个网格节点,计算其密度值、密度梯度值和密度海森矩阵特征值,并将这些值组合成一个向量,即密度特征张量。密度值表示该点的物质密度,密度梯度值表示该点密度变化的方向和大小,密度海森矩阵特征值表示该点密度变化的曲率。然后,基于密度特征张量计算每个网格节点的重要性得分。例如,可以根据密度梯度的大小赋予更高的重要性得分,因为密度梯度较大的区域通常对应着组织的边界,这些区域对于成像质量至关重要。选择重要性得分大于预设阈值的网格节点作为候选采样节点。例如,如果预设阈值为0.8,则选择重要性得分大于0.8的节点。对这些候选采样节点进行层次聚类,将空间上相近且密度特征相似的节点划分到同一个聚类中。在每个聚类中,引入拓扑约束来确定关键采样点。例如,可以选择每个聚类中密度梯度最大的节点作为关键采样点。
然后,建立结合射线衰减和散射效应的成像质量评价模型。该模型可以模拟X射线在人体组织中的传播过程,并预测生成的图像质量。将该模型输出的图像清晰度指标和信噪比指标加入路径优化目标函数。基于关键采样点构建最优访问序列的优化问题,目标是找到一条连接所有关键采样点的最优路径,使得目标函数的值最大。采用自适应步长的迭代优化算法求解该优化问题。在优化过程中,引入局部搜索策略。当检测到关键采样点之间的连接路径存在局部次优解时,基于禁忌搜索方法对局部路径段进行重构,并利用路径平滑性约束对重构后的路径进行修正。最终生成连接所有关键采样点的球管运动轨迹数据。
最后,根据球管运动轨迹数据将相邻关键采样点之间的路径划分为多个采样区域。在每个采样区域内建立密度梯度直方图,统计该区域内不同密度梯度值的出现频率。基于密度梯度直方图的统计特性,确定采样间隔的初始值。例如,在密度梯度变化较大的区域,应该使用更小的采样间隔以捕捉更精细的细节。结合关键采样点的组织界面跃变程度,对采样间隔进行自适应调整。最终生成采样间隔数据。
在本实施例中,通过自适应网格细化和基于密度特征的采样点选择,可以更有效地捕捉到组织的细节信息,从而提高图像的清晰度和信噪比;通过优化球管运动轨迹和采样间隔,可以减少不必要的采样,从而降低患者的辐射剂量;优化的采样策略可以减少采样次数,从而缩短扫描时间,提高检查效率。
在一种可选的实施方式中,根据所述球管运动轨迹数据控制多自由度机械手驱动球管运动,并通过视觉伺服控制器调节所述多自由度机械手带动探测器组件进行同步跟踪包括:
构建球管与探测器组件之间的视觉特征空间和控制空间的映射关系,提取球管和探测器组件的特征点以及特征点坐标,建立所述特征点在视觉系统坐标系下的三维坐标映射,通过所述三维坐标映射计算图像特征对所述多自由度机械手运动的偏导数,生成图像雅可比矩阵;
采集探测器组件相对于球管的实时位置坐标和姿态角度,计算探测器组件相对于球管的位置偏差向量和姿态偏差向量,将所述位置偏差向量和所述姿态偏差向量组合构建误差向量,基于误差向量和图像雅可比矩阵确定动态补偿控制律,生成所述多自由度机械手的初始控制输出;
基于误差向量的模值和预设的误差阈值的比较结果,确定比例增益系数的调整方向,根据预先设定的多自由度机械手的运动稳定性指标,确定阻尼系数的调整方向,当所述误差向量的模值大于第一误差阈值时,按照预设比例降低所述比例增益系数,当所述误差向量的模值小于第二误差阈值时,按照预设比例增加所述比例增益系数,生成自适应调整后的控制参数;
在预设的观测时间窗口内,采集球管与探测器组件之间的相对特征变化量和多自由度机械手的关节运动增量,将相对特征变化量和关节运动增量输入递推最小二乘估计器计算协方差矩阵,基于协方差矩阵计算卡尔曼增益矩阵,基于卡尔曼增益矩阵对所述图像雅可比矩阵进行更新,得到实时图像雅可比矩阵;
将所述初始控制输出和所述实时图像雅可比矩阵输入自抗扰观测器,计算多自由度机械手运动过程中的外部综合干扰项,将所述外部综合干扰项的补偿值与初始控制输出进行叠加,生成补偿控制输出;计算探测器组件相对于球管的实际跟踪轨迹与期望跟踪轨迹之间的偏差距离,根据所述偏差距离构建自适应滑模控制项,将所述自适应滑模控制项与所述补偿控制输出进行叠加,生成滑模修正控制输出;
在多个采样周期,重复执行操作,生成调节所述多自由度机械手的最终控制指令。
在一种具体实施方式中,首先,建立球管与探测器组件之间的视觉特征空间和控制空间的映射关系。具体来说,提取球管和探测器组件的特征点,例如边缘、角点等,并获取这些特征点在图像中的像素坐标。然后,利用相机标定参数,将这些像素坐标转换为在视觉系统三维坐标系下的坐标。通过这种方式,建立了图像特征与机械臂运动空间之间的映射关系。例如,球管上特征点A的图像坐标为(u1,v1),其对应的三维坐标为(x1,y1,z1);探测器组件上特征点B的图像坐标为(u2,v2),其对应的三维坐标为(x2,y2,z2)。
接下来,计算图像特征对机械臂运动的偏导数,生成图像雅可比矩阵。图像雅可比矩阵描述了图像特征的变化与机械臂关节运动之间的关系。例如,机械臂关节1运动一个单位角度,会导致图像特征点A的坐标变化多少。可以通过数值微分的方法计算这些偏导数。
然后,采集探测器组件相对于球管的实时位置坐标和姿态角度。这些数据可以通过安装在探测器组件上的传感器获取。例如,位置坐标可以表示为(x,y,z),姿态角度可以表示为(roll,pitch,yaw)。计算探测器组件相对于球管的期望位置和姿态的偏差,构建误差向量。例如,如果期望探测器组件位于球管上方10厘米处,而实际距离为12厘米,则位置偏差为2厘米。
基于误差向量和图像雅可比矩阵,确定动态补偿控制律,生成机械臂的初始控制输出。控制律可以采用比例-微分控制等方法。例如,初始控制输出可以是各个关节的运动速度或角度变化量。
根据误差向量的模值和预设的误差阈值,自适应调整比例增益系数。当误差较大时,降低比例增益系数,以保证系统的稳定性;当误差较小时,增加比例增益系数,以提高跟踪精度。例如,设定第一误差阈值为5厘米,第二误差阈值为1厘米。当误差大于5厘米时,将比例增益系数降低一半;当误差小于1厘米时,将比例增益系数增加一倍。同时,根据机械臂的运动稳定性指标,调整阻尼系数。
在预设的观测时间窗口内,采集球管与探测器组件之间的相对特征变化量和机械臂的关节运动增量。利用这些数据,通过递推最小二乘估计器计算协方差矩阵。然后,基于协方差矩阵计算卡尔曼增益矩阵,并用卡尔曼增益矩阵更新图像雅可比矩阵,得到实时图像雅可比矩阵。
将初始控制输出和实时图像雅可比矩阵输入自抗扰观测器,计算机械臂运动过程中的外部综合干扰项。将外部综合干扰项的补偿值与初始控制输出叠加,生成补偿控制输出。
计算探测器组件相对于球管的实际跟踪轨迹与期望跟踪轨迹之间的偏差距离。根据偏差距离构建自适应滑模控制项,并将自适应滑模控制项与补偿控制输出叠加,生成滑模修正控制输出。
在多个采样周期内,重复执行上述操作,生成调节机械臂的最终控制指令,控制机械臂运动,使探测器组件精确跟踪球管的运动。
在本实施例中,通过视觉伺服控制和自适应参数调整,可以实现对球管运动的精确跟踪,减小跟踪误差;采用自抗扰观测器和滑模控制,可以有效抑制外部干扰和模型不确定性对跟踪性能的影响,提高系统的鲁棒性;通过实时更新图像雅可比矩阵和控制参数,可以实现对球管运动的实时跟踪,满足实际应用需求。
在一种可选的实施方式中,将所述多角度软组织投影数据集输入图像质量评估网络,生成图像质量评分数据,根据所述图像质量评分数据筛选获得最优图像序列数据包括:
将多角度软组织投影数据输入特征分离网络,通过双分支结构分别提取图像的细节特征和结构特征,分别构建频域注意力图,根据所述频域注意力图对细节特征和结构特征进行增强,得到增强双频域特征数据;
将所述双频域特征数据输入包含多个残差密集块的残差密集连接网络,每个残差密集块内部采用密集连接方式串联多个卷积层,相邻残差密集块之间通过跳跃连接进行特征复用,提取多层次图像特征,得到多尺度特征图;
构建自注意力金字塔模块,将所述多尺度特征图划分为不同尺度的特征区块,计算不同特征区块之间的相关性矩阵,根据所述相关性矩阵生成注意力权重,对特征区块进行自适应加权,得到融合特征数据;
将所述融合特征数据输入不确定性学习模块,所述不确定性学习模块包含两个并行分支,通过第一分支输出质量评分预测值,通过第二分支输出预测不确定性估计值,将质量评分预测值和预测不确定性估计值结合,生成可信度加权的质量评分;
根据可信度加权的质量评分对图像进行排序,获取初始候选序列,对所述初始候选序列中的图像进行成对相似度计算,构建相似度矩阵;基于所述相似度矩阵对所述初始候选序列进行聚类分析,将相似度高于预设的相似度阈值的图像归为同一类别,在每个类别中选取质量评分最高的图像作为类别标记图像;
计算所述初始候选序列中各图像与对应类别标记图像的互信息,根据互信息和质量评分的加权组合,对图像重排序,按照预设的前排比例,选取对应排名且满足最小图像数量要求的图像,组成最优图像序列。
在一种具体实施方式中,图像质量评估网络用于对输入的每一幅多角度软组织投影图像进行质量评分。首先,将图像输入特征分离网络。该网络采用双分支结构,分别提取图像的细节特征和结构特征。细节特征关注图像的高频信息,例如边缘、纹理等;结构特征关注图像的低频信息,例如轮廓、形状等。分别对细节特征和结构特征构建频域注意力图。频域注意力图用于增强重要的频率成分,抑制噪声等无关信息。例如,对于细节特征,可以增强高频部分,突出边缘信息;对于结构特征,可以增强低频部分,突出形状信息。将频域注意力图应用于对应的特征,得到增强后的双频域特征数据。
将增强后的双频域特征数据输入残差密集连接网络。该网络包含多个残差密集块。每个残差密集块内部采用密集连接方式,将块内所有卷积层的输出进行串联,充分利用不同层次的特征信息。相邻的残差密集块之间通过跳跃连接进行特征复用,进一步提升网络的表达能力。例如,第一个残差密集块包含三个卷积层,则将这三个卷积层的输出进行串联。第二个残差密集块的输入除了自身的输入外,还包括第一个残差密集块的输出。以此类推,提取多层次图像特征,得到多尺度特征图。
将多尺度特征图输入自注意力金字塔模块。该模块将特征图划分为不同尺度的特征区块。例如,可以将特征图划分为1×1、2×2、4×4等大小的区块。计算不同特征区块之间的相关性矩阵,反映不同区块之间的语义关系。根据相关性矩阵生成注意力权重,对特征区块进行自适应加权。例如,如果两个区块的相关性较高,则赋予较大的权重,反之则赋予较小的权重。将加权后的特征区块进行融合,得到融合特征数据。
将融合特征数据输入不确定性学习模块。该模块包含两个并行分支。第一个分支输出质量评分预测值,例如图像质量得分为0.8。第二个分支输出预测不确定性估计值,例如不确定性为0.1。将质量评分预测值和预测不确定性估计值结合,生成可信度加权的质量评分。例如,可信度加权的质量评分可以计算为0.8×(1-0.1)=0.72。
根据可信度加权的质量评分对图像进行排序,获取初始候选序列。假设有10张图像,评分从高到低排序。对初始候选序列中的图像进行成对相似度计算,构建相似度矩阵。例如,计算第一张图像和第二张图像的相似度为0.9,第一张图像和第三张图像的相似度为0.7,以此类推,构建一个10×10的相似度矩阵。基于相似度矩阵对初始候选序列进行聚类分析。将相似度高于预设的相似度阈值的图像归为同一类别。例如,设定阈值为0.8,则将相似度高于0.8的图像归为同一类别。在每个类别中选取质量评分最高的图像作为类别标记图像。
计算初始候选序列中各图像与对应类别标记图像的互信息。例如,计算第一张图像与对应所属类别标记图像的互信息。根据互信息和质量评分的加权组合,对图像重排序。例如,可以将互信息和质量评分分别乘以0.4和0.6后相加,得到新的排序依据。按照预设的前排比例,例如前30%,选取对应排名且满足最小图像数量要求的图像,组成最优图像序列。假设最小图像数量要求为3张,则选择排名靠前的3张图像组成最优图像序列。
在本实施例中,通过特征分离、频域注意力机制和不确定性学习等技术,可以更准确地评估图像质量,降低噪声和伪影的影响;通过相似度聚类和互信息计算,可以选择最具代表性和信息量的图像子集,减少冗余数据,提高三维重建效率;通过选择高质量的图像序列,可以有效提高三维重建的精度,获得更清晰、更准确的三维模型。
在一种可选的实施方式中,将所述软组织结构特征数据与惯性传感数据进行特征点匹配,通过自校正空间配准算法生成配准图像数据包括:
在所述软组织结构特征数据中,对每个候选特征点构建预设半径的圆形邻域,计算所述圆形邻域内像素点与中心点的灰度差值和所述圆形邻域的灰度方差,当连续多个像素点的灰度差值大于预设的灰度差阈值,且灰度方差大于预设的灰度方差阈值时,将所述候选特征点标记为结构特征点,得到软组织特征点集;
对所述惯性传感数据进行卡尔曼滤波预处理,得到滤波数据,对所述滤波数据进行空间积分,获取传感器位置坐标,并投影至图像平面得到位置特征点集;对所述位置特征点集中的每个位置特征点计算马氏距离,剔除马氏距离大于预设距离阈值的位置特征点,得到优化位置特征点集;
计算所述软组织特征点集和所述优化位置特征点集中每个特征点对应邻域的矩阵特征值比值,得到局部结构复杂度;
根据所述局部结构复杂度自适应调整采样半径,在每个特征点周围构建多尺度采样模式,基于所述多尺度采样模式分别提取软组织特征点集和优化位置特征点集中各特征点的特征描述向量;
计算所述特征描述向量之间的互信息系数和相对位置关系参数,根据所述互信息系数和所述相对位置关系参数对软组织特征点集和优化位置特征点集进行匹配,得到初始匹配点对集合;
计算所述初始匹配点对集合中每对匹配点的特征描述向量互信息系数和局部空间变换一致性程度,结合所述惯性传感数据提供的运动约束,生成匹配可信度分数;根据所述匹配可信度分数对所述初始匹配点对集合进行筛选,选取所述匹配可信度分数高于预设的匹配可信度分数阈值的匹配点对,作为优选匹配点对;基于所述优选匹配点对构建空间变换矩阵,根据当前匹配误差分布自适应确定损失函数阈值参数;
基于所述损失函数阈值参数,结合Huber损失函数,对所述空间变换矩阵进行参数优化,当优化过程中所述空间变换矩阵的参数变化量小于预设的矩阵参数变化量阈值时,将当前的所述空间变换矩阵确定为最优变换矩阵;
根据所述最优变换矩阵对所述软组织结构特征数据进行空间变换,生成配准图像数据。
所述Huber损失函数具体是指一种用于回归问题的损失函数,结合了均方误差损失和绝对误差损失的优点。具体地,在误差较小时表现为均方误差,而在误差较大时表现为绝对误差,从而既能够对小的误差敏感,又对大的误差具有鲁棒性(即减少异常值的影响)。可以分段定义如下:误差较小(在阈值以内)时,损失是误差的平方项,类似于均方误差,这使得对小误差更敏感,从而能够更快地收敛,损失函数为二次形式,表现为平滑的曲线;误差较大(超过阈值)时,损失是绝对误差的线性项,这减少了异常值的影响,损失函数的增长速度线性增加,而不是像均方误差那样迅速增大。
在一种具体实施方式中,首先,提取软组织结构特征点。对于输入的软组织结构特征数据(例如,超声图像),遍历每个像素点,将其作为候选特征点。以每个候选特征点为中心,构建一个预设半径(例如,5个像素)的圆形邻域。计算该圆形邻域内所有像素点与中心点的灰度差值,以及该圆形邻域的灰度方差。设定灰度差阈值和灰度方差阈值(例如,灰度差阈值为10,灰度方差阈值为20)。如果在该圆形邻域内,存在连续多个像素点(例如,3个像素点)的灰度差值大于预设的灰度差阈值,并且该圆形邻域的灰度方差也大于预设的灰度方差阈值,则将该候选特征点标记为结构特征点。遍历所有候选特征点后,得到软组织特征点集。例如,在一幅灰度图像中,像素点(10,10)的圆形邻域内,连续3个像素点的灰度差值分别为12,15,13,都大于10,且该邻域的灰度方差为25,大于20,则(10,10)被标记为结构特征点。
接下来,处理惯性传感数据。对获取的惯性传感数据(例如,加速度计和陀螺仪数据)进行卡尔曼滤波预处理,以去除噪声和漂移。得到滤波后的数据后,对其进行空间积分,计算得到传感器在每个时间点的位置坐标。将这些位置坐标投影到与软组织结构特征数据对应的图像平面上,得到位置特征点集。为了剔除异常数据,对位置特征点集中的每个位置特征点计算马氏距离。设定一个预设的距离阈值(例如,3)。如果某个位置特征点的马氏距离大于该阈值,则将其剔除。最终得到优化后的位置特征点集。例如,位置特征点(5,5)的马氏距离为4,大于阈值3,则将其剔除。
然后,计算局部结构复杂度。对于软组织特征点集和优化后的位置特征点集中的每个特征点,计算其对应邻域的矩阵特征值比值,以此作为局部结构复杂度的度量。具体来说,以每个特征点为中心,构建一个邻域(例如,5×5的窗口)。计算该邻域内像素值的协方差矩阵,并计算该协方差矩阵的特征值。将最大特征值与最小特征值的比值作为该特征点的局部结构复杂度。
根据局部结构复杂度自适应调整采样半径。对于每个特征点,根据其局部结构复杂度,自适应地调整采样半径。局部结构复杂度越高,采样半径越大。在每个特征点周围构建多尺度采样模式。例如,如果特征点的局部结构复杂度为10,则采样半径为3;如果局部结构复杂度为20,则采样半径为5。基于多尺度采样模式,分别提取软组织特征点集和优化位置特征点集中各特征点的特征描述向量。例如,可以使用局部二值模式(LBP)提取特征描述向量。
接下来进行特征匹配。计算软组织特征点集和优化位置特征点集中,各特征描述向量之间的互信息系数和相对位置关系参数。互信息系数用于衡量两个特征向量之间的相似性,相对位置关系参数用于描述两个特征点之间的空间关系。根据互信息系数和相对位置关系参数,对软组织特征点集和优化位置特征点集进行匹配,得到初始匹配点对集合。
对初始匹配点对进行筛选。计算初始匹配点对集合中每对匹配点的特征描述向量互信息系数和局部空间变换一致性程度。结合惯性传感数据提供的运动约束,生成匹配可信度分数。例如,如果一对匹配点的互信息系数高,局部空间变换一致性程度高,并且符合惯性传感数据提供的运动约束,则其匹配可信度分数高。根据匹配可信度分数对初始匹配点对集合进行筛选,选取匹配可信度分数高于预设阈值(例如,0.8)的匹配点对,作为优选匹配点对。
进行空间变换和优化。基于优选匹配点对构建空间变换矩阵。根据当前匹配误差分布自适应确定损失函数阈值参数。例如,如果匹配误差较大,则损失函数阈值参数较大。结合Huber损失函数,对空间变换矩阵进行参数优化。当优化过程中空间变换矩阵的参数变化量小于预设的矩阵参数变化量阈值(例如,0.001)时,将当前的空间变换矩阵确定为最优变换矩阵。
最后生成配准图像数据。根据最优变换矩阵对软组织结构特征数据进行空间变换,生成配准图像数据,实现软组织结构特征数据与惯性传感数据的配准。
在本实施例中,通过结合局部结构复杂度和惯性传感数据,能够更准确地匹配软组织特征点和位置特征点,从而提高配准精度;采用自适应采样半径和多尺度采样模式,能够更好地适应不同复杂程度的软组织结构,增强配准的鲁棒性;通过自适应确定损失函数阈值参数,能够加快空间变换矩阵的优化速度,提升计算效率。
在一种可选的实施方式中,将所述优化多角度图像数据和所述材料特征数据输入压缩感知重建模型,结合人体软组织解剖结构模板构建正则化约束条件,通过迭代计算生成软组织密度分布数据包括:
根据材料特征数据获取光子衰减系数,构建组织衰减系数矩阵,基于组织衰减系数矩阵建立线性密度映射函数,得到材料-密度映射模型;
基于优化多角度图像数据构建正交稀疏基矩阵,计算投影数据在所述正交稀疏基矩阵下的稀疏表示系数;
从人体软组织解剖结构模板中,提取组织界面位置坐标和界面曲率值,基于所述界面位置坐标和所述界面曲率值构建解剖学特征约束;
利用所述界面位置坐标,将密度重建空间划分为多个连续子区域,在连续子区域内部,施加密度连续性约束,在所述界面位置坐标处,构建可控跳变的分段连续约束函数,生成密度分布正则化项;
计算重建空间中相邻图像块的结构相似度系数,根据所述结构相似度系数构建非局部差分算子,将非局部差分算子作用于密度分布数据,建立结构保持约束项;
将所述材料-密度映射模型、所述解剖学特征约束、所述密度分布正则化项和所述结构保持约束项组合为联合优化目标函数;通过增广拉格朗日方法对所述联合优化目标函数进行变量分解,得到投影一致性约束项和结构保持约束项;
基于所述投影一致性约束项,通过共轭梯度法求解投影系数矩阵,基于所述结构保持约束项,通过近端梯度下降法优化约束参数,获得当前迭代的密度分布图像;
基于历史重建数据构建三层字典学习网络,训练得到不同尺度组织结构的特征字典组;
将当前迭代的密度分布图像在所述特征字典组中进行稀疏分解,计算各尺度下的重建误差,选择重建误差最小的特征字典进行密度分布重构,得到优化密度图像;
计算相邻两次迭代获得的优化密度图像之间的欧氏距离差值,当所述欧氏距离差值小于预设的密度图像距离差阈值时,将当前的优化密度图像确定为所述软组织密度分布数据。
所述光子衰减系数具体是指描述光在通过物质时,由于各种相互作用(如吸收、散射等)导致光子数量减少的速率的物理量,反映了物质对光子衰减的能力,是物质的固有特性之一。光子衰减系数表示单位长度内光子强度衰减的程度。物质在一定能量的光子辐射下,光子被吸收或散射的概率的总和。一般以每厘米为单位。光子衰减系数的大小取决于光子的能量以及物质的化学组成和密度。高衰减系数表明物质对光子吸收或散射较强,光子在其中的穿透能力较弱。
在一种具体实施方式中,首先,获取材料的特征数据,例如不同组织类型的衰减系数。将这些衰减系数构建成一个矩阵,称为组织衰减系数矩阵。通过这个矩阵,建立一个线性映射函数,将材料类型映射到对应的密度值,得到材料-密度映射模型。
然后,对采集到的多角度图像数据进行优化处理,例如去除噪声和伪影。利用这些优化后的多角度图像数据,构建一个正交稀疏基矩阵。将投影数据在这个正交稀疏基矩阵下进行分解,得到稀疏表示系数。
接下来,从人体软组织解剖结构模板中提取组织界面位置坐标和界面曲率值。例如,可以利用分割算法从模板中提取出骨骼、肌肉、脂肪等不同组织的边界信息。基于提取的界面位置坐标和曲率值,构建解剖学特征约束,用于约束重建结果的形状和结构。
利用提取的界面位置坐标,将密度重建空间划分为多个连续子区域。在每个子区域内部,施加密度连续性约束,例如要求相邻体素的密度值差异不能过大。在组织界面位置处,构建一个分段连续约束函数,允许密度值在界面处发生跳变,但跳变幅度要受到控制。将这些约束组合起来,生成密度分布正则化项。
计算重建空间中相邻图像块的结构相似度系数。例如,可以计算相邻图像块的梯度方向直方图的相似度。根据计算得到的结构相似度系数,构建非局部差分算子。将非局部差分算子作用于密度分布数据,建立结构保持约束项,用于保持重建结果的纹理细节。
将前面得到的材料-密度映射模型、解剖学特征约束、密度分布正则化项和结构保持约束项组合为一个联合优化目标函数。采用增广拉格朗日方法对这个联合优化目标函数进行变量分解,得到投影一致性约束项和结构保持约束项。
基于投影一致性约束项,采用共轭梯度法求解投影系数矩阵。基于结构保持约束项,采用近端梯度下降法优化约束参数。通过迭代更新投影系数矩阵和约束参数,获得当前迭代的密度分布图像。
为了进一步提高重建质量,构建一个三层字典学习网络。利用历史重建数据训练这个网络,学习得到不同尺度组织结构的特征字典组。将当前迭代的密度分布图像在这些特征字典组中进行稀疏分解,计算各尺度下的重建误差。选择重建误差最小的特征字典进行密度分布重构,得到优化密度图像。
计算相邻两次迭代获得的优化密度图像之间的欧氏距离差值。当欧氏距离差值小于预设的密度图像距离差阈值时,将当前的优化密度图像确定为最终的软组织密度分布数据。例如,预设的阈值可以设置为0.001。
假设材料特征数据包含骨骼、肌肉和脂肪三种组织类型,其对应的衰减系数分别为0.2,0.1,和0.05。多角度图像数据包含从0度、45度和90度三个角度采集的投影数据。人体软组织解剖结构模板包含骨骼、肌肉和脂肪的分割图像。通过上述方法,可以重建得到一个包含骨骼、肌肉和脂肪三种组织的三维密度分布图像。
在本实施例中,通过结合多角度图像数据、材料特征数据和解剖结构信息,有效地提高了软组织密度分布重建的精度;通过引入结构保持约束项,能够有效地保持重建结果的组织结构和纹理细节;通过采用增广拉格朗日方法和字典学习技术,能够有效地加速重建过程。
在一种可选的实施方式中,根据所述拓扑特征数据和所述形态特征数据构建组织分类模型,对不同密度区域进行智能分割,生成包含组织分层信息的三维模型数据包括:
将拓扑特征数据和形态特征数据输入三维卷积提取网络,获得多尺度特征映射序列,基于所述多尺度特征映射序列构建特征层次网络,计算局部结构张量矩阵,从所述局部结构张量矩阵中提取组织边界方向向量和主曲率参数,生成结构描述向量;
利用所述结构描述向量构建组织连通图模型,所述组织连通图模型的图节点存储局部结构描述向量,图边存储相邻节点之间的空间位置关系;
构建基于相变扩散的特征增强单元,将所述组织连通图模型输入非线性扩散方程,求解所述非线性扩散方程,得到增强边界特征和增强内部结构特征,并更新所述组织连通图模型的节点特征;
基于领域知识建立软组织弹性力学模型,将组织应力应变关系转换为节点位移约束参数,生成生物力学约束条件,根据所述生物力学约束条件计算组织变形应变能,构建基于组织变形应变能最小化准则的区域增长函数;
根据所述区域增长函数对所述组织连通图模型进行分层迭代分割,得到分割区域,计算分割区域的组织变形应变能的数值,将相邻区域的组织变形应变能差值大于预设应变能差值阈值的边界,确定为组织分界点集;基于所述组织分界点集构建组织层次标签集合,建立组织分层规则库,生成组织层次数据;
对所述组织层次数据进行可信度计算,得到区域分类可信度值,将所述区域分类可信度值低于预设可信度阈值的区域标记为待优化区域集合;
采用邻域信息传递算法对所述待优化区域集合进行迭代优化,更新节点特征参数和边约束参数,直至所有区域的分类可信度值均大于所述预设可信度阈值,得到优化分类标识数据;
将所述优化分类标识数据与所述密度分布数据进行空间配准融合,生成带有解剖结构标注的三维软组织模型。
在一种具体实施方式中,首先,将获取到的组织拓扑特征数据(例如组织表面网格数据、拓扑连接关系)和形态特征数据(例如组织密度、纤维走向、灰度值)输入到一个三维卷积提取网络。该网络可以是预训练的模型,例如3D U-Net或V-Net,也可以是根据特定组织类型设计的定制网络。以一个包含512×512×256体素的组织块为例,经过三维卷积提取网络,可以得到一系列不同尺度的特征映射序列,例如128×128×64、64×64×32、32×32×16等。
接下来,基于这些多尺度特征映射序列构建特征层次网络。该网络可以是一个金字塔结构,将不同尺度的特征映射进行融合,从而捕捉组织的全局和局部特征。在特征层次网络的每一层,计算局部结构张量矩阵。该矩阵可以反映组织局部区域的形状和方向信息。例如,可以通过计算每个体素邻域内的梯度信息来构建局部结构张量矩阵。从局部结构张量矩阵中提取组织边界方向向量和主曲率参数。这些参数可以描述组织表面的弯曲程度和方向。将提取的边界方向向量和主曲率参数组合成一个结构描述向量。例如,一个结构描述向量可以包含边界方向的三个分量和两个主曲率值。
然后,利用这些结构描述向量构建组织连通图模型。该模型的图节点存储局部结构描述向量,图边存储相邻节点之间的空间位置关系。例如,可以将每个体素视为一个图节点,并将相邻体素之间建立图边。以一个8×8×8的局部区域为例,可以构建一个包含512个节点的连通图模型。
构建一个基于相变扩散的特征增强单元。将组织连通图模型输入非线性扩散方程。通过迭代求解该方程,可以增强组织边界特征和内部结构特征。例如,可以使用基于Perona-Malik模型的非线性扩散方程,该方程可以根据图像梯度大小自适应地调整扩散系数,从而在平滑区域的同时保留边缘信息。求解非线性扩散方程后,得到增强边界特征和增强内部结构特征,并用这些增强特征更新组织连通图模型的节点特征。
基于领域知识(例如组织的弹性模量、泊松比)建立软组织弹性力学模型。将组织应力应变关系转换为节点位移约束参数,生成生物力学约束条件。例如,可以将组织的弹性模量设置为10kPa,泊松比设置为0.45。根据生物力学约束条件计算组织变形应变能。例如,可以使用有限元方法计算组织变形应变能。构建基于组织变形应变能最小化准则的区域增长函数。该函数用于指导后续的组织分割过程。
根据区域增长函数对组织连通图模型进行分层迭代分割,得到分割区域。计算分割区域的组织变形应变能的数值。将相邻区域的组织变形应变能差值大于预设应变能差值阈值(例如0.1J)的边界,确定为组织分界点集。基于组织分界点集构建组织层次标签集合,建立组织分层规则库,生成组织层次数据。例如,可以将不同层次的组织分别标记为“表皮”、“真皮”、“皮下组织”等。
对组织层次数据进行可信度计算,得到区域分类可信度值。例如,可以根据区域内部特征的一致性计算可信度值。将区域分类可信度值低于预设可信度阈值(例如0.8)的区域标记为待优化区域集合。
采用邻域信息传递算法对待优化区域集合进行迭代优化,更新节点特征参数和边约束参数,直至所有区域的分类可信度值均大于预设可信度阈值。例如,可以使用基于图卷积网络的邻域信息传递算法。得到优化分类标识数据。
最后,将优化分类标识数据与密度分布数据进行空间配准融合,生成带有解剖结构标注的三维软组织模型。例如,可以将不同组织的分类标识映射到不同的颜色,从而在三维模型中直观地显示组织结构。
在本实施例中,通过结合拓扑和形态特征,并引入生物力学约束,能够更准确地识别组织边界,尤其是在密度差异较小的区域,从而提高组织分割的精度;能够根据组织的层次结构进行分层分割,并生成包含组织层次信息的三维模型,有助于更深入地理解组织的结构和功能;通过可信度计算和迭代优化,能够识别和修正分割结果中的错误,提高模型的可靠性和可信度。
图2为本发明实施例针对软组织的多角度摄影及三维重建系统的结构示意图,如图2所示,所述系统包括:
第一单元,用于采用深度卷积神经网络对受检软组织进行特征分析,获得软组织的体积参数和密度分布参数;基于体积参数和密度分布参数,通过轨迹优化算法生成球管运动轨迹数据和采样间隔数据;根据所述球管运动轨迹数据控制多自由度机械手驱动球管运动,并通过视觉伺服控制器调节所述多自由度机械手带动探测器组件进行同步跟踪;根据所述采样间隔数据,控制球管在预设的第一能量水平范围和第二能量水平范围分别采集软组织投影图像,获得多角度软组织投影数据集;
第二单元,用于将所述多角度软组织投影数据集输入图像质量评估网络,生成图像质量评分数据,根据所述图像质量评分数据筛选获得最优图像序列数据;对所述最优图像序列数据进行材料分解处理,采用多尺度特征融合网络提取软组织结构特征数据和材料特征数据;将所述软组织结构特征数据与惯性传感数据进行特征点匹配,通过自校正空间配准算法生成配准图像数据;对所述配准图像数据依次进行基于小波变换的自适应降噪处理和局部对比度增强处理,获得优化多角度图像数据;
第三单元,用于将所述优化多角度图像数据和所述材料特征数据输入压缩感知重建模型,结合人体软组织解剖结构模板构建正则化约束条件,通过迭代计算生成软组织密度分布数据;基于所述软组织密度分布数据,采用自适应网格划分算法进行曲面重建,生成初始三维模型数据;将所述初始三维模型数据输入图卷积特征提取网络,提取拓扑特征数据和形态特征数据;根据所述拓扑特征数据和所述形态特征数据构建组织分类模型,对不同密度区域进行智能分割,生成包含组织分层信息的三维模型数据。
本发明实施例的第三方面,
提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行前述所述的方法。
本发明实施例的第四方面,
提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述所述的方法。
本发明可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于执行本发明的各个方面的计算机可读程序指令。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (9)
1.针对软组织的多角度摄影及三维重建方法,其特征在于,包括:
采用深度卷积神经网络对受检软组织进行特征分析,获得软组织的体积参数和密度分布参数;基于体积参数和密度分布参数,通过轨迹优化算法生成球管运动轨迹数据和采样间隔数据;根据所述球管运动轨迹数据控制多自由度机械手驱动球管运动,并通过视觉伺服控制器调节所述多自由度机械手带动探测器组件进行同步跟踪;根据所述采样间隔数据,控制球管在预设的第一能量水平范围和第二能量水平范围分别采集软组织投影图像,获得多角度软组织投影数据集;
将所述多角度软组织投影数据集输入图像质量评估网络,生成图像质量评分数据,根据所述图像质量评分数据筛选获得最优图像序列数据;对所述最优图像序列数据进行材料分解处理,采用多尺度特征融合网络提取软组织结构特征数据和材料特征数据;将所述软组织结构特征数据与惯性传感数据进行特征点匹配,通过自校正空间配准算法生成配准图像数据;对所述配准图像数据依次进行基于小波变换的自适应降噪处理和局部对比度增强处理,获得优化多角度图像数据;
将所述优化多角度图像数据和所述材料特征数据输入压缩感知重建模型,结合人体软组织解剖结构模板构建正则化约束条件,通过迭代计算生成软组织密度分布数据;基于所述软组织密度分布数据,采用自适应网格划分算法进行曲面重建,生成初始三维模型数据;将所述初始三维模型数据输入图卷积特征提取网络,提取拓扑特征数据和形态特征数据;根据所述拓扑特征数据和所述形态特征数据构建组织分类模型,对不同密度区域进行智能分割,生成包含组织分层信息的三维模型数据;
基于体积参数和密度分布参数,通过轨迹优化算法生成球管运动轨迹数据和采样间隔数据包括:
基于所述体积参数确定空间包络区域,在所述空间包络区域内建立三维网格,采用自适应网格划分策略对所述三维网格进行递归细化,通过计算网格单元的密度曲率值和梯度变化率,确定网格细化程度,当所述密度曲率值大于第一预设阈值或所述梯度变化率大于第二预设阈值时,对网格单元进行细分,当所述密度曲率值和所述梯度变化率均小于第三预设阈值时,对网格单元进行合并;
构建密度特征张量,所述密度特征张量包含网格节点的密度值、密度梯度值和密度海森矩阵特征值,基于所述密度特征张量计算网格节点的重要性得分,选取所述重要性得分大于预设阈值的网格节点作为候选采样节点,对所述候选采样节点进行层次聚类,并在每个聚类中引入拓扑约束确定关键采样点;
建立结合射线衰减和散射效应的成像质量评价模型,将所述成像质量评价模型输出的图像清晰度指标和信噪比指标加入路径优化目标函数,基于所述关键采样点构建最优访问序列的优化问题,采用自适应步长的迭代优化算法求解连接所述关键采样点的最优路径;
在优化过程中引入局部搜索策略,当检测到所述关键采样点之间的连接路径存在局部次优解时,基于禁忌搜索方法对局部路径段进行重构,并利用路径平滑性约束对重构后的路径进行修正,生成连接所有所述关键采样点的球管运动轨迹数据;
根据所述球管运动轨迹数据将相邻所述关键采样点之间的路径划分为多个采样区域,在每个所述采样区域内建立密度梯度直方图,基于所述密度梯度直方图的统计特性,确定采样间隔的初始值,结合所述关键采样点的组织界面跃变程度,对采样间隔进行自适应调整,生成所述采样间隔数据。
2.根据权利要求1所述的方法,其特征在于,根据所述球管运动轨迹数据控制多自由度机械手驱动球管运动,并通过视觉伺服控制器调节所述多自由度机械手带动探测器组件进行同步跟踪包括:
构建球管与探测器组件之间的视觉特征空间和控制空间的映射关系,提取球管和探测器组件的特征点以及特征点坐标,建立所述特征点在视觉系统坐标系下的三维坐标映射,通过所述三维坐标映射计算图像特征对所述多自由度机械手运动的偏导数,生成图像雅可比矩阵;
采集探测器组件相对于球管的实时位置坐标和姿态角度,计算探测器组件相对于球管的位置偏差向量和姿态偏差向量,将所述位置偏差向量和所述姿态偏差向量组合构建误差向量,基于误差向量和图像雅可比矩阵确定动态补偿控制律,生成所述多自由度机械手的初始控制输出;
基于误差向量的模值和预设的误差阈值的比较结果,确定比例增益系数的调整方向,根据预先设定的多自由度机械手的运动稳定性指标,确定阻尼系数的调整方向,当所述误差向量的模值大于第一误差阈值时,按照预设比例降低所述比例增益系数,当所述误差向量的模值小于第二误差阈值时,按照预设比例增加所述比例增益系数,生成自适应调整后的控制参数;
在预设的观测时间窗口内,采集球管与探测器组件之间的相对特征变化量和多自由度机械手的关节运动增量,将相对特征变化量和关节运动增量输入递推最小二乘估计器计算协方差矩阵,基于协方差矩阵计算卡尔曼增益矩阵,基于卡尔曼增益矩阵对所述图像雅可比矩阵进行更新,得到实时图像雅可比矩阵;
将所述初始控制输出和所述实时图像雅可比矩阵输入自抗扰观测器,计算多自由度机械手运动过程中的外部综合干扰项,将所述外部综合干扰项的补偿值与初始控制输出进行叠加,生成补偿控制输出;计算探测器组件相对于球管的实际跟踪轨迹与期望跟踪轨迹之间的偏差距离,根据所述偏差距离构建自适应滑模控制项,将所述自适应滑模控制项与所述补偿控制输出进行叠加,生成滑模修正控制输出;
在多个采样周期,重复执行操作,生成调节所述多自由度机械手的最终控制指令。
3.根据权利要求1所述的方法,其特征在于,将所述多角度软组织投影数据集输入图像质量评估网络,生成图像质量评分数据,根据所述图像质量评分数据筛选获得最优图像序列数据包括:
将多角度软组织投影数据输入特征分离网络,通过双分支结构分别提取图像的细节特征和结构特征,分别构建频域注意力图,根据所述频域注意力图对细节特征和结构特征进行增强,得到增强双频域特征数据;
将所述双频域特征数据输入包含多个残差密集块的残差密集连接网络,每个残差密集块内部采用密集连接方式串联多个卷积层,相邻残差密集块之间通过跳跃连接进行特征复用,提取多层次图像特征,得到多尺度特征图;
构建自注意力金字塔模块,将所述多尺度特征图划分为不同尺度的特征区块,计算不同特征区块之间的相关性矩阵,根据所述相关性矩阵生成注意力权重,对特征区块进行自适应加权,得到融合特征数据;
将所述融合特征数据输入不确定性学习模块,所述不确定性学习模块包含两个并行分支,通过第一分支输出质量评分预测值,通过第二分支输出预测不确定性估计值,将质量评分预测值和预测不确定性估计值结合,生成可信度加权的质量评分;
根据可信度加权的质量评分对图像进行排序,获取初始候选序列,对所述初始候选序列中的图像进行成对相似度计算,构建相似度矩阵;基于所述相似度矩阵对所述初始候选序列进行聚类分析,将相似度高于预设的相似度阈值的图像归为同一类别,在每个类别中选取质量评分最高的图像作为类别标记图像;
计算所述初始候选序列中各图像与对应类别标记图像的互信息,根据互信息和质量评分的加权组合,对图像重排序,按照预设的前排比例,选取对应排名且满足最小图像数量要求的图像,组成最优图像序列。
4.根据权利要求1所述的方法,其特征在于,将所述软组织结构特征数据与惯性传感数据进行特征点匹配,通过自校正空间配准算法生成配准图像数据包括:
在所述软组织结构特征数据中,对每个候选特征点构建预设半径的圆形邻域,计算所述圆形邻域内像素点与中心点的灰度差值和所述圆形邻域的灰度方差,当连续多个像素点的灰度差值大于预设的灰度差阈值,且灰度方差大于预设的灰度方差阈值时,将所述候选特征点标记为结构特征点,得到软组织特征点集;
对所述惯性传感数据进行卡尔曼滤波预处理,得到滤波数据,对所述滤波数据进行空间积分,获取传感器位置坐标,并投影至图像平面得到位置特征点集;对所述位置特征点集中的每个位置特征点计算马氏距离,剔除马氏距离大于预设距离阈值的位置特征点,得到优化位置特征点集;
计算所述软组织特征点集和所述优化位置特征点集中每个特征点对应邻域的矩阵特征值比值,得到局部结构复杂度;
根据所述局部结构复杂度自适应调整采样半径,在每个特征点周围构建多尺度采样模式,基于所述多尺度采样模式分别提取软组织特征点集和优化位置特征点集中各特征点的特征描述向量;
计算所述特征描述向量之间的互信息系数和相对位置关系参数,根据所述互信息系数和所述相对位置关系参数对软组织特征点集和优化位置特征点集进行匹配,得到初始匹配点对集合;
计算所述初始匹配点对集合中每对匹配点的特征描述向量互信息系数和局部空间变换一致性程度,结合所述惯性传感数据提供的运动约束,生成匹配可信度分数;根据所述匹配可信度分数对所述初始匹配点对集合进行筛选,选取所述匹配可信度分数高于预设的匹配可信度分数阈值的匹配点对,作为优选匹配点对;基于所述优选匹配点对构建空间变换矩阵,根据当前匹配误差分布自适应确定损失函数阈值参数;
基于所述损失函数阈值参数,结合Huber损失函数,对所述空间变换矩阵进行参数优化,当优化过程中所述空间变换矩阵的参数变化量小于预设的矩阵参数变化量阈值时,将当前的所述空间变换矩阵确定为最优变换矩阵;
根据所述最优变换矩阵对所述软组织结构特征数据进行空间变换,生成配准图像数据。
5.根据权利要求1所述的方法,其特征在于,将所述优化多角度图像数据和所述材料特征数据输入压缩感知重建模型,结合人体软组织解剖结构模板构建正则化约束条件,通过迭代计算生成软组织密度分布数据包括:
根据材料特征数据获取光子衰减系数,构建组织衰减系数矩阵,基于组织衰减系数矩阵建立线性密度映射函数,得到材料-密度映射模型;
基于优化多角度图像数据构建正交稀疏基矩阵,计算投影数据在所述正交稀疏基矩阵下的稀疏表示系数;
从人体软组织解剖结构模板中,提取组织界面位置坐标和界面曲率值,基于所述界面位置坐标和所述界面曲率值构建解剖学特征约束;
利用所述界面位置坐标,将密度重建空间划分为多个连续子区域,在连续子区域内部,施加密度连续性约束,在所述界面位置坐标处,构建可控跳变的分段连续约束函数,生成密度分布正则化项;
计算重建空间中相邻图像块的结构相似度系数,根据所述结构相似度系数构建非局部差分算子,将非局部差分算子作用于密度分布数据,建立结构保持约束项;
将所述材料-密度映射模型、所述解剖学特征约束、所述密度分布正则化项和所述结构保持约束项组合为联合优化目标函数;通过增广拉格朗日方法对所述联合优化目标函数进行变量分解,得到投影一致性约束项和结构保持约束项;
基于所述投影一致性约束项,通过共轭梯度法求解投影系数矩阵,基于所述结构保持约束项,通过近端梯度下降法优化约束参数,获得当前迭代的密度分布图像;
基于历史重建数据构建三层字典学习网络,训练得到不同尺度组织结构的特征字典组;
将当前迭代的密度分布图像在所述特征字典组中进行稀疏分解,计算各尺度下的重建误差,选择重建误差最小的特征字典进行密度分布重构,得到优化密度图像;
计算相邻两次迭代获得的优化密度图像之间的欧氏距离差值,当所述欧氏距离差值小于预设的密度图像距离差阈值时,将当前的优化密度图像确定为所述软组织密度分布数据。
6.根据权利要求1所述的方法,其特征在于,根据所述拓扑特征数据和所述形态特征数据构建组织分类模型,对不同密度区域进行智能分割,生成包含组织分层信息的三维模型数据包括:
将拓扑特征数据和形态特征数据输入三维卷积提取网络,获得多尺度特征映射序列,基于所述多尺度特征映射序列构建特征层次网络,计算局部结构张量矩阵,从所述局部结构张量矩阵中提取组织边界方向向量和主曲率参数,生成结构描述向量;
利用所述结构描述向量构建组织连通图模型,所述组织连通图模型的图节点存储局部结构描述向量,图边存储相邻节点之间的空间位置关系;
构建基于相变扩散的特征增强单元,将所述组织连通图模型输入非线性扩散方程,求解所述非线性扩散方程,得到增强边界特征和增强内部结构特征,并更新所述组织连通图模型的节点特征;
基于领域知识建立软组织弹性力学模型,将组织应力应变关系转换为节点位移约束参数,生成生物力学约束条件,根据所述生物力学约束条件计算组织变形应变能,构建基于组织变形应变能最小化准则的区域增长函数;
根据所述区域增长函数对所述组织连通图模型进行分层迭代分割,得到分割区域,计算分割区域的组织变形应变能的数值,将相邻区域的组织变形应变能差值大于预设应变能差值阈值的边界,确定为组织分界点集;基于所述组织分界点集构建组织层次标签集合,建立组织分层规则库,生成组织层次数据;
对所述组织层次数据进行可信度计算,得到区域分类可信度值,将所述区域分类可信度值低于预设可信度阈值的区域标记为待优化区域集合;
采用邻域信息传递算法对所述待优化区域集合进行迭代优化,更新节点特征参数和边约束参数,直至所有区域的分类可信度值均大于所述预设可信度阈值,得到优化分类标识数据;
将所述优化分类标识数据与所述密度分布数据进行空间配准融合,生成带有解剖结构标注的三维软组织模型。
7.针对软组织的多角度摄影及三维重建系统,用于实现前述权利要求1-6中任一项所述的方法,其特征在于,包括:
第一单元,用于采用深度卷积神经网络对受检软组织进行特征分析,获得软组织的体积参数和密度分布参数;基于体积参数和密度分布参数,通过轨迹优化算法生成球管运动轨迹数据和采样间隔数据;根据所述球管运动轨迹数据控制多自由度机械手驱动球管运动,并通过视觉伺服控制器调节所述多自由度机械手带动探测器组件进行同步跟踪;根据所述采样间隔数据,控制球管在预设的第一能量水平范围和第二能量水平范围分别采集软组织投影图像,获得多角度软组织投影数据集;
第二单元,用于将所述多角度软组织投影数据集输入图像质量评估网络,生成图像质量评分数据,根据所述图像质量评分数据筛选获得最优图像序列数据;对所述最优图像序列数据进行材料分解处理,采用多尺度特征融合网络提取软组织结构特征数据和材料特征数据;将所述软组织结构特征数据与惯性传感数据进行特征点匹配,通过自校正空间配准算法生成配准图像数据;对所述配准图像数据依次进行基于小波变换的自适应降噪处理和局部对比度增强处理,获得优化多角度图像数据;
第三单元,用于将所述优化多角度图像数据和所述材料特征数据输入压缩感知重建模型,结合人体软组织解剖结构模板构建正则化约束条件,通过迭代计算生成软组织密度分布数据;基于所述软组织密度分布数据,采用自适应网格划分算法进行曲面重建,生成初始三维模型数据;将所述初始三维模型数据输入图卷积特征提取网络,提取拓扑特征数据和形态特征数据;根据所述拓扑特征数据和所述形态特征数据构建组织分类模型,对不同密度区域进行智能分割,生成包含组织分层信息的三维模型数据。
8.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为调用所述存储器存储的指令,以执行权利要求1至6中任意一项所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202510091349.9A CN119540468B (zh) | 2025-01-21 | 2025-01-21 | 针对软组织的多角度摄影及三维重建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202510091349.9A CN119540468B (zh) | 2025-01-21 | 2025-01-21 | 针对软组织的多角度摄影及三维重建方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN119540468A CN119540468A (zh) | 2025-02-28 |
| CN119540468B true CN119540468B (zh) | 2025-05-09 |
Family
ID=94701605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202510091349.9A Active CN119540468B (zh) | 2025-01-21 | 2025-01-21 | 针对软组织的多角度摄影及三维重建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN119540468B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119762384A (zh) * | 2025-03-05 | 2025-04-04 | 南京华伟医疗设备有限公司 | 用于上肢功能评估的数据分析系统 |
| CN120510284B (zh) * | 2025-05-08 | 2026-01-23 | 连云港市纤维检验中心 | 一种智能检测纤维三维结构的系统及方法 |
| CN120543740B (zh) * | 2025-05-13 | 2026-01-13 | 中国地质科学院地质研究所 | 基于工业ct扫描的古生物化石三维重建方法及系统 |
| CN120233786B (zh) * | 2025-05-30 | 2025-08-29 | 青岛萨纳斯智能科技股份有限公司 | 一种基于ai视觉控制的无人机巡检方法及系统 |
| CN120541791B (zh) * | 2025-07-28 | 2025-09-23 | 沧州医学高等专科学校 | 一种基于多模态数据融合的生物组织解剖质量评估方法 |
| CN120747286B (zh) * | 2025-09-02 | 2025-11-07 | 广州市第一人民医院(广州消化疾病中心、广州医科大学附属市一人民医院、华南理工大学附属第二医院) | 一种用于多时序磁共振影像组的快速成像方法及系统 |
| CN121093721B (zh) * | 2025-11-13 | 2026-02-27 | 中国人民解放军北部战区总医院 | 基于三维图像重建的产后盆底功能评估系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294285A (zh) * | 2022-10-10 | 2022-11-04 | 山东天大清源信息科技有限公司 | 一种深度卷积网络的三维重建方法及系统 |
| CN118262875A (zh) * | 2024-04-11 | 2024-06-28 | 南昌大学第二附属医院 | 一种医学影像诊断对比阅片方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114078103A (zh) * | 2020-08-21 | 2022-02-22 | 先临三维科技股份有限公司 | 重建数据的方法及系统,扫描设备 |
| CN116612174A (zh) * | 2023-06-02 | 2023-08-18 | 青岛大学附属医院 | 软组织的三维重建方法、系统及计算机存储介质 |
| CN119048694A (zh) * | 2024-10-31 | 2024-11-29 | 福建智康云医疗科技有限公司 | 一种基于多模态的影像三维后处理方法及系统 |
-
2025
- 2025-01-21 CN CN202510091349.9A patent/CN119540468B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115294285A (zh) * | 2022-10-10 | 2022-11-04 | 山东天大清源信息科技有限公司 | 一种深度卷积网络的三维重建方法及系统 |
| CN118262875A (zh) * | 2024-04-11 | 2024-06-28 | 南昌大学第二附属医院 | 一种医学影像诊断对比阅片方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN119540468A (zh) | 2025-02-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN119540468B (zh) | 针对软组织的多角度摄影及三维重建方法及系统 | |
| CN111476292B (zh) | 医学图像分类处理人工智能的小样本元学习训练方法 | |
| US10997466B2 (en) | Method and system for image segmentation and identification | |
| CN111047572B (zh) | 一种基于Mask RCNN的医学图像中脊柱自动定位方法 | |
| CN107403201A (zh) | 肿瘤放射治疗靶区和危及器官智能化、自动化勾画方法 | |
| KR20190028422A (ko) | 해부학적 대상들의 자동 검출, 국부화, 및 의미론적 세그먼트화를 위한 시스템 및 방법 | |
| JP2019114262A (ja) | 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム | |
| CN117636116A (zh) | 一种ct图像数据智能融合mri数据的方法 | |
| CN109300136B (zh) | 一种基于卷积神经网络的危及器官自动分割方法 | |
| Campadelli et al. | A segmentation framework for abdominal organs from CT scans | |
| CN120374988B (zh) | 改进gan与多特征融合的皮肤lc-oct图像分割方法 | |
| CN120495295B (zh) | 基于图像识别的骨质疏松诊断方法 | |
| AU2020223750B2 (en) | Method and System for Image Annotation | |
| Isinkaye et al. | Segmentation of medical X-ray bone image using different image processing techniques | |
| CN120661240B (zh) | 一种用于微创手术的介入超声方法及系统 | |
| CN120876365B (zh) | 基于动态dr的骨盆稳定性动态检测方法及应力分析系统 | |
| CN118892360A (zh) | 一种自主调节的外科手术智能辅助方法及系统 | |
| Wang et al. | Gan-based architecture for low-dose computed tomography imaging denoising | |
| Cao et al. | Automatic spinal ultrasound image segmentation and deployment for real-time spine volumetric reconstruction | |
| CN117689806A (zh) | 一种基于自监督学习的神经元骨架感知形态表征学习方法 | |
| Manko | Segmentation of organs at risk in CT images of chest cavity | |
| Pandey et al. | Recognition of X-rays bones: challenges in the past, present and future | |
| Khalid et al. | Automated cobb’s angle measurement for scoliosis diagnosis using deep learning techniques | |
| Kamencay et al. | Innovative 3D reconstruction method based on patch based technique using neural network | |
| CN118866094B (zh) | 基于ct图像的单一基因突变状态预测方法、系统及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |