CN119963473A - 肺纤维化的定量 - Google Patents
肺纤维化的定量 Download PDFInfo
- Publication number
- CN119963473A CN119963473A CN202411575310.6A CN202411575310A CN119963473A CN 119963473 A CN119963473 A CN 119963473A CN 202411575310 A CN202411575310 A CN 202411575310A CN 119963473 A CN119963473 A CN 119963473A
- Authority
- CN
- China
- Prior art keywords
- lung
- data
- fibrosis
- segmentation
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Physiology (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- High Energy & Nuclear Physics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明描述了一种用于计算肺纤维化度量的系统和方法。所述系统具有:为患者接收初始肺成像数据的接口、从所述初始肺成像数据生成肺分割数据的经训练的神经网络肺分割模型、将所述肺分割数据应用于所述肺成像数据以产生修改后的肺成像数据的纤维化模型预处理器、从所述修改后的肺成像数据中生成纤维化分割数据的经训练的神经网络肺纤维化模型、结合所述肺分割数据处理所述纤维化分割数据以生成标记的体素数据的纤维化模型后处理器、使用所述标记的体素数据来为所述患者计算纤维化体积度量的纤维化度量处理器,和提供所述纤维化体积度量作为所述患者的所述肺纤维化度量的输出接口。
Description
技术领域
本申请涉及一种用于计算肺纤维化度量的系统、装置和计算机实施的方法。本文所描述的示例应用一组经训练的模型来基于初始肺成像数据计算肺纤维化度量。
背景技术
肺部疾病是影响全球数百万人的最常见的医疗状况之一。典型的肺部疾病可以由内部和外部因素引起,例如吸烟、感染、药物引起的副作用和基因突变。
间质性肺疾病(ILD)是影响间质的一类肺部疾病,间质是肺部的肺泡之间薄而脆弱的内层,从而微小的血管穿过间质并允许气体在肺泡和血液之间转移。
ILD的一种类型是特发性肺纤维化(IPF),其病因不明。美国国立卫生研究院的国家医学图书馆(NIH’s National Library Medicine)指出约有100,000名IPF患者(每年约有30,000-40,000新病例)。全球的IPF治疗市场目前为32亿美元,并预计到2026年将增至43亿美元),主要集中在美洲和欧洲地区(Expert Market Research,Global IPF TreatmentMarket Outlook)。市场驱动因素包括复杂呼吸系统疾病发病率的增加、老龄化和意识的提高。2018年,有79种药物和计算技术产品正在为IPF开发。截至2/3/21,有2,613项由工业资助的复杂呼吸系统疾病临床试验处于设置、招募或活跃试验状态和109项的IPF研究。
患有IPF的患者逐渐出现瘢痕組織,如果不治疗,可能导致呼吸衰竭并甚至死亡。目前尚无针对IPF(或其他纤维化肺部疾病)的有效治疗方法,直至2014年,两种具有里程碑意义的药物-Roche的吡非尼酮(Pirfenidone)和Boehringer Ingelheim的尼达尼布(Nintedanib)的出现。吡非尼酮已被证明可以减少由IPF引起的肺容量/功能下降。尼达尼布除了表现出与吡非尼酮相似的疗效外,它还显示出对非IPF形式的ILD的有效性。自2014年以来,全球已有超过50种候选药物已接受(或目前正在接受)IPF临床试验。
经由呼吸测试测量用力肺活量(FVC)是医院诊断IPF的标准方法。FVC是全肺容量的测量,并因此与肺功能衰退相关。随着肺纤维化恶化,肺部开始萎缩和FVC下降。FVC下降速度的降低表明候选药物的一定的疗效水平。在临床试验中,FVC通常用作主要终点。
然而,要获得FVC的准确测量是困难的。仅基于测量FVC来评估疾病的进展也是同样困难的。因此,对FVC作为临床终点存在担忧。这些担忧包括1)呼吸测试取决于执行测试的技术人员而有所不同,2)测试取决于患者当天的健康状况而有所不同,3)就计算机断层扫描(CT)而言,它可能不是纤维化的真实而准确的表示。
WO2023/281252A2描述了一种用于准备用于评估肺部疾病进展的模型的机器学习方法。该专利出版物描述了可用于追踪肺部疾病进展的“气道模型”和“肺部模型”的训练。训练气道模型以从CT扫描数据中检测和标记肺部的气道。然后可以使用气道中的变化来追踪疾病的进展。训练肺部模型以从相同的CT扫描数据中检测和标记肺叶。然后可以在试验、测试或筛选中使用标记的肺部部分。该专利出版物描述了“人在环路中(human-in-the-loop)”方法可以检查和纠正初始模型分割中的误差或不一致。专利出版物的方法为气道分割和肺部分割提供了准确的模型。
EP 4,246,434 A1描述了一种用于量化和预测间质性肺疾病进展的计算机实施的方法。计算机实施的方法应用了卷积神经网络(CNN),该卷积神经网络取了扫描的二维轴向切片并输出切片的分割。分割的形式是异常区域的多通道概率图。该多通道概率图通过阈值处理转换为肺部和网状血管掩模。可以对已识别的网状血管结构施加权重,并用于量化纤维化疾病的程度和/或预测ILD的进展。
2020年3月10日,Fei Shan等人在ArXiv上发表的论文“利用深度学习对CT图像中的COVID-19的肺部感染定量”描述了使用“VB-Net”深度学习架构来分类COVID-19感染区域。VB-Net架构接收CT数据并预测感染区域。
2020年5月12日,WeiyiXie等人在ArXiv上发表的论文“CT扫描中稳健且高效的肺叶分割的关系建模”描述了一种可应用于CT数据的肺叶分割模型。该肺叶分割模型使用关系两阶段U-Net配置从CT数据中标记肺叶。这两个阶段涉及全局和局部特征。然后可以使用标记的肺叶来帮助COVID-19的治疗。
鉴于上述,需要一种能够以简单且直接的方式量化肺纤维化的装置。同样地,在临床试验背景下,有一种对更有效的方法来定量评估肺疾病进展以响应新药候选剂量的未实现的需要。
应当理解,下面描述的示例不限于解决上述示例性已知的方法的任何或所有缺点的实现。
发明内容
本摘提供了以简化形式来介绍一些概念的选择,这些概念将在下文的具体实施方式中进一步描述。本摘要并非旨在识别所要求保护的主题的关键特征或必要的特征,也不旨在用于确定所要求保护的主题的范围;促进于实施本发明和/或用于实现基本相似技术效果的变体和替代特征应被视为落入本文公开的本发明的范围内。
本公开提供了一种机器学习方法来评估纤维化的存在和进展。可以基于肺成像数据(例如计算机断层扫描(CT)扫描)来为患者评估纤维化的存在和进展。本公开描述了一种黑盒系统,该系统可以应用于研究或临床环境中以允许研究人员和医疗专业人员来量化肺纤维化。在本文所述的示例中,使用肺纤维化度量来量化肺纤维化。肺纤维化度量是基于表示表现出纤维化的肺体积比例的纤维化体积度量来计算的。纤维化体积度量是基于两个机器学习模型来计算的:被训练以预测肺分割数据的第一机器学习模型(例如,其将肺成像数据的部分识别为与肺相关)和被训练以预测纤维化分割数据的第二机器学习模型(例如,其将肺成像数据的部分识别为表现出纤维化)。
在所描述的示例的第一方面,一种用于为患者计算肺纤维化度量的系统,包括输入接口、经训练的神经网络肺分割模型、纤维化模型预处理器、经训练的神经网络肺纤维化模型、纤维化模型后处理器、纤维化度量处理器和输出接口。输入接口被配置为接收患者的初始肺成像数据。经训练的神经网络肺分割模型被配置为从初始肺成像数据生成肺分割数据。肺分割数据指示肺成像数据的哪些部分与患者的肺特征相关。纤维化模型预处理器被配置为将肺分割数据应用于肺成像数据以产生修改后的肺成像数据。经训练的神经网络肺纤维化模型被配置为从修改后的肺成像数据生成纤维化分割数据。纤维化分割数据指示修改后的肺成像数据的哪些部分与纤维化特征相关。纤维化模型后处理器被配置为结合肺分割数据处理纤维化分割数据以生成标记的体素数据。纤维化度量处理器被配置为使用标记的体素数据来为患者计算纤维化体积度量。纤维化体积度量表示表现出纤维化的肺体积比例。输出接口被配置为提供纤维化体积度量作为患者的肺纤维化度量。
如本文所描述,第一方面提供了与纤维化有关的直接、可解释的度量,其可用于识别和追踪疾病进展。肺纤维化度量允许大规模试验来可靠地比较不同的患者,例如确定药物试验中的新治疗方法的疗效。肺纤维化度量在不同的患者组中是稳定和一致的。这是通过本文提出的系统架构实现的。使用经训练的神经网络肺分割模型允许将肺分割数据用作注意力图的形式,其改善了经训练的神经网络肺纤维化模型的训练和推断。因此,这两个模型产生协同作用。通过将肺成像数据的部分识别为“肺部”,肺分割数据可用于告知肺纤维化模型与肺相关的肺成像数据区域(并且这在某些示例中可以概率地执行)。这提供了改进的纤维化分割数据(例如,更准确和可重复的纤维化识别),然后将其与原始肺分割数据结合使用以计算体积度量。体积度量可以独立于肺部的大小,并因此可以在不同患者之间进行比较。此外,通过提供黑盒系统,可以计算肺纤维化度量同时限制对昂贵且耗时的放射科医生或专家指导的需求。这使能够快速且廉价的诊断。
在所描述的示例的第二方面,提供了一种用于为患者计算肺纤维化度量的计算机实施的方法。方法包括:接收患者的初始肺成像数据;将经训练的神经网络肺分割模型应用于初始肺成像数据以生成肺分割数据,肺分割数据指示肺成像数据的哪些部分与患者的肺特征相关;将肺分割数据应用于肺成像数据以产生修改后的肺成像数据;将经训练的神经网络肺纤维化模型应用于修改后的肺成像数据以生成纤维化分割数据,纤维化分割数据指示修改后的肺成像数据的哪些部分与纤维化特征相关;结合肺分割数据处理纤维化分割数据以生成标记的体素数据;使用标记的体素数据为患者计算纤维化体积度量,纤维化体积度量表示表现出纤维化的肺体积比例;以及提供纤维化体积度量作为患者的肺纤维化度量。
第二方面提供了与第一方面类似的好处。
在所描述的示例的第三方面,提供了一种配置肺纤维化度量系统的计算机实施的方法。方法包括:获取包括具有肺分割注释的肺成像数据的肺分割训练数据;基于肺分割训练数据训练神经网络肺分割模型以产生一组已训练的肺分割模型参数,所述训练包括优化损失函数,所述损失函数基于地面真值肺分割注释与来自神经网络肺分割模型的预测的肺分割注释的比较来计算;获取包括具有纤维化分割注释的肺成像数据的纤维化训练数据;以及基于纤维化训练数据训练神经网络肺纤维化模型,所述训练包括优化损失函数,所述损失函数基于地面真值纤维化分割注释与来自神经网络肺纤维化模型的预测的纤维化注释的比较来计算。预测的纤维化注释通过以下方式计算:使用应用于来自所述肺成像数据的样本的所述经训练的肺分割模型参数实例化的所述肺分割模型来计算肺分割数据;使用肺分割数据预处理来自肺成像数据的样本以生成修改后的样本;以及将训练模式下的神经网络肺纤维化模型应用于修改后的样本以生成预测的纤维化注释。
第三方面提供了一种两阶段训练方法,该方法允许轻松地训练准确的肺纤维化检测系统。训练方法使用两组注释的数据-注释的肺分割数据和注释的纤维化分割数据。这些数据组可以是独立的并且基于不同的可用的训练集。然后,训练方法使用该注释的数据以至少改进肺纤维化神经网络模型的准确性和可靠性的方式来训练两个神经网络模型
在某些示例中,可以使用由医学专家注释的肺成像数据训练集来训练神经网络肺纤维化模型。医学专家可以是一个或多个专家胸部放射科医生。训练数据可以包括来自受纤维化肺部疾病影响的不同患者的肺部CT图像集。注释可以包括专家胸部放射科医生指示肺成像数据内的纤维化区域。这可能涉及在CT图像上标记区域。可以使用WO2023/281252A2中描述的方法和/或基于被注释以指示肺部区域或肺部的不同的已识别的区域的肺成像数据训练集来训练肺分割神经网络模型。
在某些示例中,训练可能涉及“人在环路中”细化。例如,可以首先使用包括由一组专家胸部放射科医生执行的手动注释的数字数据集来初步训练纤维化模型。然后可以将该模型应用于一组未分割的图像以生成一组估计的分割图像。然后可以由一组专家胸部放射科医生校正所得的分割,并将校正编码作为损失函数的部分。然后可以重新训练和更新纤维化模型,其中可以多次迭代执行此过程。
本公开内容中关于“纤维化”的讨论涉及医学专家认为是“纤维化的”肺组织。纤维化组织可以包括一系列的放射学表现,范围从轻度炎症变化(例如,表现为所谓的“磨玻璃变化(ground glass changes)”),到轻度纤维化变化(例如,与网状结构相关联的变化),再到更严重的纤维化变化(例如,那些被称为“蜂窝状”的变化)。
本文所描述的某些示例使用多阶段系统,其中每个阶段依赖于布置在管道中的多个卷积神经网络。管道的不同部分可以被布置成以不同的分辨率处理肺成像数据。优选地,本文使用的神经网络模型对三维数据进行操作,其中肺成像数据被表示为反映扫描的CT体积的三维体积,所述体积由一个或多个肺或肺区域的扫描产生。
本文所描述的方法可通过有形存储介质上的机器可读形式的软件执行,例如以计算机程序的形式,包括计算机程序代码装置,该计算机程序代码装置适于在程序在计算机上运行时执行本文所描述的任何方法的所有步骤,并且计算机程序可体现在计算机可读介质上。有形(或非瞬时)存储介质的示例包括磁盘、拇指驱动器、存储卡等,并且不包括传播信号。软件可适合在并行处理器(例如一个或多个图形处理单元)或串行处理器上执行,使得方法步骤可按任何合适的顺序执行或同时执行。
本申请承认固件和软件可以是有价值的、可单独交易的商品。它旨在涵盖在“哑(dumb)”或标准硬件上运行或控制“哑”或标准硬件以执行所需功能的软件。它还旨在涵盖“描述”或定义硬件配置的软件,例如用于设计硅片或用于配置通用可编程芯片的HDL(硬件描述语言)软件,以执行所需功能。本文所描述的模型可以实现为硬件和软件的组合(例如,实现计算机程序代码的处理器)和一组配置数据,该组配置数据包括模型的一组可训练的参数的值。
下文中描述的优选的特征可以根据需要进行组合,这对于本领域技术人员来说是显而易见的,并且可以与本发明的任何方面进行组合。
附图说明
将参考以下附图以示例的方式描述本发明的实施例,其中:
图1是示出用于计算肺纤维化度量的系统的示例的示意图;
图2A和2B分别是示出轴向和冠状平面上的未分割和已分割的肺图像的示例的示意图;
图3A是示出经训练的神经网络肺纤维化模型的示例的示意图;
图3B是示出经训练的神经网络肺纤维化模型内的处理块的示例的示意图;
图4是示出用于为患者计算肺纤维化度量的计算机实施的方法的示例的流程图;
图5是示出配置肺纤维化度量系统的计算机实施的方法的示例的流程图;以及
图6是适合用于实施本发明的实施例的计算设备的框图。
在所有附图中,使用共同的参考标号来指示相似的特征。
具体实施方式
下面描述了本发明的示例。这些示例代表了申请人目前已知的将本发明付诸实践的合适模式,尽管它们并不是实现本发明的唯一方式。说明书阐述了示例的功能以及构建和操作示例的步骤顺序。然而,相同或等效的功能和顺序可以通过不同的示例来实现。
在比较和过去的方法中,常规临床实践中患者的肺部疾病进展通常由专家胸部放射科医生进行视觉评估。对于每个患者,专家在基于图像内区域的外观进行视觉评估前,可以研究由他们的计算机断层扫描(CT)扫描产生的多达300个二维轴向图像,同时注意任何随时间可观察到的变化。纤维化进展可以肺组织的架构扭曲的形式,其中正常肺组织被纤维化(即纤维化组织)取代,并且肺体积损失可能发生在疾病的晚期阶段。可以通过视觉比较在不同时间拍摄的不同标记的二维图像来看出这种进展。放射学发现的手动定量分析是可能的,而这将涉及使用图形用户接口以数字方式识别三维CT扫描中的感兴趣区域。
这些比较和过去的方法存在问题。例如,视觉评估只能产生定性数据。用眼睛分析CT扫描的图像也被证明是主观的。它也容易受到分析时放射科医生的身体状态的影响。因此,放射科医生对同一数据集的解释可能会有相当大的差异(或甚至同一放射科医生在不同时间点的注释之间也会有相当大的差异)。不同的经验水平也会对纤维化和进展测定的注释产生影响。因此,在专家资源有限的情况下,准确的评估/分析需要很长时间。具有不同经验水平的顾问放射科医生库可能能够减少差异,但这种库很昂贵(在人力和成本方面),并且受到社会因素(例如群体动力学和对权威的尊重)的影响。这可能使在大型群体(例如数百或数千名患者)中测试新疗法变得困难和冗长。
出于这个原因,纤维化的定量分析对于将纤维化组织的测量整合到关于患者病情进展和药物反应的评估中是非常需要。
用于分类纤维化的计算机辅助诊断(CAD)算法是确实存在的。然而,目前尚未就临床试验和临床实践中使用的最佳方法达成共识。现有的商业算法是使用旧的计算方法开发的。最早的方法之一仅基于CT扫描的密度测量-这些不是精确的测量,因为密度不是纤维化所特有的,而且正常或其他病理结构也可能具有与纤维化相似的密度。其他方法包括自适应多特征方法(AMFM),这是一种基于计算机的分析工具,使用从图像中提取的图像块来量化肺部模式,和CALIPER(用于病理学评估和评级的计算机辅助肺部信息学),这是一种基于计算机视觉的技术,包括体积局部直方图和形态学分析,以根据CT数据提供对肺部实质疾病的定量评估。定量肺纤维化(QLF)工具于10年前推出,它是一种基于支持向量机(SVM)的技术,支持向量机是一种计算纹理特征并运行SVM分类器的过程-这是在硬皮症肺疾病而非IPF中开发的。较新的方法与数据驱动的纹理分析(DTA)相关,它是基于无监督特征学习,并以简单的卷积神经网络(CNN)实现。所有这些方法都依赖于单个体素的测量,因此结果可能会受到噪声和不同重建算法的影响。
另一种方法是使用功能性呼吸成像,包括获取吸气和呼气数据集并计算气道的体积和口径,这些方法不太依赖于噪声和重建算法,而是测量纤维化的副产品(气道扩张)而不是纤维化本身。例如,WO2023/281252A2中描述的“气道模型”可用于测量气道扩张。
最后,存在某些开源算法,其工作和训练与现有的商业算法相似。当用于评估特定疾病时,它们缺乏一致性和标准化。此外,开源方法缺乏由多个供应商和不同的采集设置生成的大量训练集数据。此外,它们缺乏专家输入来实现准确、可靠的性能,并且确实使这种开源算法不适合用于现实世界中的图像。
本文所描述的本发明通过提供一种改进的方法,使用机器学习以定量方式识别和评估肺部中的纤维化的扩展,克服了现有方法/算法中存在的至少一些缺点。由此训练一个或多个机器学习模型以量化肺成像数据的分析,使得所产生的结果量化(例如以肺纤维化度量的形式)可用作或适于作为用于评估纤维化肺部疾病(即,IPF)进展的生物标志,以代替或补充临床试验或常规临床实践中的标准用力肺活量(FVC)。与现有方法相比,本发明具有以下好处。
这些好处包括但不限于:
a)对比FVC,肺纤维化度量对于早期IPF进展可能是更敏感的标志(有用于监测开始进展的“轻度”患者);
b)肺纤维化度量比FVC更能反映纤维化的CT放射学变化;
c)肺纤维化度量可补充FVC,作为进展的更敏感的标志;
d)肺纤维化度量可通过量化纤维化程度来提供死亡率的预测;
e)肺纤维化度量可允许队列选择,即在试验中识别出纤维化正在进展的患者,以便最适合治疗。
在某些示例中,机器学习模型包括神经网络架构。神经网络架构可以包括处理单元的布置,其中处理单元中的至少一个包括用于计算的参数(例如矩阵乘法或其他变换),并且其中可以使用基于损失函数的训练程序优化这些参数。
可以使用由专家胸部放射科医生生成的分割数据迭代地训练机器学习模型。模型的组合被配置为提供快速、一致、自动、准确的分割和对来自肺疾病患者的图像的纤维化测量。然后,这允许基于纤维化体积变化对患者肺纤维化的程度和进展以及治疗反应进行可靠的评估。因此,肺纤维化度量可用作纤维化肺疾病的临床研究和治疗中的敏感的生物标志。
对于用于评估纤维化程度和分布的机器学习模型(本文称为纤维化模型),训练数据可以包括一组CT图像。这些CT图像是基于纤维化肺疾病的进展来识别和标记的。CT图像是由计算机断层扫描扫描仪生成的整个或选定的身体部位的横截面图像。训练集适当地拍摄肺部的外观,并且专家放射科医生可以读取扫描并半定量地识别异常的分布和严重程度。一队专家放射科医生可以分割训练集中这些CT图像上的纤维化。在此基础上,训练适合于图像分割的神经网络架构。
图1示出了用于为患者计算肺纤维化度量的系统102的示例100。系统102对肺成像数据104进行操作,处理后产生肺纤维化度量106。
肺成像数据104可以包括从患者测量的数据,例如扫描数据。扫描数据可以包括CT成像数据。扫描数据可以作为一个或多个二维图像(例如,单个通道或多个通道数据的度量)和/或作为三维数据结构(例如,表示穿过一个或多个肺的一组切片)提供。在优选的示例中,肺成像数据104包括三维矩阵(在机器学习中有时称为“张量(tensor)”),具有一个或多个数据通道表示扫描强度或值。例如,肺成像数据104可以作为具有已定义的(体素)间距的三维值矩阵(即,一组体素)提供。通常CT成像数据以灰度值提供,而因此可以作为单个通道提供。肺成像数据的分辨率(例如,空间维度中的每个的元素数量)可能取决于数据来源(例如,成像设备和/或后处理成像软件的分辨率)。肺成像数据104可在已定义的三维范围或包络内提供。例如,CT扫描数据可作为表示扫描体积的圆柱体内的数据值提供。
肺纤维化度量106可以包括单个标量值,该标量值可用于比较不同患者之间的纤维化程度。在基本情况下,肺纤维化度量106可以为患者的一组肺部提供单个值。在扩展情况下,肺纤维化度量106可以包括用于肺部或一组肺部的不同部分的多个度量值。肺纤维化度量106基于表示表现出纤维化的肺体积比例的纤维化体积度量。肺纤维化度量106可以与基于一组手动放射科医生纤维化注释计算出的纤维化体积度量相比。这是可能的,因为系统102包括至少在放射科医生(即专家)纤维化注释上训练的神经网络模型。以此方式,肺纤维化度量106可用于将结果与已执行手动纤维化分割的实验进行比较的研究。肺纤维化度量106还可解释为用于诊断疾病和追踪疾病进展的易于理解的度量。系统102的输出的可靠性进一步促进了疾病进展。
回到图1,系统102包括输入接口112和输出接口114。输入接口112接收肺成像数据104。肺成像数据104可称为“初始”肺成像数据104,因为它反映了在系统102内处理之前获得的一组肺成像数据。输出接口114返回或输出来自系统102的肺纤维化度量106。术语“接口”在本文中用于指允许一个或多个数据输入和数据输出的任何物理和/或逻辑接口。接口可以通过从一个或多个存储器位置检索数据来实现,如由执行一组指令的处理器所实现的。接口还可以包括接收数据的物理耦合。接口可以包括应用程序编程接口和/或方法调用或返回。例如,在软件实现中,接口可以包括将数据和/或存储器引用传递给经由方法调用启动的函数;在硬件实现中,接口可以包括不同芯片、芯片集或芯片部分之间的有线互连。
接收后,将肺成像数据104传递到肺分割模型120和纤维化模型预处理器130。优选地,肺分割模型120和纤维化模型预处理器130并行处理肺成像数据104,但也可使用串行处理。肺分割模型120是经训练的神经网络肺分割模型。肺分割模型120从肺成像数据104生成肺分割数据122。肺分割数据122可包括二维或三维数据,具有一个或多个包括指示数据元素是否属于肺的值的通道。优选地,肺分割数据122具有与肺成像数据104相同的分辨率,但在某些示例中,肺分割数据122可包括不同的分辨率(例如,基于肺分割模型120内的显式或隐式的上采样或下采样)。肺分割数据122可以包括二进制数据值,指示数据元素(例如,像素或体素)是否与肺的一部分相关(例如,“0”表示“非肺部”,而“1”表示“肺部”)。在优选的情况下,肺分割数据122可以包括概率图,该概率图包括表示数据元素与肺的一部分相关的概率的数据值(例如,0和1之间的值)。在这种情况下,可以通过对概率值进行阈值化和/或采样来获得二进制掩码。
在某些变型中,肺分割数据122可以包括指示肺部的不同区域或体积的值。例如,肺分割数据122可以包括一组通道,其中每个通道与肺叶相关。在一种情况下,可能有五个通道,每个通道代表五个肺叶(右肺的上叶、中叶和下叶以及左肺的上叶和下叶)中的每个的概率图。在另一种情况下,可能有三个通道代表上叶、中叶和下叶,以及一个单个通道代表左肺和右肺。在又一些情况下,肺分割数据122可以具有指示肺段(每个肺叶具有两个到五个段)和/或小叶的进一步通道。如果肺分割数据122指示特定的肺部部分的分类(如本文所描述),则可以生成指示更一般的“肺部”分割的单个二进制或概率值作为单个通道或作为表示特定的肺部部分的一组通道的函数(例如,作为通道或类似的最大值)。可以理解的是,肺分割数据122的精确形式可能取决于实施方式并且可能有所不同。
回到图1,纤维化模型预处理器130被配置为在应用肺纤维化模型140之前预处理肺成像数据104以生成修改后的肺成像数据132。肺纤维化模型140也是经训练的神经网络模型。肺纤维化模型140可以或可以不包含与肺分割模型120相同的神经网络架构。在这两种情况下,肺纤维化模型140包括一组与肺分割模型120的已训练参数不同的已训练参数。已经发现,可以使用通用(即,使用相同或重叠的组件)神经网络架构,并然后使用不同的训练数据集(例如,分别是肺分割注释和肺纤维化注释)进行训练。通用神经网络架构可以简化实施、部署和工程优化。纤维化模型预处理器130被配置为将肺分割数据122应用于肺成像数据104以产生修改后的肺成像数据132。这可以包括将肺分割数据122和肺成像数据104相乘(例如,使用矩阵乘法)。如果肺分割数据122包括二进制掩码,则纤维化模型预处理器130可以对肺成像数据104进行掩码,以保留数据中与肺部分相关的值。在优选的情况下,肺分割数据122包括概率图,肺分割数据122可用于对肺成像数据104进行加权,以强调肺成像数据104中的肺部分。在这种情况下,纤维化模型预处理器130可充当一种注意机制,其在应用肺纤维化模型140时使用肺分割数据122来关注肺部的区域。在一种情况下,所述乘法可逐个元素地应用,例如,将表示肺成像数据104的三维矩阵中的数据元素的值乘以表示肺分割数据122的三维矩阵中的对应的数据元素的值。在这种情况下,对应的数据元素可包括共享分辨率下的对应体素或对应像素。
在系统102中,肺纤维化模型140被配置为从修改后的肺成像数据132生成纤维化分割数据142。纤维化分割数据142指示修改后的肺成像数据132的哪些部分与纤维化特征相关。例如,纤维化分割数据142可以包括二维或三维矩阵,具有至少一个数据通道表示纤维化标签。至于肺分割数据122,纤维化分割数据142可以包括指示特定数据元素的“纤维化”或“非纤维化”分类的二进制数据值,其中每个数据元素与患者的肺部的潜在部分相关,或者可以包括概率图(例如,具有0和1之间的值),其值表示纤维化分类的可能性。在一种情况下,纤维化分割数据142的二维或三维分辨率可能与肺成像数据104相同或对应。由于肺成像数据104已使用肺分割数据122进行预处理,因此无需手动将肺纤维化模型140的应用限制在特定的“肺部”像素或体素上-纤维化分割数据142的数据值可以填充横过(populated across)到初始肺成像数据104的整个数据元素范围内,而不管它们是否显示肺的部分。这是因为肺分割数据122和修改后的肺成像数据132的应用引导肺纤维化模型140(或更准确地说,在训练期间引导模型的参数值)有效地结合肺分割和纤维化标记功能。在这方面,纤维化分割数据142中与肺的部分不对应的数据元素将被分配低纤维化值或零纤维化值。在肺分割数据122包括概率图的情况下,肺纤维化模型140可以学习复杂的非线性函数来确定纤维化。例如,肺纤维化模型140可以能够适应关于肺分割的不确定性(例如,肺分割值内的变化)并整合二维和/或三维内的局部和全局模式。所有这些都提供了纤维化分割数据142中准确且可靠的纤维化标记。
在生成纤维化分割数据142之后,该数据和肺分割数据122被传递到纤维化模型后处理器150以生成标记的体素数据152。在肺分割模型120和肺纤维化模型140对二维输入(例如,对二维CT图像)进行操作的情况下,可以迭代地应用组件120至140(例如,对多个所述图像)以提供肺分割数据122和纤维化分割数据142作为穿过肺部体积的不同平面的多个二维数据“切片”。在优选的情况下,当肺分割模型120和肺纤维化模型140对三维输入(例如,三维矩阵)进行操作时,然后肺分割数据122和纤维化分割数据142可能已经包括体积数据。当肺分割数据122和纤维化分割数据142具有不同的分辨率时,纤维化模型后处理器150可以执行二维和/或三维上采样或下采样,以提供共同(即共享分辨率)内的数据。在优选的实施例中,肺分割模型120和肺纤维化模型140被配置为对共同(即共享分辨率)的三维数据进行操作,其中该分辨率可以设置为配置参数和/或基于肺成像数据104的分辨率进行设置。在肺成像数据104、肺分割数据122和纤维化分割数据142在三维中具有相同数量的数据元素(即相同的三维分辨率)的情况下,这可以促进计算和比较。在一种情况下,纤维化模型后处理器150被配置为将肺分割数据122和纤维化分割数据142中的体素的相应数据值相乘。这可以包括一种后处理注意的形式。这可用作基于肺分割数据122中被视为“肺”的数据部分来细化纤维化分割数据142。在肺分割数据122为二进制掩模的另一种情况下,纤维化模型后处理器150可将纤维化分割数据142中与肺无关的任何值归零。
标记的体素数据152包括一组数据元素,每个数据元素具有一个纤维化值。例如,每个体素具有相应的纤维化值。纤维化模型后处理器150可以对连续(例如浮点数据类型)纤维化值(例如,表示肺分割数据122和纤维化分割数据142所应用的函数的输出)应用阈值程序,以为每个数据元素输出二进制“纤维化”标签。二进制“纤维化”标签可以相当于放射科医生认为CT扫描的部分对应于纤维化组织。标记的体素数据152可以额外地包括指示肺的部分的标签,例如基于肺分割数据。
在图1的示例100中,标记的体素数据152由纤维化度量处理器160接收。纤维化度量处理器160被配置为从标记的体素数据152计算纤维化体积度量。纤维化体积度量表示表现出纤维化的肺体积的比例。在一种情况下,纤维化体积度量可以包括标记为表现出纤维化的体素数量与标记为与肺相关的体素数量的比率。在一种情况下,标记的体素数据152可以仅包括“肺部”体素。在这种情况下,纤维化体积度量可以包括在总体素数量内标记为表现出纤维化的体素数量。纤维化体积度量可以包括无量纲百分比或比率值(例如,在0和1之间或0和100%之间)。鉴于此,可以跨不同患者和/或跨时间比较纤维化体积度量。在图1中,纤维化度量处理器160将纤维化体积度量传递到输出接口114以作为肺纤维化度量106输出。
在一种变体中,肺分割模型120被配置为将数据元素分类为与肺的一个或多个解剖部分(例如,叶、段和/或小叶)相关,纤维化度量处理器160可以被配置为计算那些不同解剖部分的纤维化体积度量。例如,纤维化模型后处理器150可以使用肺分割数据122在标记的体素数据152内设置多类别标签(例如,作为由字典映射到不同解剖部分的一组多通道独热(one-hot)值和/或整数标签)。然后,纤维化度量处理器160可以输出一个或多个标记的肺解剖部分的纤维化体积度量。例如,纤维化度量处理器160可以被配置为为每个肺叶输出纤维化体积度量。这可以用于帮助诊断不同的病症和/或追踪肺部不同区域的治疗效果。
如上所描述,肺成像数据104可以包括一组计算机断层扫描(CT)图像和三维CT图像数据中的一个或多个。例如,三维CT图像数据可以以NIfTI文件格式(例如,以最初由Neuroimaging Informatics Technology Initiative为神经科学数据开发的“*.nii”文件格式)或DICOM文件格式(以医学数字成像和通信标准命名)提供。肺成像数据104可以以压缩形式提供并在使用前解压缩。在某些示例中,可以在加载肺成像数据104时应用预处理以将其提供为内存中的可访问张量。
图2A和2B示出了使用肺纤维化模型(例如图1中的肺纤维化模型140)预测的纤维化分割数据的示例。图2A和2B示出了患者的二维CT图像。这些CT图像可以是独立图像或可以包括从三维CT成像数据的“切片”。图2A示出了疑似肺纤维化的64岁男性患者的轴向切片的各种版本210、220、230。图2B示出了同一患者的冠状切片的各种版本260、270、280。上部图像210和260示出了未标记的切片。例如,这些切片可能构成图1中初始肺成像数据104的部分。下部两个图像220、230和270、280则示出了这些具有附加的纤维化分割标记的切片。第二幅图像220和270示出了将纤维化分割标记作为半不透明的覆盖层222、272。第三幅图像230和280示出了相同的纤维化分割标记作为不透明白色覆盖层232、282(为了在黑白中更清晰可见)。在这种情况下,纤维化分割标记可以形成图1中的纤维化分割数据142的部分,或基于由纤维化模型后处理器150生成的输出标记的体素数据152。在图2A和2B中,纤维化分割是二进制的(即“纤维化”或“非纤维化”),并应用于单个数据元素(其可能对应于肺成像数据中的像素或像素区域)。可以通过沿用于与轴向和冠状切片相同的平面对输出标记的体素数据152进行切片来生成纤维化分割标记的二维切片。通过比较图2A和2B中的上部和下部图像,可以看到由本文所述的方法和系统生成的纤维化分割标记如何识别原始初始图像中可见的纤维化区域(通常为蜂窝状和网状区域)。
图2A和2B示出了纤维化在肺部的不同部分通常有不同的表现方式。在图2A中,可以看到纤维化区域位于肺部后部,左肺和右肺的表现不同。在图2B中,左肺和右肺的表现也不同,但肺部下部的纤维化也更明显。因此,输出特定肺部分(例如,每个肺叶、肺段和/或肺小叶)的纤维化体积度量的变化可以帮助非放射科医生(例如,全科医生、技术员或护士)容易看到纤维化的程度或其随时间的进展。这些局部纤维化体积度量可以与单个全局纤维化体积度量一起提供。可以随时间重复计算这些度量中的任何一个以评估IPF的进展。
图3A和3B示出了神经网络架构的具体示例300,该架构可用于实现至少图1的肺纤维化模型140(或在后面的方法中使用)。在某些情况下,可以使用相同的架构来实现肺分割模型120(但具有不同的已训练参数集)。示出了示例尺寸和特征大小以帮助解释架构的操作,但不应将其视为限制。本领域技术人员将理解,尺寸和张量大小可以基于特定的实现和偏好进行配置。
术语“神经网络模型”和“神经网络架构”在本文中可互换使用,指一组一个或多个被配置为执行特定的数据处理任务的人工神经网络,在这种情况下,任务是标记纤维化和/或肺部分。“神经网络架构”可以包括一个或多个神经网络类型的一个或多个神经网络层的特定布置。神经网络类型包括卷积神经网络、循环神经网络和前馈神经网络。本示例是基于卷积神经网络。卷积神经网络涉及一个或多个卷积运作的应用。卷积神经网络层可以应用于二维或三维数据值。卷积神经网络层可以具有步幅参数和滤波器尺寸。本文描述的神经网络架构可以使用已知的编程工具和库(包括和)来实现的。
“神经网络层”通常在机器学习编程工具和库中定义,可以被认为是将输入数据映射到输出数据的运作。在许多机器学习编程工具和库中,不同类型的神经网络层在库中预定义,并且可以经由模型定义被配置为神经网络架构的部分。例如,模型定义可以是Python分类的形式。“神经网络层”可以应用一个或多个权重来将输入数据映射到输出数据。还可以应用一个或多个偏差项。可以使用一个或多个多维排列或矩阵来应用神经网络层的权重和偏差。通常,神经网络层具有多个参数,其值影响层如何将输入数据映射到输出数据。可以通过优化目标函数以监督方式训练这些参数。这通常涉及最小化损失函数。
卷积神经网络层可以应用指定的卷积运作。在本示例中,PyTorch的Conv3D和ConvTranspose3D数据类别可以应用三维卷积(例如,在版本1.x和2.x中)。神经网络库中还可以定义其他层。这些包括具有可训练参数的层和不具有可训练参数的层。其他层的示例包括规范化层(normalisation layer)、退出层(dropout layer)和激活函数。常见的激活函数包括sigmoid函数、tanh函数和整流线性单元(RELU-包括参数化的RELU)。存在许多其他激活函数并且可以应用。可以应用softmax激活将一组logit或分数转换为一组总和为1的概率值。可以基于测试和偏好选择激活函数。在某些情况下可以省略激活函数,和/或形成神经网络层内部结构的部分。神经网络架构的其他结构组件包括省略连接和残差连接。
本文所述的神经网络层和架构可以被配置为使用称为反向传播的方法进行训练。这种方法可以在机器学习编程工具和库的训练方法中构建。在训练时,提供由输入和输出数据对组成的训练集。在这种情况下,训练集可以包括三维CT成像数据和该数据的标记的体素(例如,就肺分割和/或纤维化二进制或整数/多类别标签而言)。在某些示例中,多个神经网络层和/或架构可以通信地耦接以形成计算图。在特定的情况下,层和架构,和甚至整个系统可以作为一个整体进行训练(有时称为“端到端”训练)。
在训练集中,输出数据通常被称为“地面真值(ground-truth)”标签,因为它表示了输出应该是什么。在本示例中,至少一些“地面真值”标签可以是放射科医生先前手动注释的标签。在反向传播期间,构成每个神经网络架构的神经网络层被初始化(例如,使用随机的权重),然后使用来自训练集的一组输入数据(例如,所谓的“前向”传递)进行预测。将预测与来自训练集的相应“地面真值”输出数据进行比较并计算误差。误差可以形成损失函数的部分。在本示例中,损失函数可以基于模型预测与训练“地面真值”分割标签(例如,指示数据元素的“肺部”或“纤维化”的独热标签)之间的比较。在某些优选的示例中,损失函数使用基于系数的所谓的dice损失。Dice损失可以计算为地面真值和预测的数据元素(例如,一组体素的“纤维化”标签)的并集的正判(positive determination)数量的两倍除以地面真值数据元素的正判数量和预测的数据元素的正判数量的总和。当纤维化标签包括概率图内的连续值时,可以使用连续的dice损失。
如果使用梯度下降法,则误差用于确定损失函数相对于层和架构的参数的梯度,其中梯度随后用于通过神经网络架构反向传播对参数值的更新。通常,更新根据神经网络层权重的导数进行传播。例如,可以确定损失函数相对于神经网络层权重的梯度,并将其用于确定最小化损失函数的权重更新。在这种情况下,可以使用例如梯度下降、随机梯度下降、ADAM等优化技术来调整权重。可以应用链式法则和自动微分函数来有效地计算损失函数的梯度,例如从层和/或架构的输出开始,并依次反向通过每个神经网络架构的神经网络层。在本示例中,ADAM优化器是优选的。可以随机初始化权重。
图3A的示例是基于三维U-Net架构。在此示例中,三维肺成像数据302以张量(即多维矩阵)的形式接收,其形式为分辨率为64x 64x 64的三维矩阵,其中一个灰度数据的通道表示CT扫描的强度值。应当注意,实际实现可能具有更高的分辨率和附加层,取决于实现计算机架构的能力。然后有四层-层0到3-其中处理向下移动通过层同时降低分辨率(在三维中),并然后向上移动层同时增加分辨率(在三维中)。架构类似于U形并对三维数据进行操作,因此它可以被视为三维U-Net的特定实现。
在图3A中,通道数量显示在花括号中(“{…}”)。这些可以被视为是在每个分辨率下的每个体素的一组“特征”。每个数据通道在每个三维位置都有一个值。数据由七个数据处理块304至318依次序处理。每个数据处理块至少应用一个三维卷积神经网络运作。三维卷积神经网络运作具有一组可训练的滤波器参数。这些参数是在神经网络训练期间学习的,并且架构(例如,如图3A所示)被训练为端到端系统。
处理从左侧层0处理块304开始。该块304接收3D成像数据302并应用三维卷积神经网络运作。3D成像数据302被接收为大小为[1,64,64,64]的张量,并被输出为大小为[16,32,32,32]的(变换后的)张量-即一组较低分辨率的体素,每个体素具有大小为16的特征向量。左侧层0处理块304的输出提供给左侧层1处理块306,并经由连接332传递到架构的右侧。左侧层1处理块306接收大小为[16,32,32,32]的输入数据,应用三维卷积神经网络运作,并输出大小为[32,16,16,16]的张量-即一组较低分辨率的体素,每个体素具有大小为32的特征向量。左侧层1处理块的输出306提供给左侧层2处理块308,并且还经由连接334传递到架构的右侧。左侧层2处理块308接收大小为[32,16,16,16]的输入数据,应用三维卷积神经网络运作,并且输出大小为[64,8,8,8]的张量-即一组较低分辨率的体素,每个体素具有大小为64的特征向量。
架构的底部是下部分310,其包括层3处理块312。左侧层2处理块308的输出还经由连接336传递到架构的右侧。层3处理块312接收大小为[64,8,8,8]的输入数据,应用三维卷积神经网络运作,并且输出大小为[128,8,8,8]的张量-即一组具有相同分辨率的体素,每个体素具有大小为128的特征向量。在下部分310的输出处,层3处理块312的输出与经由连接336传递的数据连接在一起,以提供大小为[192,8,8,8]的张量。该张量被输入到右侧层2处理块314,其应用三维卷积神经网络运作,并输出大小为[32,16,16,16]的张量-即一组具有较高分辨率的体素,每个体素具有大小为32的特征向量。然后,从右侧层2处理块314输出的张量与沿连接334接收的数据连接在一起,以提供大小为[64,16,16,16]的张量。该张量被输入到右侧层1处理块316,其应用三维卷积神经网络运作,并输出大小为[16,32,32,32]的张量-即一组具有较高分辨率的体素,每个体素具有大小为16的特征向量。然后,从右侧层1处理块316输出的张量与沿连接332接收的数据连接在一起,以提供大小为[32,32,32,32]的张量。然后将该张量输入到右侧层0处理块318,其应用三维卷积神经网络运作,并输出大小为[2,64,64,64]的张量-即一组具有更高分辨率的体素,每个体素具有大小为2的特征向量。然后将其作为三维纤维化分割数据320提供。在这种情况下,特征向量的第一维表示形成背景的部分的体素的概率,而特征向量的第二维表示表现出纤维化的体素的概率。然后将每个体素的这两个概率值转换为单个分割图。
在某些示例中,图3A中所示的架构也可用于肺分割模型(例如,图1中的120)。在这种情况下,三维分割数据320可以包括一个或多个通道,表示“肺部”和/或特定的肺解剖结构的部分。
图3B示出了可用于实现处理块304至318中的一个或多个的组件的示例350。在某些情况下,所有处理块可以具有共同的(即共享的)配置。在其他情况下,配置可以相似的,但基于实验在每个级别进行调整。
在图3B中,块360表示所讨论的处理块。输入张量由两个阶段362和364依次序地接收和处理。第一阶段362应用三维卷积运作372(例如Conv3D或ConvTranspose3D)和所谓的ADN运作374,其中AND代表激活、规范化(normalization)和退出(dropout)。在优选的情况下,ADN运作374包括三维规范化、退出和参数化ReLU激活的串联。规范化可以使用PyTorch中的InstanceNorm3d函数。第一阶段362的输出被传递到第二阶段364。第二阶段364包括残差单元。残差单元具有与第一阶段362相似的组件,但具有残差连接382。在残差单元中,有两个并行数据流-一个沿着残差连接382,而另一个沿着下路径,其包括三维卷积运作384(例如Conv3D或ConvTranspose3D)和ADN运作386。因此,第二阶段364类似于ResNet架构中引入的残差处理块(参见He等人的“用于图像识别的深度残差学习”-ArXiv 2015)。然后将第二阶段364的输出作为处理块360的输出提供。
图4示出了为患者计算肺纤维化度量的示例方法400。该方法可以使用图1的系统102和/或图3A的模型和/或使用替代的架构来执行。
在块402处,方法400包括为患者接收初始肺成像数据。如上所述,这可以包括获得二维和/或三维CT扫描数据,例如以NIfTI或DICOM的文件形式。接收可以包括诸如从文件系统访问、从内存访问和/或通过网络连接接收等。在块404处,方法包括将经训练的神经网络肺分割模型应用于初始肺成像数据以生成肺分割数据,肺分割数据指示肺成像数据的哪些部分与患者的肺特征相关。这可以包括使用初始肺成像数据作为模型的输入数据来启动经训练的神经网络肺分割模型的前向或“推理(inference)”传递。肺分割数据可以包括具有预测的注释的二维或三维数据,预测的注释识别与一般和/或特定命名的肺部区域相对应的数据元素。肺分割数据可以以与初始肺成像数据相同的空间分辨率提供;在这种情况下,经训练的神经网络肺分割模型的应用可以被视为为初始肺成像数据的每个数据元素(例如像素或体素)创建标签。肺分割可以以二进制、多类别(例如整数)、概率或logit数据提供。
在块406处,方法400包括将肺分割数据应用于初始肺成像数据以产生修改后的肺成像数据。这可以包括将肺分割数据的数据元素的数据值与初始肺成像数据的数据元素的数据值相乘(例如,逐元素)。在肺分割数据以概率图提供的情况下,这可以包括用0和1之间的权重(或根据概率值的函数计算的权重)对初始肺成像数据进行加权。
在块408处,方法400包括将经训练的神经网络肺纤维化模型应用于修改后的肺成像数据以生成纤维化分割数据。对于块404,这可以包括使用修改后的肺成像数据作为模型的输入数据来启动经训练的肺神经网络纤维化模型的前向或“推理”传递。块408可以包括使用与图3A中所示的管道类似的管道来处理数据(和/或如图3B的处理块)。纤维化分割数据指示修改后的肺成像数据的哪些部分与纤维化特征相关,例如以二进制、logit或概率值的形式。
在块410处,方法400包括结合肺分割数据处理纤维化分割数据以生成标记的体素数据。这可以包括将纤维化分割数据与肺分割数据相乘(例如,以逐元素乘法)。在其他情况下,它可以包括应用阈值和/或采样操作来标记体素。体素可以包括与原始肺成像数据的体素相对应的体素。标记的体素数据可以包括二进制纤维化和肺分割标签,即指示哪些体素被分类为与肺相关以及哪些体素表现出纤维化的值。
在块412处,方法包括使用标记的体素数据为患者计算纤维化体积度量,该纤维化体积度量表示表现出纤维化的肺体积比例。这可以包括计算纤维化标记的体素与肺标记的体素的比率。纤维化体积度量可以作为分数(例如,在0和1之间)和/或百分比提供。肺分割数据中的肺解剖结构标记可用于确定肺的不同解剖部分的纤维化体积度量。
最后在块414处,方法400包括提供纤维化体积度量作为患者的肺纤维化度量。这可以包括,除其他外,将一个或多个值保存到文件、将一个或多个值保存到内存、经由图形用户接口输出一个或多个值和/或将一个或多个值传输到远程网络位置。
在某些变型中,初始肺成像数据包括三维计算机断层扫描(CT)图像数据。在这种情况下,或者在其他情况下,一个或多个肺分割数据和纤维化分割数据各自包括一组特征向量,用于包含患者肺部表示的三维体积的部分。例如,这些特征向量可以包括一个或多个通道。肺分割数据的特征向量可以包括指示“肺部”分类的单个概率通道和/或对应于肺的特定的解剖部分(例如一个或多个肺叶、肺段和肺小叶)的一系列概率通道。纤维化分割数据的特征向量可以包括指示体素是否表现出纤维化特征的概率通道。肺分割模型和肺纤维化模型可以各自包括三维卷积神经网络架构。例如,这可以基于图3A和/或3B中所示的架构。这两个模型可以共享相同的三维卷积神经网络架构。肺分割模型和肺纤维化模型具有不同的已训练参数。具有约100万个可训练参数和类似于图3A和3B所示架构的示例模型在测试中表现良好,准确地模仿专家分类(如图2A和2B所示的系统测试输出所示)。
在某些变型中,三维卷积神经网络架构对于肺分割模型和肺纤维化模型均是相同的。在这种情况下,三维卷积神经网络架构可以包括三维UNet架构(例如,如图3A所示),其中布置有多个模块以处理在不同三维分辨率的三维数据。在某些情况下,在每个三维分辨率的体素被映射到定义的体积。例如,每个体素可以被视为与立方毫米中的特定体积相关,其中不同的分辨率被映射到不同的外部体积,表示扫描组织的体积。在这种情况下,每个处理模块可以包括卷积和残差单元,例如如图3B所示。卷积和残差单元中的每个可以包括规范化单元(normalisation unit)、退出单元(dropout unit)和激活函数单元。
图5示出了配置肺纤维化度量系统的示例方法500。图5的方法可用于训练图1的系统102中所示的神经网络模型和/或根据图3A的架构配置的神经网络模型。
在块502处,方法500包括获取肺分割训练数据。肺训练数据包括具有肺分割注释的肺成像数据。例如,这可以包括表示CT扫描的图像,其中额外的像素通道指示与肺组织相关的像素和/或整数像素通道指示特定的叶(或其他特定的解剖区域)。它还可以包括具有体素注释的三维模型,例如由NIfTI文件格式提供。肺训练数据可以包括文件目录或张量数据数据库。肺分割注释可以从手动“专家”注释中导出,例如数字化人手分割和/或放射科医生对二维或三维显示数据执行的分割。
在块504处,方法500包括基于肺分割训练数据训练神经网络肺分割模型以产生一组经训练的肺分割模型参数。许多机器学习编程工具和库(例如PyTorch和TensorFlow)都内置了训练方法,可将其应用于定义的训练数据集和定义的模型。训练包括优化损失函数,损失函数基于肺分割神经网络模型的地面真值肺分割注释和预测的肺分割注释的比较来计算。可以配置不同的损失函数。在优选的示例中,使用了dice损失函数(如上所描述)。这可以定义为自定义损失函数或从预定义的一组可用损失函数中选择。
在块506处,方法500包括获取纤维化训练数据。这是纤维化模型的训练数据,例如图1中的纤维化模型140和/或图3A中所示的架构。纤维化训练数据包括具有纤维化分割注释的肺成像数据。肺成像数据的格式可以与在块502处获得的肺成像数据相同,或可以包括不同的数据集。纤维化训练数据可以包括表示CT扫描的图像,其中额外的像素通道指示与肺内纤维化相关的像素。它还可以包括具有体素注释的三维模型,例如由NIfTI文件格式提供的三维模型。纤维化注释可以包括三维模型内每个体素的单个独热值。纤维化训练数据可以包括文件目录或张量数据数据库。
在块508处,方法500包括基于纤维化训练数据训练神经网络肺纤维化模型。神经网络肺纤维化模型可以包括如参考图1所述的纤维化模型140,和/或可以基于图3A和3B的示例进行布置。再一次,训练可以基于机器学习编程工具和库中的预定义方法。训练包括优化损失函数,损失函数是基于地面真值纤维化分割注释和来自神经网络肺纤维化模型的预测的纤维化注释的比较来计算。损失函数可以再次包括dice损失函数(如上所描述)。在一种情况下,神经网络肺纤维化模型可以输出一组概率值,其中训练样本中的每个像素或体素都具有相关联的概率值。这些概率值指示纤维化的可能性。这些可以与训练数据中为每个数据元素定义的一组地面真值独热纤维化注释进行比较。在这种情况下,dice损失可以包括基于概率值集和独热值集之间的比较的连续dice损失。在其他情况下,可以使用其他分割定义格式并相应地选定不同的损失函数。发现dice损失函数在测试中效果很好。
在块508中,经由神经网络肺纤维化模型的前向或推理传递来计算预测的纤维化注释。这可以按照参考图1、3A、3B和4中的一个或多个所述的执行。例如,可以对纤维化训练数据中的每个数据样本执行以下操作。首先,可以使用神经网络肺分割模型来计算肺分割数据,该模型用经训练的肺分割模型参数实例化并应用于当前数据样本。接下来,使用肺分割数据对来自肺成像数据的数据样本进行预处理以生成修改后的样本。然后,以训练模式将神经网络肺纤维化模型应用于修改后的样本以生成预测的纤维化注释。使用预训练的或固定的肺分割模型参数集可以帮助训练过程的稳定性,比联合训练更快地找到合适的局部最小值。此外,可能更容易获得独立的肺分割和纤维化数据集。然而,在其他示例中,联合训练也可以替代地执行。联合训练可以以端到端的方式训练图1的完整系统(例如,与仅训练图3A的完整系统相反)。对于联合训练,需要组合的训练集,其中数据元素同时提供肺和纤维化标签。
在某些情况下,可以应用focal损失以及dice损失,或focal损失代替dice损失。Focal损失函数基于交叉熵损失,其中权重或“聚焦(focusing)”参数被定义为模型超参数以使某些类别分类更加显著。在本示例中,可以应用focal损失以使正“纤维化”数据元素分类更加显著。这可能有助于训练样本中正“纤维化”标签较少的情况(例如,即使对于表现出纤维化迹象的患者,也可能存在被认为与纤维化特征相关的数据元素的低百分比-如图2A和2B所示)。在训练肺分割模型时,还可以将focal损失应用于多类别标签,以便对肺部分进行更精细的解剖标记。每个类别可能有一个加权参数。如果某些解剖区域大于其他解剖区域,从而导致二维或三维数据样本中的类别不平衡,这可能会有所帮助。某些测试示例使用dice损失进行训练,而某些测试示例使用dice损失和focal损失的结合进行训练。两者都提供了良好的训练性能。基于这些教学,可以基于训练数据和神经网络架构选定准确的损失函数。
如上所描述,在某些示例中,训练可以包括向肺纤维化模型呈现新的CT图像,并且该模型被配置为根据从先前训练中嵌入的纤维化来量化这些新图像。在某些情况下,可以提供额外的“人在环路中”训练反馈。在这些情况下,可以将从肺纤维化模型的输出呈现给专家放射学团队。输出图像分类中的任何误差都可以由团队或经由其他半自动化方式进行纠正,并且可以将纠正作为损失函数的部分反馈到训练过程中。在某些情况下,特定的手动纠正误差可以在损失函数中被过度加权,以增强它们对模型参数优化的影响。在这些情况下,可以以迭代方式更新模型,其中更新重复进行,直到肺纤维化模型基于专家干预和具有挑战性的图像的选择达到某个损失值。
本文呈现的示例使用监督训练方法。然而,训练样本可能包括合成训练示例,或通过合成训练示例进行增强,以促进训练。合成训练示例可以基于自动化或半自动化方法。例如,如果CT成像数据以三维注释模型的形式提供,并且神经网络模型被配置为接收二维输入,则除了可用的带注释的二维图像之外,还可以从三维模型生成额外的二维切片。类似地,在神经网络模型被配置为接收三维输入并且只有二维注释图像集可用的情况下,可以使用机器学习方法(例如,基于三维插值或样本选择)从原始二维注释图像生成三维注释数据样本。在某些情况下,如果有带手动注释的物理图像可用的情况下,则可以将这些物理图像数字化以生成用于训练的数字副本。
本文描述的卷积神经网络架构可以使用内核和/或过滤器来提取二维或(优选地)三维中的特征。本领域技术人员将理解,可以根据正在处理的数据对层配置应用变化。卷积神经网络的各个阶段可以采用不同的配置。发现本详细公开中提供的示例可产生可靠且准确的肺纤维化度量;然而,可以对这些示例进行调整以适应未来训练和/或推理的改进,这些改进将与本文描述的一般概念保持一致。可以基于库默认值和/或基于系统实验来设置神经网络模型的合适超参数。超参数包括但不限于学习率、批量大小和训练时期数量。可以使用搜索和可视化来优化这些。本文中提到的“经训练的”神经网络模型是指已进行训练以优化与模型相关联的一组参数的神经网络模型(例如,通过本文中讨论的损失函数的优化)。模型参数可以作为配置数据提供以实例化特定的模型。
本文描述的卷积神经网络可以学习基于形态学和放射学外观(例如磨玻璃、网状结构和蜂窝状结构)来分割纤维化。优选的三维神经网络模型可以学习在二维和三维中延伸的模式。
在某些变型中,可以提供多类别纤维化模型,其中输出纤维化分割指示多个不同类型的纤维化中的一个或多个的概率。这些不同类型的纤维化可以包括典型间质性肺炎、非特异性间质性肺炎和不确定纤维化。多类别纤维化神经网络模型可以以与本文所讨论的示例类似的方式进行训练,但具有交叉熵或focal损失函数。能够确定不同的纤维化类型可以是有益的,因为每个类型对治疗和预断的反应可能不同。
在将纤维化模型用于本文所描述的临床应用、试验、测试或筛选的背景下,应当理解,如果对患者进行试验、测试或筛选,则应用、试验、测试或筛选是在受控的条件下进行的,并且是在患者的知情同意下进行的。
在本文所描述的某些示例中,提出了一种系统,其包括两个机器学习模型的结合:1)肺提取器模型(即,肺叶模型)和2)纤维化模型。在某些情况下,肺提取器模型可以基于WO2023/281252A2中描述的肺叶模型。在其他情况下,肺提取器模型可以基于本文所描述的示例。两种模型都可以被布置为卷积神经网络架构,每个模型包括至少一个网络层、过滤器和/或内核。在示例中,从全尺寸CT扫描或图像开始,可以首先应用肺提取器模型来生成肺的分割掩模。然后,肺纤维化模型可以使用该掩模作为附加输入,以便聚焦于肺内的模式。然后,纤维化模型生成表示纤维化模式的分割。
在某些变型中,纤维化分割可用作掩模以提取特征。然后,可以使用聚类算法聚类特征,例如对检测到的连续或相关的纤维化部分聚类。在一种情况下,可以另外地和/或替代地应用已连接的组件分析的形式。在应用聚类的情况下,可以使用聚类算法(例如具有固定数量聚类的k均值算法)对从纤维化分割中导出的特征进行聚类。然后,可以将所识别的聚类(例如,以唯一的聚类标识符的形式)用作分割标签,以生成在纤维化分割掩模内发现的子模式的分割图。
在某些变型中,系统、方法和/或模型可应用于临床环境。例如,所生成的肺纤维化度量可用于支持或促进临床试验。在这种情况下,系统可实现为具有数据存储和至少一个处理器。处理器可被配置为接收患有肺部疾病的患者的CT扫描。CT扫描可以在一个时间点收集。在患者未服用药物之前收集至少一个时间点。然后,在患者服用药物之后收集一个或多个时间点。在这种情况下的系统通过为每个时间点生成肺纤维化度量,从CT扫描生成与肺部疾病进展相关联的数据集。可以分析该数据集以确定药物引起的效果。确定可以支持针对候选药物的特定疗法的临床研究。在一种情况下,从至少两个时间点收集CT扫描,至少一个时间点在患者未服用药物之前收集,以及在患者服用药物之后的一个或多个时间点。在这种情况下,系统(例如,图1的系统104)对肺部纤维化执行自动的和定量的评估。然后,使用肺纤维化度量来分析和量化对治疗的反应,例如可用于确定与安慰剂或标准护理治疗相比,该药物是否正在减缓纤维化过程。可以按照本文所述计算不同肺部分(例如肺叶)的纤维化度量,并在这些部分的较低水平进一步追踪进展。
在某些变型中,相比放射科医生进行的主观和半定量评估,临床实践中用于测量肺纤维化程度和分布的方法可以使用本文所描述的系统、方法和/或模型来更准确地监测患者。本示例可用于帮助识别和/或追踪肺部疾病,例如特发性肺纤维化(IPF)或相关间质性肺疾病(ILD)。在一种情况下,生成的肺纤维化度量可用于改善临床试验富集,其中所述至少一个结果应用于选择处于期望疾病进展的肺部疾病患者。
图6是示出计算装置/系统600示例的框图,其可用于实现系统、装置、方法和/或过程、其组合、其修改和/或如参考图1至5所描述和/或如本文所描述的一个或多个方面。计算装置/系统600包括一个或多个处理器单元602、输入/输出单元604、通信单元/接口606、存储单元608,其中一个或多个处理器单元602连接到输入/输出单元604、通信单元/接口606和存储单元608。在一些示例中,计算装置/系统600可以是服务器,或联网在一起的一个或多个服务器。在一些示例中,计算装置/系统600可以是计算机或超级计算机/处理设施或硬件/软件,其适合于处理或执行系统、装置、方法和/或过程、其组合、其修改和/或如参考图1至5所描述和/或如本文所描述的一个或多个方面。通信接口606可以经由通信网络将计算装置/系统600与一个或多个服务、设备、服务器系统、基于云的平台和/或用于实现主题数据库和/或知识图的系统连接。存储器单元608可存储一个或多个程序指令、代码或组件,例如(仅作为示例但不限于)与参考图1至图5所描述的过程/方法相关联的操作系统和/或代码/组件、附加数据、应用程序、应用程序固件/软件和/或与实现功能和/或一个或多个功能或功能相关联的进一步的程序指令、代码和/或组件,所述功能和/或一个或多个功能或功能与承载用于实现本文所描述的发明的过程/方法/系统、装置、机制和/或系统/平台/架构的设备、服务和/或服务器的一个或多个方法和/或过程相关联,它们的组合、它们的修改,和/或参考图1至图5中的至少一个所描述的。
在示例中和如上所述的本发明的方面,例如过程、方法、系统和/或装置,可以在一个或多个云平台、一个或多个服务器或计算系统或设备上实现和/或包括一个或多个云平台、一个或多个服务器或计算系统或设备。服务器可以包括单个服务器或服务器网络;云平台可以包括多个服务器或服务器网络。在一些示例中,服务器和/或云平台的功能可以由分布在地理区域的服务器网络(例如全球分布的服务器网络)提供,并且用户可以基于用户位置或类似的连接到服务器网络中的适当服务器。
根据本发明和/或本文所描述的本发明所描述实施例、系统、过程、方法和/或装置可以实现为任何形式的计算和/或电子设备。这种设备可以包括一个或多个处理器,这些处理器可以是微处理器、图形处理单元、控制器或任何其他合适类型的用于处理计算机可执行指令以控制设备的操作从而收集和记录路由信息的处理器。图1中对“处理器”的引用可以指使用一个或多个处理器执行定义功能模块的计算机程序代码来实现的功能模块。因此,可以使用一个或多个处理器来实现这种“处理器”,但不必将其作为单独的硬件处理器提供。在一些示例中,例如,当使用片上架构的系统时,处理器可以包括一个或多个固定功能块(也称为加速器),其以硬件(而不是软件或固件)实现部分过程/方法。可以在基于计算的设备上提供包括操作系统或任何其他合适平台软件的平台软件,以使应用软件能够在设备上执行。
本文所描述的各种功能可以硬件、软件或它们的任何组合来实现。如果以软件来实现,功能可以存储在或传送作为在计算机可读介质或非临时计算机可读介质上的一个或多个指令或代码。计算机可读介质可以包括例如计算机可读存储介质。计算机可读存储介质可以包括以任何方法或技术实现的易失性或非易失性、可移除或不可移除介质,用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息。计算机可读存储介质可以是任何可用的存储介质,其可以由计算机访问。作为示例而非限制,这种计算机可读存储介质可以包括RAM、ROM、EEPROM、闪存或其他存储设备、CD-ROM或其他光盘存储、磁盘存储或其他磁性存储设备,或任何其他可用于以指令或数据结构的形式携带或存储所需程序代码并可以由计算机访问的介质。此外,传播信号不包含在计算机可读存储介质的范围内。计算机可读介质还包括通信介质,包括任何便于将计算机程序从一个地方传输到另一个地方的介质。例如,连接或耦接可以是通信介质。例如,如果软件是使用同轴电缆、光纤电缆、双绞线、DSL或无线技术(例如红外、无线电和微波)从网站、服务器或其他远程源传输的,则通信介质的定义中包括上述的组合。计算机可读介质的范围内也应包括上述的组合。
替代地,或另外地,本文所描述的功能可以至少部分地由一个或多个硬件逻辑组件执行。例如,但不限于,可以使用的硬件逻辑组件可以包括现场可编程门阵列(FPGA)、程序专用集成电路(ASIC)、程序专用标准产品(ASSP)、片上系统系统(SOC)、复杂可编程逻辑器件(CPLD)等。
本神经网络模型可使用一个或多个图形处理单元(GPU)来实现,以加速训练和/或推理(例如,使用基于CUDA(Compute Unified Device Architecture)的较低级别功能)。
尽管图示为单个系统,但应当理解,计算设备可以是分布式系统。因此,例如,多个设备可以通过网络连接通信,并且可以共同地执行描述为由计算设备执行的任务。
尽管图示为本地设备,但应当理解,计算设备可以位于远程,并经由网络或其他通信链路(例如,使用通信接口)访问。
术语“计算机”在此用于指具有处理能力的任何设备,使得它可以执行指令。本领域技术人员将意识到,这种处理能力被纳入许多不同的设备中,并因此术语“计算机”包括PC、服务器、物联网设备、移动电话、个人数字助理和许多其他设备。
本领域技术人员将认识到,用于存储程序指令的存储设备可以分布在网络上。例如,远程计算机可以将所述过程的示例存储为软件。本地或终端计算机可以访问远程计算机并下载部分或全部软件以运行程序。替代地,本地计算机可以根据需要下载软件的片段,或在本地终端执行一些软件指令并在远程计算机(或计算机网络)执行一些软件指令。本领域技术人员还将认识到,通过利用本领域技术人员已知的常规技术,可以通过专用电路(例如DSP、可编程逻辑阵列等)执行全部或部分软件指令。
应当理解,上述益处和好处可能涉及一个示例或可能涉及几个示例。示例不限于那些解决所述问题中的任何问题或所有问题的示例或那些具有所述益处和好处中的任何或所有示例。
任何对“一个”项目的引用均指这些项目中的一个或多个。术语“包括”在本文中用于表示包括所标识的方法步骤或元素,但这些步骤或元素不构成排他性列表,并且方法或装置可以包含附加的步骤或元素。
如本文所用,术语“组件”和“系统”旨在涵盖计算机可读数据存储,该数据存储配置有计算机可执行指令,当由处理器执行时,该指令会导致执行某些功能。计算机可执行指令可以包括例程、函数或类似的。还应当理解,组件或系统可以位于单个设备上或分布在多个设备上。此外,如本文所用,术语“示例性”、“示例”或“实施例”旨在表示“作为某事物的说明或示例”。此外,在详细描述或权利要求中使用术语“包括”的范围内,该术语旨在以类似于术语“包括”的方式包含内容,因为“包括”在权利要求中用作过渡词时被解释。
附图示出了示例性方法。虽然这些方法被示出和描述为按特定顺序执行的一系列动作,但应当理解和认识到,这些方法不受顺序次序的限制。例如,一些动作可以以与本文所描述不同的顺序发生。此外,一个动作可以与另一个动作同时发生。此外,在某些情况下,可能不需要所有动作来实施本文所描述的方法。
此外,本文所描述的动作可以包括计算机可执行指令,其可以由一个或多个处理器执行和/或存储在计算机可读介质上。计算机可执行指令可以包括例程、子例程、程序、执行线程等。此外,方法动作的结果可以存储在计算机可读介质中、显示在显示设备上和/或类似的。
本文所描述的方法的步骤顺序是示例性的,但这些步骤可以以任何合适的顺序执行,或者在适当的情况下同时执行。此外,可以在任何方法中添加或替换步骤,或可以从任何方法中删除单个步骤,而不会偏离本文所描述的主题的范围。上述任何示例的方面可以与所描述的任何其他示例的方面相结合,以形成进一步的示例,而不会失去所寻求的效果。
应当理解,上述优选的示例的描述是为了向本领域技术人员指出本发明的各个方面,并且本领域技术人员可以做出各种修改。
本文列出的所有出版物均视为通过引用而并入。
上述所描述的内容包括示例。当然,不可能为了描述上述方面而描述上述设备或方法的所有可想到的修改和变更,但本领域的普通技术人员可以认识到,各种方面的许多进一步修改和排列都是可能的。因此,所描述的方面旨在涵盖属于所附权利要求范围内的所有此类变更、修改和变化。
Claims (16)
1.一种用于为患者计算肺纤维化度量的系统,所述系统包括:
输入接口,所述输入接口为所述患者接收初始肺成像数据;和
经训练的神经网络肺分割模型,所述经训练的神经网络肺分割模型从所述初始肺成像数据生成肺分割数据,所述肺分割数据指示所述肺成像数据的哪些部分与所述患者的肺特征相关;
纤维化模型预处理器,所述纤维化模型预处理器将所述肺分割数据应用于所述肺成像数据以产生修改后的肺成像数据;
经训练的神经网络肺纤维化模型,所述经训练的神经网络肺纤维化模型从所述修改后的肺成像数据生成纤维化分割数据,所述纤维化分割数据指示所述修改后的肺成像数据的哪些部分与纤维化特征相关;
纤维化模型后处理器,所述纤维化模型后处理器结合所述肺分割数据处理所述纤维化分割数据以生成标记的体素数据;
纤维化度量处理器,所述纤维化度量处理器使用所述标记的体素数据来为所述患者计算纤维化体积度量,所述纤维化体积度量表示表现出纤维化的肺体积比例;以及
输出接口,所述输出接口提供所述纤维化体积度量作为所述患者的所述肺纤维化度量,
其中,所述肺分割数据和所述纤维化分割数据各自包括三维体积的部分的一组特征向量。
2.根据权利要求1所述的系统,其中,所述初始肺成像数据包括以下一个或多个:
一组计算机断层扫描(CT)图像;和
三维CT图像数据。
3.根据权利要求1或2所述的系统,其中,所述纤维化模型预处理器被配置为使用所述肺分割数据和所述肺成像数据执行矩阵乘法以产生所述修改后的肺成像数据。
4.权利要求1至3中任一项所述的系统,其中,所述肺分割模型被配置为生成具有一组通道的肺分割数据,所述一组通道分别指示不同的肺叶部分,并且其中,所述纤维化度量处理器被配置为计算所述患者的一个或多个不同的肺叶部分的一个或多个纤维化体积度量。
5.根据权利要求1至4中任一项所述的系统,其中,所述肺分割模型和所述肺纤维化模型各自包括三维卷积神经网络架构,所述肺分割模型和所述肺纤维化模型具有不同的已训练的参数。
6.根据权利要求5所述的系统,其中,所述三维卷积神经网络架构对于所述肺分割模型和所述肺纤维化模型均是相同的,所述三维卷积神经网络架构包括具有多个模块的三维U-Net架构,所述多个模块被布置来处理在不同三维分辨率的三维数据,其中,在每个三维分辨率的体素被映射到已定义的体积,每个模块包括卷积和残差单元。
7.根据权利要求6所述的系统,其中,所述卷积和残差单元的每个包括:
规范化单元;
退出单元;和
激活函数单元。
8.根据权利要求1至7中任一项所述的系统,其中,所述纤维化分割数据包括具有二元纤维化特征的三维体素矩阵。
9.根据权利要求1至8中任一项所述的系统,其中,基于一组指示不同的肺部分的人工注释的肺成像数据训练所述肺分割模型和基于一组指示纤维化的部分的人工注释的肺成像数据训练所述肺纤维化模型。
10.权利要求1至9中任一项所述的系统,其中,随时间计算所述肺纤维化度量以评估特发性肺纤维化(IPF)的进展。
11.一种为患者计算肺纤维化度量的计算机实施的方法,所述方法包括:
为所述患者接收初始肺成像数据;和
将经训练的神经网络肺分割模型应用于所述初始肺成像数据以生成肺分割数据,所述肺分割数据指示所述肺成像数据的哪些部分与所述患者的肺特征相关,所述肺分割数据包括三维体积的部分的一组特征向量;
将所述肺分割数据应用于所述肺成像数据以产生修改后的肺成像数据;
将经训练的神经网络肺纤维化模型应用于所述修改后的肺成像数据以生成纤维化分割数据,所述纤维化分割数据指示所述修改后的肺成像数据的哪些部分与纤维化特征相关,所述纤维化分割数据包括三维体积的部分的一组特征向量;
结合所述肺分割数据处理所述纤维化分割数据以生成标记的体素数据;
使用所述标记的体素数据为所述患者计算纤维化体积度量,所述纤维化体积度量表示表现出纤维化的肺体积比例;以及
提供所述纤维化体积度量作为所述患者的所述肺纤维化度量。
12.根据权利要求11所述的计算机实施的方法,其中:
所述初始肺成像数据包括三维计算机断层扫描(CT)图像数据;
将所述肺分割数据应用于所述肺成像数据以产生包括将矩阵乘法应用于所述肺分割数据和所述肺成像数据的修改后的肺成像数据;以及
所述肺分割模型和所述肺纤维化模型各自包括三维卷积神经网络架构,所述肺分割模型和所述肺纤维化模型具有不同的已训练的参数。
13.权利要求12所述的计算机实施的方法,其中,所述三维卷积神经网络架构对于所述肺分割模型和所述肺纤维化模型均是相同的,所述三维卷积神经网络架构包括具有多个模块的三维U-Net架构,所述多个模块被布置来处理在不同三维分辨率的三维数据,其中,在每个三维分辨率的体素被映射到已定义的体积,每个模块包括卷积和残差单元,其中,所述卷积和残差单元的每个包括规范化单元、退出单元和激活函数单元。
14.一种配置肺纤维化度量系统的计算机实施的方法,所述方法包括:
获取包括具有肺分割注释的肺成像数据的肺分割训练数据,所述肺分割数据包括三维体积的部分的一组特征向量;以及
基于所述肺分割训练数据训练神经网络肺分割模型以产生一组经训练的肺分割模型参数,所述训练包括优化损失函数,所述损失函数基于地面真值肺分割注释与来自所述神经网络肺分割模型的预测的肺分割注释的比较来计算;
获取包括具有纤维化分割注释的肺成像数据的纤维化训练数据;以及
基于所述纤维化训练数据训练神经网络肺纤维化模型,所述训练包括优化损失函数,所述损失函数基于地面真值纤维化分割注释与来自所述神经网络肺纤维化模型的预测的纤维化注释的比较来计算,所述预测的纤维化注释通过以下方式计算:
使用应用于来自所述肺成像数据的样本的所述经训练的肺分割模型参数实例化的所述肺分割模型来计算肺分割数据;
使用所述肺分割数据预处理来自所述肺成像数据的所述样本以生成修改后的样本;以及
将训练模式下的所述肺纤维化模型应用于所述修改后的样本以生成所述预测的纤维化注释,所述预测的纤维化注释由所述训练模式下的所述肺纤维化模型输出的三维体积的部分的一组特征向量生成的。
15.权利要求14所述的计算机实施的方法,其中,使用所述肺分割数据预处理来自所述肺成像数据的所述样本以生成包括使用所述肺分割数据和所述肺成像数据执行矩阵乘法的修改后的样本。
16.一种装置,所述装置包括处理器和存储器,所述处理器连接到所述存储器,其中,所述装置适于或配置为实施权利要求11至15中任一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB2317160.6A GB2628455B (en) | 2023-11-09 | 2023-11-09 | Quantification of lung fibrosis |
| GB2317160.6 | 2023-11-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN119963473A true CN119963473A (zh) | 2025-05-09 |
Family
ID=89225170
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202411575310.6A Pending CN119963473A (zh) | 2023-11-09 | 2024-11-06 | 肺纤维化的定量 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20250157664A1 (zh) |
| CN (1) | CN119963473A (zh) |
| GB (1) | GB2628455B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20250191286A1 (en) * | 2023-12-06 | 2025-06-12 | Nvidia Corporation | Voxel-to-3d content generator |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180070905A1 (en) * | 2016-09-14 | 2018-03-15 | University Of Louisville Research Foundation, Inc. | Accurate detection and assessment of radiation induced lung injury based on a computational model and computed tomography imaging |
| CN109994199A (zh) * | 2017-11-24 | 2019-07-09 | 西门子医疗保健有限责任公司 | 基于计算机的诊断系统 |
| CN112132800A (zh) * | 2020-09-18 | 2020-12-25 | 上海市肺科医院 | 基于深度学习的肺纤维化检测与严重度评估方法及系统 |
| CN113096109A (zh) * | 2021-04-22 | 2021-07-09 | 四川大学 | 一种肺部医学图像分析方法、设备及系统 |
| CN114820571A (zh) * | 2022-05-21 | 2022-07-29 | 东北林业大学 | 一种基于dlpe算法的肺炎纤维化量化分析方法 |
| CN115049850A (zh) * | 2022-07-20 | 2022-09-13 | 电子科技大学 | 一种用于肺部ct影像的纤维化区域的特征提取方法 |
| US20230154006A1 (en) * | 2020-04-13 | 2023-05-18 | King Abdullah University Of Science And Technology | Rapid, accurate and machine-agnostic segmentation and quantification method and device for coronavirus ct-based diagnosis |
-
2023
- 2023-11-09 GB GB2317160.6A patent/GB2628455B/en active Active
-
2024
- 2024-11-05 US US18/937,659 patent/US20250157664A1/en active Pending
- 2024-11-06 CN CN202411575310.6A patent/CN119963473A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180070905A1 (en) * | 2016-09-14 | 2018-03-15 | University Of Louisville Research Foundation, Inc. | Accurate detection and assessment of radiation induced lung injury based on a computational model and computed tomography imaging |
| CN109994199A (zh) * | 2017-11-24 | 2019-07-09 | 西门子医疗保健有限责任公司 | 基于计算机的诊断系统 |
| US20230154006A1 (en) * | 2020-04-13 | 2023-05-18 | King Abdullah University Of Science And Technology | Rapid, accurate and machine-agnostic segmentation and quantification method and device for coronavirus ct-based diagnosis |
| CN112132800A (zh) * | 2020-09-18 | 2020-12-25 | 上海市肺科医院 | 基于深度学习的肺纤维化检测与严重度评估方法及系统 |
| CN113096109A (zh) * | 2021-04-22 | 2021-07-09 | 四川大学 | 一种肺部医学图像分析方法、设备及系统 |
| CN114820571A (zh) * | 2022-05-21 | 2022-07-29 | 东北林业大学 | 一种基于dlpe算法的肺炎纤维化量化分析方法 |
| CN115049850A (zh) * | 2022-07-20 | 2022-09-13 | 电子科技大学 | 一种用于肺部ct影像的纤维化区域的特征提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20250157664A1 (en) | 2025-05-15 |
| GB2628455A (en) | 2024-09-25 |
| GB2628455B (en) | 2025-04-02 |
| GB202317160D0 (en) | 2023-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116883768B (zh) | 基于多模态特征融合的肺结节智能分级方法及系统 | |
| EP3576100B1 (en) | Decision support system for medical therapy planning | |
| Bello et al. | Deep-learning cardiac motion analysis for human survival prediction | |
| JP7427080B2 (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
| Roy et al. | Deep-learning-based accurate hepatic steatosis quantification for histological assessment of liver biopsies | |
| CN109770932B (zh) | 多模态脑部神经影像特征的处理方法 | |
| US10499857B1 (en) | Medical protocol change in real-time imaging | |
| US20210350179A1 (en) | Method for detecting adverse cardiac events | |
| US20180033144A1 (en) | Anomaly detection in volumetric images | |
| Ayoub et al. | End to end vision transformer architecture for brain stroke assessment based on multi-slice classification and localization using computed tomography | |
| Hussain et al. | Deep learning-based diagnosis of disc degenerative diseases using MRI: a comprehensive review | |
| Khachnaoui et al. | Enhanced Parkinson’s disease diagnosis through convolutional neural network models applied to SPECT DaTSCAN images | |
| US20240087697A1 (en) | Methods and systems for providing a template data structure for a medical report | |
| CN119963473A (zh) | 肺纤维化的定量 | |
| Murthy et al. | TPOT with SVM hybrid machine learning model for lung cancer classification using CT image | |
| Sabeena et al. | A hybrid model for diabetic retinopathy and diabetic macular edema severity grade classification | |
| CN119339943A (zh) | 一种基于图神经网络的帕金森病早期预警系统及方法 | |
| Haque | Multiple myeloma. Detection from histological images using deep learning | |
| Yanar et al. | Clinical decision support for early diagnosis of cardiomegaly by using deep learning techniques on chest x-rays | |
| CN120239874A (zh) | 用于医学成像的基于锚点的图像分割 | |
| CN116504406A (zh) | 基于影像组合病理的肺癌术后风险模型构建方法和系统 | |
| Parkhi et al. | Machine learning in medical imaging revolutionizing lung cancer diagnosis: A comparative analysis of convolutional neural networks and vision transformers in medical imaging | |
| Chitradevi et al. | Fusion of bio-inspired optimization and machine learning for Alzheimer's biomarker analysis | |
| Jaganathan et al. | Modelling an effectual feature selection approach for predicting down syndrome using machine learning approaches | |
| Abdulqadir | A review on Alzheimer's disease classification using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information |
Country or region after: Britain Address after: 50-60 Cambridge Station Road, UK Applicant after: Kuilaite Co.,Ltd. Address before: 9 Hills Road, Cambridge, UK Applicant before: Kuilaite Co.,Ltd. Country or region before: Britain |
|
| CB02 | Change of applicant information | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |