Nature Cancer发布医学AI多模态模型，整合CT、免疫组化以及基因组数据，预测患者的免疫治疗响应_坦福大学肿瘤突变负荷(tmb)与ct纹理特征 ,预测nsclc放疗响应-CSDN博客

本文链接：https://blog.csdn.net/qq_45404805/article/details/148158362

小罗碎碎念

这篇文章聚焦于非小细胞肺癌（NSCLC）患者对PD-(L)1免疫治疗响应的预测问题，提出通过机器学习整合多模态临床数据的解决方案。

研究构建了包含247例患者的多模态队列，整合了基线CT影像、PD-L1免疫组化病理切片和MSK-IMPACT基因组测序数据，开发了动态注意力机制的深度学习模型DyAM。

采用动态自适应建模（DyAM）整合多模态数据以预测免疫治疗应答

针对单模态数据，研究分别从CT影像中提取肺实质、胸膜和淋巴结病变的放射组学纹理特征，从病理切片中挖掘灰度共生矩阵（GLCM）纹理特征并结合PD-L1肿瘤比例评分（TPS），同时分析EGFR、STK11突变及肿瘤突变负荷（TMB）的基因组特征，发现单模态预测效能有限，如CT纹理AUC为0.64、TMB AUC为0.61。

使用专家分割胸部CT扫描的放射组学特征提取流程。

研究重点展示了多模态整合的优势，DyAM模型通过自适应权重分配和缺失数据掩码机制，将多模态特征融合后预测响应的AUC提升至0.80（95% CI 0.74-0.86），显著优于单模态及线性平均模型。

从扫描的PD-L1免疫组化切片开始提取基于图像的免疫组化纹理的分析流程

生存分析表明，该模型能在治疗早期（4个月）有效区分高低风险组，进展率差异达58%。进一步的注意力分析揭示，肺实质放射组学特征和基因组突变（如EGFR、STK11）对模型贡献最大，而病理纹理特征可辅助优化预测准确性，体现了跨模态信息的互补性。

DyAM被用于多模态整合

对于医学AI研究者，文章提供了可复现的多模态整合框架：从专家标注的影像病理特征提取、到基于L1正则化的特征筛选，再到DyAM模型的端到端训练，全流程代码和数据集已开源（Luna工具包及Synapse平台）。

研究还讨论了单中心数据局限性及未来方向，如引入联邦学习解决多中心数据隐私问题、扩展至动态影像特征等，为构建泛化性更强的肿瘤免疫治疗预测模型提供了方法论参考，凸显了跨学科合作在医学AI领域的关键价值。

交流群

欢迎大家加入【医学AI】交流群，本群设立的初衷是提供交流平台，方便大家后续课题合作。

目前小罗全平台关注量67,000+，交流群总成员1500+，大部分来自国内外顶尖院校/医院，期待您的加入！！

由于近期入群推销人员较多，已开启入群验证，扫码添加我的联系方式，备注姓名-单位-科室/专业，即可邀您入群。

知识星球

对推文中的内容感兴趣，想深入探讨？在处理项目时遇到了问题，无人商量？加入小罗的知识星球，寻找科研道路上的伙伴吧！

一、文献概述

该研究旨在开发一种整合多模态数据的机器学习模型，以提高预测非小细胞肺癌（NSCLC）患者对PD-(L)1免疫治疗反应的准确性，为精准肿瘤学提供新方法。

作者信息

1-1：研究背景

免疫治疗现状：PD-(L)1免疫疗法是晚期NSCLC的标准治疗，但预测疗效的生物标志物（如PD-L1表达、肿瘤突变负荷TMB）效能有限（AUC分别为0.73和0.61）。
多模态数据整合：临床诊断中常规获取的影像学（CT）、病理学（PD-L1免疫组化）和基因组数据可能互补，通过机器学习整合有望提升预测准确性。

1-2：研究方法

队列数据：

多模态队列：247例晚期NSCLC患者，收集基线CT、PD-L1免疫组化切片、基因组数据（MSK-IMPACT测序）及治疗结局（响应率25%）。
验证队列：放射学（50例）和病理学（52例）单模态队列，用于验证特征提取方法的稳定性。

特征提取与建模：

放射组学：从CT中提取肺实质、胸膜和淋巴结病变的纹理特征，使用L1正则化逻辑回归筛选特征。
病理组学：对PD-L1免疫组化切片进行数字化，提取灰度共生矩阵（GLCM）纹理特征，结合病理学家评估的PD-L1肿瘤比例评分（TPS）。
基因组学：分析EGFR、STK11突变及TMB等与免疫治疗响应的关联。
多模态模型（DyAM）：基于动态注意力机制的深度学习模型，整合三模态数据，自动分配各模态权重并处理缺失数据。

1-3：关键结果

单模态预测效能

CT纹理：肺实质病变特征的AUC为0.64，淋巴结为0.63，胸膜病变效果差（AUC=0.28）。
PD-L1纹理：GLCM特征的AUC为0.63，结合TPS后AUC达0.73（与单独TPS相当）。
基因组：TMB的AUC为0.61，结合EGFR/STK11突变后AUC提升至0.65。

多模态模型性能

DyAM模型：整合CT、病理（TPS+GLCM）和基因组数据后，AUC达0.80（95% CI 0.74-0.86），显著优于单模态及线性组合模型（如简单平均AUC=0.72）。
生存分析：DyAM模型能早期区分响应者与非响应者，治疗4个月时高低风险组进展率分别为21%和79%，优于传统生物标志物。

模态重要性分析

放射组学（肺实质纹理）和基因组学（TMB、EGFR/STK11突变）对模型贡献最大，病理纹理特征可辅助提升准确性。
注意力机制显示模型能动态分配模态权重，对缺失数据具有鲁棒性。

1-4：结论与展望

多模态整合的优势：通过机器学习整合影像学、病理学和基因组数据，可显著提升NSCLC患者对PD-(L)1治疗响应的预测准确性，为个性化治疗提供新工具。
局限性与未来方向：单中心数据、样本量有限，需多中心验证；未来可扩展至更多癌症类型及动态数据（如治疗中影像变化），结合联邦学习解决数据隐私问题。

该研究为基于多模态数据的精准肿瘤学提供了方法论验证，有望推动临床决策支持工具的开发。

二、方法细节

2-1：临床队列

多模态队列纳入标准为：

2014至2019年间在研究机构接受抗PD-(L)1阻断治疗的IV期非小细胞肺癌患者
需具备基线CT扫描、基线PD-L1免疫组化评估及MSK IMPACT®38下一代测序数据
排除同期接受化疗的患者

最终247例患者纳入训练队列。

该队列中54%为女性，中位年龄68岁（范围38-93岁），218例（88%）有吸烟史（中位吸烟量30包年，范围0.25-165包年），组织学亚型包括195例（79%）腺癌、37例（15%）鳞状细胞癌、7例（3%）大细胞癌和8例（3%）非特指型非小细胞肺癌（图1c）。

队列模式概览维恩图，显示各分类中独有的患者数量

整体而言，169例（68%）患者在开始PD-(L)1阻断治疗前接受过一线或多线治疗，78例（32%）将PD-(L)1阻断作为一线治疗，其中14例（6%）在临床试验中接受治疗。

放射学（n=50）验证队列纳入基线CT（含胸部±腹部/盆腔）显示肺病变>1cm的患者，病理学（n=52）验证队列纳入活检显示PD-L1阳性（TPS≥1%）且在MSK进行数字化处理的非小细胞肺癌患者，多模态、放射学和病理学队列的基线特征见表1。

仅展示部分

最佳总体缓解由接受过RECIST评估培训的胸科放射科医师根据RECIST v1.1标准评估，未进展患者在最后一次随访日期截尾。无进展生存期（PFS）定义为从开始PD-(L)1阻断治疗至进展或死亡的日期，总生存期（OS）定义为从开始治疗至死亡的日期，存活患者在最后一次接触日期截尾，临床、放射学、病理学和基因组数据存储于安全的Redcap数据库中。

关于CT扫描，基线CT定义为在MSK开始PD-(L)1阻断治疗前30天内完成的最近一次含对比剂的胸部扫描，扫描均进行匿名化和质量控制以确保去标识化，并分离为DICOM格式和元数据。

所有患者均接受多层CT扫描作为肺恶性肿瘤临床分期的标准护理，CT检查均在本机构（GE Healthcare的Lightspeed VCT、Discovery CT 750HD）完成并上传至图像存档与通信系统。

放射学分割方面，研究限于胸部成像以确保成像协议的一致性，仅考虑胸部病变。原发性肺癌和胸部转移灶的病变分割由三名放射科医师（N.H.和J.A-F.具有8年 fellowship 后经验，A.P.具有1年 fellowship 后经验）手动完成，每个病变由一名放射科医师分割、第二名复核，分歧由第三名解决。

所有放射科医师知晓患者患有肺癌，但对患者既往治疗和结局未知情。靶病变选择符合RECIST v1.1标准（最多五个靶病变，每个器官最多两个靶病变），分割的病变包括肺实质、胸膜和病理性增大的胸部淋巴结，肺和胸膜病变长轴直径>1.0 cm、淋巴结短轴直径>1.5 cm时纳入。

分割在5 mm层厚的增强CT和软组织算法重建图像上进行，分割时放射科医师可参考临床文本报告和正电子发射断层扫描（PET）图像作为指导，适当使用肺窗（窗位-600HU，窗宽1500HU）和软组织窗（窗位50HU，窗宽350HU）从肺组织、大血管、支气管和肺不张中视觉勾画出感兴趣体积，排除空洞性病变、与周围肺不张无法区分的肺病变及条纹伪影。

分割的靶病变按位置分类标记用于纹理特征分析，所有分割均使用ITK-SNAP v3.4.0完成39。

三例专家CT分割样本展示：肺实质病变（PC）（上图）、胸膜病变（PL）（中图）及淋巴结病变（LN）（下图），这些样本来自n=187例患者群体，包含原始影像、分割结果及随机轮廓示例。

2-2：放射组学特征

三名胸科放射科医师（N.H.、A.P.和J.A-F.）利用口述放射学文本报告、PET扫描图像和RECIST40标准指导分割，排除手术吻合钉等模糊区域，共分割187例患者的337个病变，分为肺实质、胸膜和淋巴结三类。

研究分析了从CT扫描分割病变中提取特征的预测能力，使用pyradiomics Python软件包v3.0.1（参考文献41）中的所有滤波器计算多种放射组学特征，得到1688个特征。

为简化预测模型训练，采用Zwanenburg等人先前用于评估放射组学特征鲁棒性的方法42，通过要求特征在原始分割的小扰动下保持稳定性来减少特征数量。

该方法对原始分割进行十次扰动，每次扰动后计算放射组学特征，定义鲁棒性z分数（十次扰动的病变间方差平均值与整个多模态队列的病变内方差平均值之比），仅考虑z分数小于0.15的特征，确保所选特征在扰动下的变化相对于其总动态范围仅轻微波动（约15%），放射学队列分析中采用相同流程，且研究者在CT扫描分割时对患者响应情况未知情。

2-3：PD-L1免疫组化

所有病例由接受过PD-L1免疫组化评估培训的胸科病理医师（J.L.S.）解读43，肿瘤细胞中PD-L1阳性染色定义为存活肿瘤细胞中部分或完全膜染色的百分比（即TPS），阴性评分定义为<1%肿瘤细胞染色或肿瘤细胞无染色，未达到PD-L1 TPS评估所需最少肿瘤细胞数（<100个肿瘤细胞）的切片不纳入，病理学队列的特征分析采用相同流程，研究者在PD-L1 TPS评估时对患者响应情况未知情。

PD-L1组织分析中，使用Aperio Leica Biosystems GT450 v1.0.0对201例患者的PD-L1免疫组化染色诊断切片进行至少×20倍放大的数字化扫描，利用HALO AI软件（Indica Labs）实现的深度学习分类器训练识别PD-L1染色组织中的肿瘤区域，训练过程涉及多个组织切片的注释，随后训练DenseNet AI V2分类器，注释类别包括肿瘤、基质、淋巴细胞、坏死、纤维弹性瘢痕、肌肉、良性肺组织和玻璃（无组织），使用多个切片训练分类器以解决部位异质性问题。

训练后的分类器应用于多模态队列的所有PD-L1免疫组化切片，每例切片随后由胸科病理医师（J.L.S.）手动评估肿瘤分割并赋予特异性评分（定义为正确识别为肿瘤的组织比例），评分低于95%的切片进行手动注释，研究者在PD-L1组织分析时对患者响应情况未知情。

2-4：PD-L1染色模式量化

经HALO AI软件分析后，导出肿瘤掩码并应用于原始PD-L1组织图像，对掩码组织图像进行去卷积处理以分离PD-L1免疫组化染色与苏木精蓝色复染。

采用灰度共生矩阵（GLCMs）表征PD-L1表达，该方法在图像处理中常用于量化相邻像素的相似性，通过pyradiomics Python软件包提取逐像素GLCM特征。

具体在软件中通过计算图像中每个像素周围3×3内核内的GLCM特征实现，并从逐像素GLCM图中计算均值、标准差和自相关等统计量，用于下游分析。

2-5：基因组分析

所有患者治疗前均对肿瘤进行了靶向二代测序，采用美国FDA批准的MSK-IMPACT平台，该平台检测341-468个癌症常见相关基因的体细胞突变、拷贝数变异和融合31。

从cBioPortal44,45提取与NSCLC及抗PD-L1治疗响应相关的基因变异，包括突变的癌基因（EGFR、ALK、ROS1、RET、HER2/ERBB2、BRAF和MET）、肿瘤抑制基因（STK11）和转录调节因子（ARID1A），所有变异由OncoKB46注释以确定其潜在致癌性/驱动事件。

肿瘤突变负荷（TMB）作为美国FDA批准的NSCLC免疫治疗响应预测生物标志物47，通过所有鉴定突变数除以MSK-IMPACT检测panel覆盖的编码区计算得出，并使用Cox比例风险模型对上述基因及TMB进行多变量分析。

2-6：逻辑回归分析

逻辑回归分析采用带弹性网惩罚的LR模型预测二元结局，使用sklearn v.0.24.0实现，参数设置为saga优化器、C=0.1、l1比率0.5和平衡类别权重。

多实例逻辑回归中，多实例学习作为一类机器学习方法，其训练数据集（包）共享共同标签48，Ilse等人49开发的基于注意力的池化方法扩展了多实例学习范式，为每个实例分配基于注意力的权重，该权重是实例特征的函数并针对结局预测优化，适用于输入实例数量不固定但特征大小固定的场景（如放射学分析中每个病变的1-5个纹理特征向量）。

最终输出分数为应用于每个病变的相同LR模型的加权和，权重动态确定，在单病变情况下可获得与标准LR相似的结果，该技术通过共享一组参数平等对待每个实例，模型使用pytorch v.1.8.0开发和拟合，设置隐藏层大小32、平衡类别权重、二元交叉熵损失、学习率0.005、250步长和0.005的L2正则化（Adam优化器）。

2-7：多模态动态注意力掩码模型

多模态动态注意力掩码模型（DyAM）中，多实例学习通常涉及单一同质子集或包，而多模态场景中存在异质实例。

尽管每个病变的纹理特征维度相同，但不同部位病变与预测因子的映射方式可能不同，导致共享参数集非最优，因此采用固定大小的异质实例或模态包的多实例学习范式。

本研究的数据模态包括来自诊断组织PD-L1免疫组化的一维特征向量、按病变部位分割的放射学CT特征和基因组变异，模型采用动态池化方案，每个输入模态具有独立的可训练参数集（风险参数将输入向量映射至标签，注意力参数将输入向量映射至注意力分数），与标准多实例学习类似，各模态通过注意力权重竞争。

由于注意力权重可训练，模型能够学习与治疗响应最相关的输入模态。与传统多实例学习不同，最终输出分数为各模态独立优化的LR模型的加权和，既特异性处理每个模态，又协同优化所有参数。

此外，模型通过添加掩码函数将缺失模态的注意力设置为零（如CT中不可分割病变），解决数据缺失问题。模型使用pytorch v.1.8.0开发和拟合，设置平衡类别权重、二元交叉熵损失、学习率0.01、125步长和0.001的L2正则化（Adam优化器），当仅存在单一输入模态时，禁用注意力门以降低复杂度。

2-8：注意力分析原理

给定各模态归一化后的注意力权重和风险分数，可通过对注意力层重新加权，评估某一模态注意力的增减对模型性能的影响。

将注意力向量 $\bar{a}$ 与第 $k$ 个单位向量 $m\hat{e}_k$ 的倍数相乘，再与风险向量 $\bar{r}$ 做点积，最后对分数重新归一化，计算公式为：
$(m\hat{e}_k \circ \bar{a}) \cdot \bar{r} / \sum (m\hat{e}_k \circ \bar{a})$
新权重可按以下方式确定：
$a_{i = k} = ma_k / (1 + (m - 1)a_k), a_{i \neq k} = a_i / (1 + (m - 1)a_k)$

示例说明

当 $a_k = 0.5$ 且 $m = 10$ 时，第 $k$ 个模态的新注意力权重增加到 $0.91$ ，其他模态的注意力权重降低至原来的 $0.18$ 。
反之，当 $m = 0.01$ 时，第 $k$ 个模态的注意力权重降至 $0.01$ ，其他模态的注意力权重变为原来的 $2$ 倍。
当 $m$ 取值较大时，模型趋近于由该模态主导的单模态模型；当 $m$ 取值较小时，模型趋近于剔除该模态的 $N - 1$ 模态模型。

实际操作

研究人员在以 $10$ 为底的对数尺度（范围从 $- 2$ 到 $2$ ）上扫描 $m$ 的值，并在每个步骤重新计算性能指标（如AUC、HR和PFS比率），以此全面探究不同模态注意力权重变化对模型性能的具体影响。

2-9：数据+代码

数据可用性

所有数据公开可访问于Synapse平台（链接：https://www.synapse.org/#!Synapse:syn26642505），队列的基因组特征可在cBioPortal平台浏览（链接：https://www.cbioportal.org/study/summary?id=lung_msk_mind_2020），源数据作为源数据文件随本文提供。

代码可用性

特征处理和工程代码作为Luna工具包的一部分可访问（链接：https://github.com/msk-mind/luna/）。

三、多模态肿瘤数据分析计算框架

Luna是用于多模态肿瘤数据分析的综合计算框架，主要聚焦于病理和放射影像处理工作流。该系统提供命令行工具和编程API，可在研究和临床环境中处理全玻片图像、医学影像数据和临床数据集。

3-1：系统架构

Luna系统的架构，呈现了各组件之间的关系与交互

容器运行时（Container Runtime）

Docker：包含DockerRunner和DockerRunnerBuilder ，可用于构建和运行基于Docker的容器实例。
Singularity：通过SingularityRunner运行，提供另一种容器化解决方案。二者都与QuPath Integration（如run_stardist_cell_detection ）交互，用于特定的细胞检测等功能。

命令行界面（CLI Interface）

放射学命令：有10多个，如extract_radiomics（提取放射组学特征）、dicom_to_itk（将DICOM格式转换为ITK格式）、coregister_volumes（容积配准）等，用于放射学相关操作。
病理学命令：超过40个，像dsa 、slide_etl 、generate_tiles 、detect_tissue 、label_tiles 等，涵盖玻片处理、组织检测、图块生成与标记等病理学工作流操作。

核心分析模块（Core Analysis Modules）

临床数据分析：专注于统计分析，处理临床相关数据。
放射学分析：涉及dicom_to_itk 、extract_radiomics 、coregister_volumes等操作，对放射影像数据进行格式转换、特征提取和容积配准等处理。
病理学分析：包括slide_etl 、generate_tiles 、detect_tissue 、save_tiles 、train_tissue_classifier 等，实现玻片元数据提取、图块生成、组织检测、图块保存和组织分类器训练等功能。

计算基础设施（Computing Infrastructure）

Dask分布式计算：通过get_or_create_dask_client（获取或创建Dask客户端）和configure_dask_client（配置Dask客户端），为各核心分析模块提供分布式计算能力。
存储抽象：利用fsspec 、s3fs等实现对不同存储后端的统一访问，local_cache_urlpath用于本地缓存路径管理，支持整个系统的数据存储与读取。

3-2：技术集成点

数据存储

机器学习建模分析

图像预处理

核心技术

3-3：核心功能

病理分析工作流

Luna的病理分析功能是系统中最成熟的组件，提供全玻片图像处理的端到端工作流

组件	CLI命令	用途
玻片处理	`slide_etl`, `generate_tiles`	提取元数据，将玻片分割为图块
组织检测	`detect_tissue`, `generate_tile_mask`	过滤背景，创建组织掩码
细胞分析	`run_stardist_cell_detection`, `extract_shape_features`	细胞分割与特征提取
机器学习	`train_tissue_classifier`, `infer_tiles`	模型训练与推理
可视化	`dsa`, `dsa_upload`, `visualize_tiles_png`	生成注释与可视化结果

放射分析

放射模块提供医学影像数据处理工具

组件	CLI命令	用途
DICOM处理	`dicom_to_itk`, `generate_scan_table`	将DICOM转换为ITK格式
容积分析	`coregister_volumes`, `window_volume`	配准与预处理
特征提取	`extract_radiomics`, `extract_voxels`	定量特征分析
数据集成	`xnat_etl`, `match_metadata`	临床数据工作流

3-4：命令行架构

Luna系统中命令行界面（CLI）相关架构，体现了病理和放射学命令与核心框架的关联

命令行命令分类

病理学命令（Pathology Commands）：包含dsa 、slide_etl 、generate_tiles 、detect_tissue 等，每个命令对应特定的模块路径，如luna.pathology.cli.dsa_viz:fire_cli ，用于执行玻片元数据提取、图块生成、组织检测等病理学工作流操作。
放射学命令（Radiology Commands）：有extract_radiomics 、dicom_to_itk 、coregister_volumes 等，对应模块路径如luna.radiology.cli.extract_radiomics:fire_cli ，主要进行放射组学特征提取、DICOM格式转换、容积配准等放射学相关处理。

核心框架（Core Framework）

Fire CLI Framework：作为核心，承接并协调上述病理学和放射学命令，是命令执行的基础框架。
配置与元数据操作：通过get_config() 获取配置信息，save_metadata() 保存元数据，确保命令执行过程中的配置和数据管理。
计时装饰器（@timed decorator）：用于对命令执行进行计时，可辅助性能分析和优化。图中架构清晰展示了不同类型CLI命令如何基于核心框架进行构建与执行，体现了系统在命令行操作上的模块化和规范化设计。