多模态模型的多组学特征不会融合？这三篇文章能很好的解决你的问题｜文献速递·25-03-24

小罗碎碎念

推文速览

第一篇文章提出了一种名为 Segment Any Tissue（SAT）的无训练医学图像分割框架，它借助预训练基础模型的特征匹配能力，通过双空间循环提示工程，仅用一个参考图像就能有效分割多种医学图像中的组织，实验显示其性能与全监督方法相当甚至超越，且在单样本学习方面表现出色。

第二篇文章开发了基于深度学习的泛癌分析方法 TILScout，从全切片图像计算肿瘤浸润淋巴细胞（TIL）评分，经多方面分析验证其可靠性和实用性，揭示 TIL 评分与多种因素的关联及在癌症预后和治疗反应预测中的潜在价值，但仍需临床实践验证。

第三篇文章开发了基于交叉注意力变压器的多模态融合网络（CATfusion），通过自监督学习框架 TabAE 提取基因组数据特征，整合多种组学数据和组织病理学图像数据，在多种癌症类型的生存预测实验中，该模型的预测性能优于传统和单模态模型，且具有可解释性，但模型存在数据集代表性不足等局限，未来可通过拓展数据集等方式改进。

背景补充

1. 医学图像分割方法的流程
2. TILScout方法的训练和预测流程
3. 基于多模态数据融合的癌症生存预测模型架构

交流群

欢迎大家加入【医学AI】交流群，本群设立的初衷是提供交流平台，方便大家后续课题合作。

目前小罗全平台关注量61,000+，交流群总成员1400+，大部分来自国内外顶尖院校/医院，期待您的加入！！

由于近期入群推销人员较多，已开启入群验证，扫码添加我的联系方式，备注姓名-单位-科室/专业，即可邀您入群。

知识星球

如需获取推文中提及的各种资料，欢迎加入我的知识星球！

一、SAT 框架：单样本引导下的无训练医学图像组织分割模型

一作&通讯

文献概述

研究背景与挑战

医学图像分割是众多临床应用的前提，但主流方法存在获取高质量标注数据困难、因数字模态差异导致的域转移问题，限制了模型在不同任务和域间的可转移性。

视觉基础模型虽在自然图像分割有潜力，但应用于医学图像面临医学与自然图像域差距大、难以自动生成高质量提示辅助分割两大挑战。

相关工作

• 预训练基础模型在自然语言处理和计算机视觉领域广泛应用，如BERT、GPT-4、CLIP、GLIP、DINOv2等，为下游任务提供有效参数初始化和特征表示。
• 自动提示工程为解决SAM依赖高质量提示输入的问题，研究人员探索自动提示工程，但现有方法多需微调SAM或依赖粗糙分割结果、手动提示，本文提出的SAT旨在改进。

方法（SAT框架）

• 补丁级特征提取基于DINOv2的图像编码器提取参考图像和目标图像的补丁级特征，计算特征间的欧氏距离构建对应矩阵，找出目标图像中与参考图像最相似的区域。
• 自动提示方案生成
  • 双空间提示生成包含前向匹配、反向匹配、独占采样、稀疏采样和硬采样，通过多步骤优化提示点生成，提高分割准确性。
  • 自动提示选择构建超参数库生成超参数，设计评估指标评估提示方案，选择得分最高的方案作为最终提示，提高任务和域的可转移性。
  • 集成SAT引入多个参考图像，独立处理后用投票融合策略集成，增强分割性能。

实验结果

• 数据集使用ISIC、JSRT、Kvasir、FLARE、MSTSD、GBMSD六个数据集，涵盖多种医学场景和图像模态。
• 实验设置在Linux服务器，利用NVIDIA Tesla V100，补丁大小设为16×16，以DINOv2为特征提取器，SAM为分割模型，用Dice相似系数（DSC）和交并比（IoU）评估性能。
• 消融实验验证双空间提示生成模块各组件、超参数选择和SAM骨干网络选择的有效性。如不同组件逐步加入提升了多个数据集的分割性能，合适的超参数选择能优化分割结果 。
• 对比实验与全监督方法相比，在小尺度数据集表现更优，大尺度数据集性能相当；与单样本方法相比，在多数数据集超越，且对样本选择更鲁棒。
• 集成SAT性能增加参考图像数量可提升分割性能。
• 运行时分析SAT在不同GPU服务器上处理224×224图像的时间效率高，提示生成和选择的计算负担小。

医学图像分割方法的流程

这张图展示了SAT（Segment Any Tissue）这一单样本参考引导的无训练框架的工作流程，通过三个关键部分实现医学图像分割：

1. 补丁级特征提取（Patch - level feature extraction）：对单样本参考图像（One - shot reference）和目标图像（Target image）使用滑动窗口（Sliding windows）方法划分图像块，然后利用预训练基础模型（Pretained foundation model ）提取特征，生成对应矩阵 (M_s(i,j)) 。
2. 自动提示方案生成（Automatic prompt scheme generation）：基于对应矩阵 (M_s(i,j)) ，通过几何提示工程（Geometric prompt engineering）生成正负提示点（Positive prompt和Negative prompt），其中蓝色点为正提示点，红色点为负提示点。
3. 类别不可知分割（Class - agnostic segmentation）：将目标图像与提示方案输入分割模型（Segment anything model ），输出分割掩码（Output mask），完成医学图像的分割任务。

二、TILScout 方法揭示肿瘤浸润淋巴细胞在 28 种癌症中的关键意义

一作&通讯

文献概述

1. 研究背景
   • 肿瘤微环境影响癌症发展，TILs在抗肿瘤免疫反应中至关重要，但在不同癌症中的作用缺乏系统研究。
   • 组织病理切片是癌症诊断金标准，手动评估TILs存在主观性和可重复性差的问题，机器学习辅助方法逐渐兴起。
2. TILScout方法开发
   • 数据获取从多个数据库获取10,029张H&E染色全切片图像（WSIs）及相应临床、基因组和转录组数据，涵盖28种癌症类型。
   • WSIs处理用OpenSlide库将WSIs分割成150×150像素的补丁，排除空白补丁并进行颜色归一化。
   • 分类与数据集准备定义TIL阳性、阴性和非肿瘤/坏死补丁标准，由三位病理学家手动标注，最终从102,538,441个补丁中选90,488个，按8:2比例划分为训练集和验证集，另选9000个创建独立测试集。
   • 模型选择与训练测试8种预训练神经网络和无监督学习方法，InceptionResNetV2表现最佳，用于后续分析。根据混淆矩阵对补丁标签进行迭代手动改进，重新训练模型。
3. TILScout性能评估
   • 分类准确性InceptionResNetV2在验证集上准确率达0.9787，AUC为0.9988；在独立测试集上准确率为0.9628，AUC为0.9934，优于先前研究。
   • TIL评分计算与分布TIL评分是TIL阳性补丁数与TIL阳性和阴性补丁总数之比，在8,888张WSIs中计算发现，TIL评分集中在0.000 - 0.339，对应最高密度值的评分约为0.064。
   • TIL地图构建根据预测结果为WSIs构建TIL地图，直观展示TIL浸润程度。
4. TIL评分相关性分析
   • 与临床特征的关系在28种癌症中，总体平均TIL评分为0.219，胸腺瘤和卵巢癌平均TIL评分最高和最低。9种癌症中TIL评分与癌症分期显著相关，分期增加TIL评分降低。
   • 与免疫细胞及相关基因的关系在28种癌症中的23种，TIL评分与淋巴细胞比例显著正相关，主要由CD8 + T细胞贡献；与9种免疫检查点基因中的8种显著正相关。
   • 与基因组变异的关系研究25种癌症驱动基因的单核苷酸变异（SNV）和拷贝数变异（CNV）对TIL评分的影响，发现携带SNV的患者TIL评分更高，携带CNV的患者TIL评分更低。
5. TIL评分的临床意义
   • 预后价值高TIL评分组在多数癌症中死亡、癌症特异性死亡和复发风险降低，如在所有癌症类型中，高TIL评分组死亡风险降低35%（OS，HR 0.65）。
   • 风险分层结合TIL评分和临床数据的预后模型（M2）比仅用临床数据的模型（M1）在预测总生存期（OS）、疾病特异性生存期（DSS）和无进展生存期（PFI）方面表现更优，C指数更高。
   • 免疫治疗预测TIL评分与免疫检查点基因表达相关，有望成为免疫治疗反应的潜在预测指标。
6. 研究结论
   • TILScout是一种自动分析TILs的有效方法，TIL评分可反映TIL浸润程度，是潜在的预后指标和抗肿瘤反应预测指标。
   • 研究揭示了TIL浸润与基因组变异的关系，但该预测指标需在临床实践中进一步验证。

关键问题

1. TIL评分与免疫检查点基因表达有怎样的关联？这种关联对癌症治疗有何意义？
   • 除CD276外，其余8种常见免疫检查点基因（PDCD1、CD274、CTLA4等）在大多数癌症类型中与TIL评分呈显著正相关。
   • 这表明肿瘤微环境中，高TIL评分患者的免疫检查点基因表达水平较高，可能对免疫治疗更敏感，TIL评分有望成为预测免疫治疗反应的指标，为临床选择免疫治疗方案提供参考。
2. 基因组变异如何影响TIL评分分布？这种影响在临床治疗中有什么潜在价值？
   • 对于25种癌症驱动基因，单核苷酸变异（SNV）通常使患者TIL评分升高，拷贝数变异（CNV）则使TIL评分降低。
   • 在临床治疗中，医生可根据患者癌症驱动基因的变异情况，结合TIL评分，更精准地评估患者的肿瘤免疫微环境，为制定个性化治疗方案提供依据，如对携带特定变异且TIL评分异常的患者，选择更合适的免疫治疗或其他治疗手段。

TILScout方法的训练和预测流程

训练流程

先对全切片图像（Whole slide images）进行切割（Tiling）、颜色归一化（Color normalization）和手动标注（Manual labeling），得到肿瘤浸润淋巴细胞阳性（TIL - positive）、阴性（TIL - negative）以及非肿瘤/坏死（Non - tumor/necrotic）的图像块（Patches）。

将这些图像块按8:2的比例划分为训练集和验证集，同时另设测试集。使用多个分类网络（如VGG16、VGG19等）进行训练，通过10折交叉验证、验证和测试，根据混淆矩阵（Confusion matrix）进行迭代手动改进，重新训练模型，从而得到最优分类器（The optimal classifier）。

预测流程

利用训练好的TILScout模型对全切片图像进行预测，通过公式

$$TILscore=\frac{N_{TIL-positive}}{N_{TIL-positive}+N_{TIL-negative}}$$
计算TIL评分，并重建TIL图谱（TIL maps reconstruction） 。

三、CATfusion：整合多组学与病理图像数据的泛癌生存预测新模型

一作&通讯

文献概述

1. 研究背景
   • 癌症预后评估现状及问题癌症预后在临床治疗中至关重要，传统依靠医生主观评估肿瘤组织学特征进行癌症分级和分期的方法，存在评估不一致的问题，导致同等级或分期患者治疗结果差异大。
   • 现有计算方法的局限性虽然已有利用病理图像和基因组数据预测癌症生存率的计算方法，但传统预后模型多依赖临床参数和单模态数据，难以捕捉癌症的复杂性和异质性；已有的多模态融合模型，如Pathomic Fusion、CAMR、GPDBN等，其融合技术存在模态差距问题，限制了癌症生存预测性能的提升。
2. 材料和方法
   • 数据来源从The Cancer Genome Atlas (TCGA)下载32种癌症类型的基因组、表观基因组、转录组数据，以及诊断全切片图像（WSIs）和临床数据，因miRNA-seq数据样本量有限，分析时排除TCGA-GBM。
   • 基因组特征提取使用TabAE自监督学习框架提取基因组特征，通过滑动窗口、随机掩码、编码解码过程，将基因组数据转换为特征向量。用随机森林分类模型验证特征向量区分癌症类型的能力，评估不同基因嵌入方法对分类性能的影响。
   • 组织学图像特征提取用Prov-GigaPath、Hibou等7种工具提取病理图像特征，通过注意力多实例学习（AttMIL）分类模型评估特征捕捉病理异质性的能力，选择性能最佳的CTransPath提取的特征作为图像输入。
   • 多模态融合（CATfusion）将病理图像和基因组数据特征通过嵌入层统一维度，利用双向多模态注意力融合模块和10个自注意力块进行融合，最后输入生存预测层预测癌症患者生存前景。
   • 生存预测与模型解释通过优化Cox似然函数训练网络，用负对数部分似然定义损失函数。采用PORPOISE方法实现模型可解释性，计算注意力分数生成热图；用HoverNet模型对高注意力区域细胞分类，分析不同风险组患者细胞类型分布。
3. 实验结果
   • TabAE特征提取效果TabAE训练时，miRNA-seq数据有过拟合倾向，其他组无明显过拟合。mRNA-seq、miRNA-seq和DNA甲基化变异特征能有效区分癌症类型，突变数据区分效果最差。
   • 图像特征提取器评估CTransPath提取的特征在AttMIL模型训练中表现最佳，分类准确率达84%，过拟合发生率最低。
   • 多模态融合模型性能在31种癌症类型五折交叉验证中，CATfusion的C指数为0.668，生存AUC为0.628，均高于单模态模型AttMIL-WSI和AttMIL-Genomic。在多数癌症类型中，CATfusion的C指数排名第一，能有效区分高低风险患者组。与其他模型对比，CATfusion在整合多模态数据预测癌症结果上优势明显。
4. 研究结论
   • 模型优势CATfusion通过整合多模态数据和深度学习，提高了癌症生存预测的准确性和可解释性，在临床应用上有潜力。
   • 研究局限与展望模型的泛化性可能受TCGA数据集限制，自监督学习提取特征可能引入偏差。未来可扩大数据集，纳入更多样化患者群体并整合临床变量，提升模型适用性。

关键问题

1. CATfusion与传统癌症生存预测模型相比，优势体现在哪些方面？
   • 传统模型依赖临床参数和单模态数据，难以捕捉癌症复杂性和异质性，评估存在主观性和不一致性。而CATfusion整合了多种数据类型，利用自监督学习框架TabAE提取基因组特征，通过双向多模态注意力机制和自注意力模块融合数据，在预测性能上更优，其C指数和生存AUC更高，能更准确地对患者进行风险分层。
2. 为什么选择CTransPath作为病理图像特征提取器？
   • 研究人员用7种工具提取病理图像特征，并通过AttMIL分类模型评估。结果显示，CTransPath提取的特征在分类癌症样本时表现最佳，准确率达到84%，且过拟合发生率最低，能更有效地捕捉不同癌症类型的病理异质性，所以选择它作为图像组件输入CATfusion模型。
3. CATfusion模型在临床应用中可能面临哪些挑战？
   • 一方面，模型的泛化性可能受TCGA数据集组成的限制，该数据集可能无法完全代表全球癌症患者群体的多样性；
   • 另一方面，模型依赖自监督学习进行特征提取，这可能会基于训练数据引入偏差，影响模型在不同临床场景中的性能表现。

基于多模态数据融合的癌症生存预测模型架构

左侧部分显示数据输入来源，包括病理切片（Diagnostic slides）和基因组数据（genomic data）。病理切片通过CTransPath处理得到切片特征（Patch Features）；基因组数据包括mRNA、microRNA、CNV（拷贝数变异）、DNA甲基化变异（DNA methylation variation）和MUT（突变），这些数据通过TabAE进行特征提取。

中间上方的虚线框内是模型的核心结构，依次为图像嵌入（Image embedding）、自由形式嵌入（Free form embedding）、双向多模态注意力块（Bidirectional multimodal attention block ，出现2次）、自注意力块（Self-attention block，出现10次）和生存预测（Survival Prediction）。

右侧部分详细展示了双向多模态注意力模块的结构，基因组标记（genomic tokens）和图像切片标记（image patch tokens）经过归一化（Norm）、多层感知器（MLP）处理后进行双向多模态注意力计算 。

该模型通过整合病理图像和多种基因组数据，利用多模态注意力机制和自注意力机制进行特征融合，最终实现癌症生存预测。