- 博客(511)
- 收藏
- 关注
RSS订阅原创 整合临床信息、影像组学以及组织学数据，解决癌症免疫治疗缺乏有效生物标志物的问题
MANIFEST: Multiomic Platform for Cancer Immunotherapy》由Kok Haw Jonathan Lim等人撰写。文章介绍了MANIFEST这一用于癌症免疫治疗的多组学平台，旨在解决免疫治疗中缺乏有效生物标志物的问题，通过多组学分析和人工智能技术，实现对患者的深度剖析，为个性化免疫治疗提供支持。设计MANIFEST是一项由英国生命科学办公室和医学研究委员会资助的观察性、非干预性临床研究。
2025-05-08 11:35:13
582
原创 基于临床任务的计算病理学切片聚合方法研究
深度学习推动计算病理学发展，WSI常被分割为小瓦片分析，弱监督学习结合预训练视觉模型编码瓦片特征向量，自监督学习训练FMs成为趋势。但该领域依赖公共数据集评估下游任务性能，在临床应用中存在局限性，如TCGA数据集用于组织学分析时，受高肿瘤患病率、旧扫描技术和冰冻切片组织等因素影响，限制了组织学研究的准确性和泛化性。已有相关研究在评估AI算法性能时存在不足，如Laleh等人（2022）未充分关注切片级聚合阶段和FMs优势；Bilal等人（2023）研究受数据集特异性限制；
2025-05-08 11:21:25
537
原创 想通过病理切片分析肿瘤微环境，增强模型可解释性，那么这个经典的细胞核分割与分类模型一定要会复现！
文章提出的HoVer-Net，用于多组织组织学图像中细胞核的同时分割与分类，有效解决了传统方法面临的难题，推动了医学图像分析领域的发展。
2025-04-28 13:05:37
1016
原创 依赖于切片级标签，结合信息瓶颈理论，对弱监督病理切片分类模型进行微调
Task-specific Fine-tuning via Variational Information Bottleneck for Weakly-supervised Pathology Whole Slide Image Classification”由Honglin Li等人撰写。文章提出一种基于变分信息瓶颈的弱监督病理全切片图像分类任务特定微调框架，有效解决计算成本高和监督有限的问题，在多个数据集上提升了分类精度和泛化能力。研究背景。
2025-04-27 11:36:10
701
原创 无需细胞级标注，这个医学AI模型就能通过病理切片实现基因突变的预测
文章提出一种基于多实例学习（MIL）和集成技术的深度学习模型，可从急性髓系白血病（AML）的全切片图像（WSI）预测基因突变，为临床诊断提供支持。
2025-04-27 11:27:52
1097
原创 Medical Image Nnalysis发表对抗多实例学习框架，基于病理切片进行生存分析
AdvMIL: Adversarial multiple instance learning for the survival analysis on whole-slide images”提出了一种新的对抗多实例学习框架AdvMIL，用于基于全切片图像（WSI）的生存分析，能有效提升模型性能、利用无标记数据，并增强模型鲁棒性。作者类型姓名单位第一作者Pei Liu电子科技大学计算机科学与工程学院通讯作者Luping Ji电子科技大学计算机科学与工程学院。
2025-04-26 11:01:13
620
原创 Cancer Cell发表医学AI综述，聚焦于人工智能与转化癌症研究的交叉领域
New horizons at the interface of artificial intelligence and translational cancer research》由Josephine Yates和Eliezer M. Van Allen撰写。文章探讨了人工智能（AI）在癌症多组学分析和转化研究中的应用、挑战与机遇，指出AI有潜力推动精准肿瘤学发展，但在临床整合等方面仍面临难题。
2025-04-25 16:36:38
910
原创 Nature子刊聚焦于公开的医学AI基础模型，建立统一的评估标准
A clinical benchmark of public self-supervised pathology foundation models”发表于，通过构建临床基准数据集，系统评估了公共病理基础模型在多种临床相关任务上的性能，为模型训练和选择提供了重要参考。
2025-04-23 10:29:51
1170
原创 Medical Image Analysis发表医学AI模型，兼顾病理切片的上下文信息和高分辨率细节
文章提出HookNet，一种用于组织病理学全切片图像语义分割的多分辨率卷积神经网络模型，通过多分支结构有效结合上下文和细节信息，在乳腺癌和肺癌组织分割任务中展现优势，并提供代码和网络应用促进相关研究。__init__self,n_classes,depth=4,n_convs=2,):HookNet类继承自nn.Module，这是PyTorch中所有神经网络模块的基类。__init__方法是类的构造函数，用于初始化网络的各个组件。参数解释：n_classes：表示分割任务中的类别数量。
2025-04-19 17:00:00
778
原创 Nature子刊发表医学AI多模态融合亚型框架，能够融合处理放射组学、病理组学以及基因组学数据
这篇文章通过整合多模态数据，提出了一种新的胶质瘤亚型分类框架，为IDH野生型胶质瘤的精准治疗和预后判断提供了重要依据。
2025-04-18 15:18:05
980
原创 哈佛团队在Cancer Cell发表多模态医学AI模型，整合病理切片和基因组特征，为癌症预后提供新思路
文章利用多模态深度学习整合 14 种癌症类型的全切片病理图像与分子特征数据，构建预后模型，通过对比单模态模型及分析模型可解释性，发现相关预后特征，开发出 PORPOISE 平台辅助研究，为癌症预后评估提供新方法与思路。
2025-04-18 11:50:52
1153
原创 多模态医学AI框架Pathomic Fusion，整合了组织病理学与基因组的特征
文章提出Pathomic Fusion框架，融合组织学和基因组特征，通过实验验证其在癌症诊断和预后预测方面的优势，为多模态生物医学数据的深度学习提供了新方法。研究背景：癌症诊断、预后和治疗反应预测依赖组织学和基因组数据，但现有方法存在局限性。组织学分析主观且存在观察者间差异，基因组分析无法精准区分肿瘤与非肿瘤细胞的基因变化。多模态深度学习虽发展迅速，但生物医学领域的融合策略尚待探索。研究方法Pathomic Fusion框架：创新性地融合组织学图像、细胞图和基因组特征。
2025-04-15 19:54:57
1223
原创 Nature子刊发表的这个医学AI模型，能够有效处理临床研究中的小数据集、稀疏特征和缺失数据
优势：Clinical Transformer预测更准确，可解释性强，能有效处理多种数据，挖掘特征关系，为临床研究提供见解。局限：存在计算限制，依赖数据质量，需大量相似特征患者预训练，且扰动分析可能存在“幻觉”。未来方向：探索新的位置编码机制，整合更多类型数据，如元数据和先验知识，以更好地理解疾病。数据资源（Data Resources）
2025-04-15 09:21:01
991
原创 CLAM [特殊字符] StreamingCLAM，弱监督学习助力基底细胞癌诊断
这篇文章聚焦于医学AI在基底细胞癌（BCC）诊断领域的应用。BCC发病率的急剧上升给病理诊断工作带来沉重负担，传统诊断方式依赖大量人工标注，效率低下且容易出错。在此背景下，文章提出了一种基于弱监督学习的创新方法，旨在利用AI技术提升BCC诊断的效率与准确性。文章详细介绍了两种关键模型CLAM和StreamingCLAM，并对它们进行了深入对比。研究人员使用了大规模的数据集，包括5147张图像用于训练和验证，以及在内部949张图像、外部183张图像和公共测试集上进行测试。
2025-04-14 08:53:09
750
原创 能模仿病理学家工作流程的Vim架构，性能媲美ViT架构，小尺度下性能更优、大尺度下也具竞争力
Vim4Path: Self-Supervised Vision Mamba for Histopathology Images”一文主要研究了将Vision Mamba（Vim）架构应用于计算病理学中全切片图像（WSI）的表示学习，旨在解决因组织结构复杂和标记数据稀缺带来的挑战。研究背景：从千兆像素全切片图像进行表示学习在计算病理学中极具挑战。传统多实例学习方法依赖自然图像预训练模型，因病理图像与自然图像分布差异，效果欠佳。自监督学习（SSL）虽有发展，但编码器架构影响其性能。方法。
2025-04-12 12:29:26
854
原创 MIA发表病理AI模型HistoKernel，通过量化WSI间的分布相似性，实现药物敏感性的预测和生存分析
文章提出了一种创新的全切片图像（WSI）级最大平均差异（MMD）内核——HistoKernel，用于泛癌预测建模，在多个计算病理学任务中展现出优异性能，为该领域研究开辟了新途径。研究背景：计算病理学中，现有聚合技术在处理WSI分析任务时存在局限性，无法有效捕捉WSI中补丁集之间的整体分布差异。本研究旨在引入HistoKernel解决这一问题，推动计算病理学发展。研究方法：使用来自癌症基因组图谱（TCGA）的WSI数据、cBioportal的点突变数据、乳腺浸润性癌患者的药物敏感性数据等多种数据进行实验。
2025-04-09 10:09:48
813
原创 数字病理格式转换｜vsi格式转为tif格式的方法
这个转换工具通过命令行界面（CLI）使用，主要功能是将 Olympus 细胞成像系统生成的VSI格式图像文件转换为通用的TIFF格式图像文件。最近星球里和交流群里，都有人提到vsi格式的转换问题，那么这期推文就介绍一个大概率可行的方法。为什么叫大概率可行呢？因为我用公开数据集测试是没有问题的，但是用星球用户的私有数据集时会卡住，无法筛选生成最后的tif文件，只有各层的文件。上图所示，是我挑选的palne12对应的tif，使用openslide打开后的缩略图。
2025-04-08 19:28:24
1055
原创 Nature Communications发表基于组织病理切片的 AI 模型，预测肾癌抗血管生成疗法效果
Histopathology based AI model predicts anti-angiogenic therapy response in renal cancer clinical trial”发表于，开发出一种基于组织病理学的深度学习模型，能从苏木精-伊红（H&E）染色切片预测血管生成评分（Angioscore），有效预测肾细胞癌抗血管生成治疗反应，为精准医疗提供了新方向。研究背景：转移性透明细胞肾细胞癌（ccRCC）治疗手段多样，但缺乏预测治疗反应的生物标志物。
2025-04-08 11:02:35
831
原创 深度挖掘Nature Medicine发表的病理AI基础模型，完成多分类模型的搭建，并进行可视化分析｜项目复现
这段代码定义了一个自定义的数据集类，并使用该类创建了训练集和验证集的数据集对象，同时利用DataLoader对这两个数据集进行封装，以实现批量数据加载。更多内容，请见同名公众号/知识星球。
2025-04-07 09:24:08
942
原创 跟着教程复现了医学AI顶刊，却仍然看不懂代码，不会搭建模型？这期教程解决你的疑问！
本期教程使用的是4种天气图片数据集，名为“Multi - class Weather Dataset for Image Classification”。该数据集涵盖了4种不同的天气情况，分别是日出（sunrise）、晴天（shine）、阴天（cloudy）以及雨天（rain）。所有的图片都统一放置在名为“dataset2”的文件夹当中，并且每张图片的文件名称都清晰标注了其所属的天气类别，通过文件名就可以直接判断出该图片对应的天气类型。PS：数据集链接和源代码我会放在文末，大家付费阅读后即可获取数据！
2025-04-03 10:15:24
743
原创 以Nature子刊发表的这篇医学AI文章为例，分享一下如何深度解读一篇文献
（明天发）。文献速览这篇文章聚焦于此，开发出MSIntuit这一基于AI的临床预筛查工具，为解决难题提供新方向。它借助自监督学习从大量结直肠癌病理图像中提取特征，经多步骤优化，在600例患者独立数据集上完成盲法验证。研究结果显示，MSIntuit性能卓越。在不同扫描仪上表现稳定，敏感性高达0.96 - 0.98，
2025-04-01 21:58:04
1218
原创 这篇病理AI的一区文章，提出了四个全新且完全可解释的定量预后参数，并对比了基础模型的性能｜Cell Reports Medicine
在医学AI领域，肺癌的精准诊疗一直是重点研究方向。这篇文章聚焦于非小细胞肺癌（NSCLC），开发了一个极具潜力的计算病理学平台。它基于大量高质量手动标注数据集，训练出高精度的多类组织分割算法，能精确分析H&E染色的全切片图像，为后续诊断、预后和预测算法的开发奠定了坚实基础。文章着重展示了该平台在两个关键下游应用的成果。一方面，训练并验证了NSCLC亚型分类诊断算法，在多机构、多扫描仪的国际队列中表现出色，准确性高，且优于部分基于基础模型和弱监督的方法。
2025-04-01 11:02:47
1068
原创 Nature发表哈佛团队关于生成式医学模型的最新研究，提倡“AI住院医师”模式
在医学领域，准确解读医学图像并生成报告对患者护理至关重要，但给临床专家带来沉重负担。多模态生成式人工智能（GenMI）为医学图像解读和报告生成带来新机遇，有望实现部分流程自动化。这篇3.26发表于Nature的文章，围绕GenMI在医学报告生成中的应用展开深入探讨，对从事医学AI研究的人员极具参考价值。文章首先阐述GenMI在医学报告生成方面的进展。传统医学报告生成框架多由视觉编码器和语言解码器构成，而基础模型的出现促使新型GenMI解决方案发展。
2025-03-28 10:23:49
818
原创 医学图像领域这么多公开数据集，我们如何在十分钟内彻底分析透彻其中一个，并利用于我们自己项目中？｜个人观点
原始类别 ID原始类别名称合并后类别名称合并后 ID (论文)1other1223epithelial34epithelial35fibroblast46muscle474。
2025-03-28 10:11:23
837
原创 不到300例患者的研究，做了一个放射组学和病理组学的融合框架，就发表在一区｜文献精析
本文旨在通过整合放射学和病理学数据，利用深度学习预测HPV相关口咽鳞状细胞癌（OPSCC）的预后，开发出Swin Transformer 为基础的多模态框架（SMuRF）。研究背景：HPV相关OPSCC发病率上升，现有分期系统虽区分HPV状态但患者仍面临生存挑战，仅依靠分子生物标志物存在局限性，而整合病理学和放射学信息可提供多尺度肿瘤洞察，此前多模态研究在该领域关注较少。
2025-03-28 08:35:44
705
原创 病理切片标签无法提取？临床信息无法获取？这篇文章教你如何一键导出切片标签！
前两天知识星球的服务器出了点问题，导致部分用户的提问无法回答，所以今天才开始陆续处理前几天堆积的问题。星球里有一个用户提出了一个问题，这个问题之前交流群也有人提出过，这次再次有人提出，我就想着写一段代码解决一下。首先声明，。我们先看一下预期效果——。根据我的理解，存在这个问题的人，首先是通过imagescop打开了手里的切片，发现有一个标签。但是，后续，现在想要通过代码批量提取这个标签。我为了节约调试时间，就用了三张切片做了一个测试，连带标签和方法倍率一起节选出来了。
2025-03-27 10:48:53
790
原创 哈佛团队最新研究动态表明，医学AI下一步关注点在于无监督模型以及基因表达数据的利用｜个人观点
文章提出了一种基于转录组学引导的切片表示学习框架TANGLE，利用基因表达数据辅助学习全切片图像（WSI）的切片嵌入，在多下游任务中表现优异，为计算病理学研究提供了新方向。研究背景：自监督学习（SSL）在计算病理学中用于处理千兆像素的全切片图像时存在挑战，如构建切片“视图”计算成本高、学习视觉原语和不变性不明确、切片内异质性导致训练信号不一致等。受多模态视觉语言模型启发，研究团队利用基因表达数据指导切片表示学习。相关工作。
2025-03-25 10:12:54
1046
原创 多模态模型的多组学特征不会融合？这三篇文章能很好的解决你的问题｜文献速递·25-03-24
研究背景与挑战医学图像分割是众多临床应用的前提，但主流方法存在获取高质量标注数据困难、因数字模态差异导致的域转移问题，限制了模型在不同任务和域间的可转移性。视觉基础模型虽在自然图像分割有潜力，但应用于医学图像面临医学与自然图像域差距大、难以自动生成高质量提示辅助分割两大挑战。相关工作预训练基础模型在自然语言处理和计算机视觉领域广泛应用，如BERT、GPT-4、CLIP、GLIP、DINOv2等，为下游任务提供有效参数初始化和特征表示。
2025-03-24 09:55:59
997
原创 一年时间成为一个全网6万+关注量的医学AI科普博主，我经历了很多有趣的事｜个人观点
一直在往前走，很久没有回顾走过的路了，所以这一期推送和大家聊一下我这段时间分享的一些内容。大概也是从去年的这个时候，开始持续输出医学AI的相关的内容，主要是以病理AI为主，偶尔会分享一些影像组学和基因组学的内容。做自媒体的初衷，只是想记录一下自己的学习经历和过程，顺手分享给有需要的人，并没有特别功利的想法。即便现在会偶尔接接推广，但是也不会在交流群内发广告。为了怕大家误以为我是机构，我特意在公众号的主页做了介绍。承蒙各位老师和师兄师姐的喜欢，才让“罗小罗同学”这个IP让越来越多的人了解到。
2025-03-24 08:07:59
617
原创 深度学习模型DeSide，凭借高度拟真的肿瘤基因表达谱，实现患者有效分层
研究背景肿瘤微环境复杂性：实体肿瘤由癌细胞和肿瘤微环境（TME）中的多种细胞组成，TME细胞的存在和数量与患者预后相关，精确评估肿瘤细胞组成对临床治疗意义重大。现有分析方法的局限性：常用的细胞组成分析方法如流式细胞术、单细胞RNA测序（scRNA-seq）和免疫组化存在成本高、细胞类型覆盖有限或提取效率低等问题。批量RNA测序虽具成本效益，但癌细胞基因表达谱（GEP）的高度变异性以及现有计算方法的缺陷，使得准确推断细胞比例面临挑战。DeSide方法DNN架构。
2025-03-23 19:06:48
808
原创 医学领域的deepseek：Med-R1，用强化学习开启医学视觉语言模型推理
Med-R1: Reinforcement Learning for Generalizable Medical Reasoning in Vision-Language Models”提出Med-R1框架，利用强化学习（RL）提升视觉语言模型（VLMs）在医学推理中的泛化性和可信度。研究表明，Med-R1在多模态和跨任务推理上表现优异，为医学VLMs发展开辟新方向。挑战与动机：VLMs在自然场景推理成果显著，但医学影像推理存在困难。
2025-03-22 11:58:50
1437
原创 人工智能在医学图像领域的最新应用进展｜顶刊速递·25-03-20
文章提出了统一半监督主动学习框架UniSAL，用于组织病理图像分类，在减少标注成本的同时能达到与全量标注相当的性能，为数字病理学发展提供了有效方法。研究背景：组织病理图像分类对癌症诊断至关重要，但标注大量图像成本高昂且耗时，现有主动学习方法存在样本选择不合理、未充分利用无标签数据等问题。相关工作：介绍主动学习、半监督学习和对比学习相关方法。主动学习样本选择策略包括基于不确定性、代表性及二者结合的方法；半监督学习分为基于一致性和基于伪标签的方法；对比学习用于特征学习，在相关领域有应用。方法。
2025-03-21 10:53:06
1057
原创 亲测有效，影像组学领域的51个公开数据集汇总，节省大量收集数据的时间
今天这期推送和大家系统梳理一下【影像组学】领域的【51个】重要公开数据集。数据集覆盖肝脏、肺、脑、乳腺等多个器官，涉及肿瘤、心血管疾病、先天性疾病等多种病理类型，并囊括CT、MRI、X光、超声等多样化影像模态，例如肝肿瘤分割基准数据集LiTS、肺结节检测经典数据LUNA16，以及脑肿瘤分割核心BRATS系列，可支持算法开发、临床转化及跨学科研究。
2025-03-19 11:48:00
984
原创 病理AI领域最新EAGLE框架，性能优越，计算效率也大幅提升｜项目解读·25-03-18
A deep learning framework for efficient pathology image analysis”发表于，提出EAGLE（Efficient Approach for Guided Local Examination）深度学习框架，旨在解决当前病理图像分析方法计算效率低等问题，推动人工智能在病理学领域的应用。研究背景。
2025-03-18 09:58:03
811
原创 Nature Medicine复现｜病理AI领域的基础模型不会用？这篇保姆级教程带你掌握数据处理全流程！
计算病理学（CPath）需要对组织图像进行定量评估，以支持病理学诊断。然而，全切片图像（WSIs）的高分辨率和形态特征的变异性使得大规模数据注释变得困难，限制了模型的训练和性能。当前方法通常依赖于从自然图像数据集或公开的组织病理学数据集进行迁移学习，但这些方法在不同组织类型和疾病类别的广泛应用中存在局限性。下载模型权重函数会自动从远程服务器下载 UNI 2-h的预训练权重，保存到本地目录。创建模型实例：加载下载的权重，构建并返回模型对象。获取预处理方法：返回与模型匹配的图像预处理流程（
2025-03-18 08:29:24
964
原创 多模态模型Orpheus，基于病理图像的乳腺癌复发风险智能评估工具｜顶刊解读·25-03-17
文章介绍了一种名为Orpheus的多模态深度学习工具，用于从H&E染色的全切片图像中推断乳腺癌的复发风险评分（RS）。该工具旨在解决现有检测方法成本高、耗时长的问题，为临床决策提供更便捷的解决方案。文章详细描述了Orpheus的开发过程，包括数据收集、模型训练和验证等环节，并展示了其在不同数据集上的表现和临床应用潜力。Orpheus 是一个基于 Transformer 的多模态集成框架，结合H&E染色全切片图像和病理报告文本，用于预测癌症的预后/预测评分（如 Oncotype 评分）。核心功能。
2025-03-17 22:50:38
763
原创 中山六院团队发表可解释多模态融合模型Brim，可以在缺少分子数据时借助病理图像模拟生成伪基因组特征｜顶刊解读·25-02-14
这篇文章介绍了一种名为Brim的可解释多模态融合模型，用于在泛癌种中结合组织学和基因组学数据进行生存预测。背景与动机：癌症的复杂性和异质性导致临床结果难以预测，传统TNM分期系统无法充分考虑肿瘤异质性。人工智能（AI）在癌症研究中取得了显著进展，但多模态数据的缺失限制了其临床应用。模型开发：Brim模型通过结合病理全切片图像（WSIs）和多组学特征（突变状态、拷贝数变异、RNA-seq基因表达）来预测癌症患者的生存风险。模型包括四个主要部分：WSI预处理、病理图像特征模块、分子特征模块和桥接网络。
2025-03-14 22:15:05
1120
原创 解析三级淋巴样结构：从形成机制到临床应用的探索｜文献精读·25-03-14
次级淋巴器官（SLOs），如淋巴结、脾脏及黏膜相关淋巴组织，对于启动和协调免疫反应至关重要。这些器官提供了一个结构化的环境，使免疫细胞能够有效地与抗原相互作用，从而促进适应性免疫反应。三级淋巴结构（TLSs）并非在胚胎发育中预先设定，其在形态和功能上模拟SLOs。在慢性炎症条件下，如癌症，TLSs在非淋巴组织中形成，由B细胞、T细胞、树突状细胞和高度内皮静脉组成。TLSs的形成被认为是由类似于组织SLOs的分子信号所启动，包括淋巴毒素和肿瘤坏死因子（TNF）家族。在肿瘤学领域，
2025-03-14 11:36:19
1120
原创 面向病理AI研究者的数据集汇总与应用指南
TCGA 是一个全面的癌症基因组学数据库，包含了多种癌症类型的基因组、转录组、蛋白质组等多维度数据。这些数据来自大量患者样本，为癌症的分子机制研究、生物标志物发现以及个性化医疗提供了丰富的资源。研究人员可以通过 TCGA 数据了解癌症的遗传变异、基因表达调控、蛋白质合成等多方面信息，进而深入探究癌症的发生、发展和转移机制。
2025-03-14 11:25:52
922
原创 HistGen 助力病理医生，大幅提升报告撰写效率，促进多模态多组学模型开发
HistGen: Histopathology Report Generation via Local-Global Feature Encoding and Cross-modal Context Interaction”提出了HistGen框架用于生成组织病理学报告，通过构建数据集、设计模块和预训练模型，实验证明其在报告生成及相关任务上性能优异，为该领域研究奠定基础。研究背景与挑战：组织病理学在癌症诊断中至关重要，但病理学家撰写报告的工作繁琐且易出错，自动生成报告意义重大。
2025-03-12 09:50:00
883
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人