- 博客(93)
- 收藏
- 关注
RSS订阅原创 【技术追踪】通过潜在扩散和先验知识增强时空疾病进展模型（MICCAI-2024）
本文介绍了基于潜在扩散的新型时空疾病进展模型—— Brain Latent Progression（BrLP）。BrLP 旨在预测个体在三维脑 MRI 上的疾病进展。为完成这一任务而开发的现有深度生成模型主要以数据驱动为主，面临学习疾病进展的挑战。BrLP 通过结合疾病模型的先验知识来增强预测的准确性，解决了这些挑战。为了实现这一点，本文建议整合一个辅助模型来推断不同脑区的体积变化。
2025-05-06 22:57:42
395
原创 【技术追踪】基于扩散模型的脑图像反事实生成与异常检测（TMI-2024）
本文提出了一种弱监督方法来生成一个疾病图像的健康版本，然后使用它来获得像素异常图。为此，本文首先使用 ACAT 生成一个大致覆盖病理区域的显著性图，然后，本文提出了一种技术，允许对这些区域进行有针对性的修改，同时保留图像的其余部分。
2025-04-27 21:41:25
587
原创 【技术追踪】Differential Transformer（ICLR-2025）
Transformer 倾向于过度分配注意力到无关的上下文。在这项工作中，本文引入了 DIFF Transformer，它放大了对相关上下文的注意力，同时消除了噪声。具体来说，差分注意力机制（differential attention mechanism）将注意力分数计算为两个独立的 softmax 注意力图之间的差。减法可以消除噪声，促进稀疏注意力模式的出现。
2025-04-21 21:46:29
707
原创 【技术追踪】用于医学图像分割的 Diffusion Transformer U-Net（MICCAI-2023）
扩散模型在各种生成任务中展现了其强大的能力。然而，在医学图像分割中应用扩散模型时，仍需克服几个障碍：（1）扩散过程中条件化所需的语义特征与噪声嵌入不能很好地对齐；（2）扩散模型中使用的U-Net主干对反向扩散过程中准确像素级分割所必需的上下文信息不敏感。为了克服这些局限性，本文提出了一个交叉注意力模块来增强来自源图像的条件，并提出了一个基于 Transformer 的 U-Net，具有多尺寸窗口，用于提取不同尺度的上下文信息。
2025-04-19 17:58:38
714
原创 【技术追踪】DiffDGSS：基于扩散模型的确定性表示进行泛化性视网膜图像分割（MICCAI-2024）
为了充分利用强大的预训练去噪扩散概率模型（DDPM），本文提出了一种名为 DiffDGSS 的新框架，旨在挖掘扩散模型的潜在表示，以实现域泛化语义分割（Domain Generalizable Semantic Segmentation, DGSS）
2025-02-20 21:52:33
1193
原创 【技术追踪】DiffMIC：用于医学图像分类的双引导扩散网络（MICCAI-2024）
扩散概率模型最近在生成式图像建模中表现出了显著的性能，引起了计算机视觉界的广泛关注。然而，大量的基于扩散的研究集中在生成任务上，很少有研究将扩散模型应用于一般的医学图像分类。本文提出了第一个基于扩散的模型（称为 DiffMIC）来实现医学图像分类，DiffMIC 能够消除医学图像中的意外噪声和扰动，并稳健地捕获语义表示。为此，本文设计了一种双重条件引导策略，通过多个粒度对每个扩散步骤进行条件化，以改善逐步区域注意力。
2025-02-05 10:25:09
723
原创 【Diffusion实战】基于 Stable Diffusion 实现 Img2Img、Inpainting 和 Depth2Image（Pytorch代码详解）
来试试 Stable Diffusion 在图像编辑中的应用吧~
2025-02-03 10:25:50
929
原创 【SAM分割】医学图像分割任务中 SAM 的准确性
SAM 是图像分割的基础模型，它使用来自 1100 万张自然图像的超过 10 亿个 mask 进行训练。该模型可以通过使用各种提示（如 masks、boxes 和 points）来执行图像的 zero-shot 分割。本文探索了：（1）SAM 在 12 个公开医学图像分割数据集上的准确性，这些数据集涵盖了各种器官（脑、乳房、胸部、肺、皮肤、肝、肠、胰腺和前列腺）、图像模式（2D X光、组织学、内镜、3D MRI 和 CT）和健康状况（正常、病变）；
2025-01-17 10:17:08
1119
原创 【SAM分割】基于交叉特征注意力和上下文的超声图像SAM分割（ECCV-2024）
SAM 在自然图像分割领域取得了显著的成功，但其在医学成像领域的应用遇到了挑战。具体而言，SAM 在处理低对比度、边界模糊、形态复杂和小尺寸物体的医学图像时存在困难。为了解决这些挑战，并提高 SAM 在医疗领域的性能，本文引入了一个全面的改进：首先，将一个冻结的卷积神经网络（CNN）分支作为图像编码器，通过一个新的变分注意融合模块与 SAM 的原始的 Vision Transformer（ViT）编码器协同使用。这种集成增强了模型捕获局部空间信息的能力，这在医学图像中通常是至关重要的。
2025-01-15 11:37:04
1337
原创 【源码编译】windows11下安装GMP和MPFR（各种踩坑记录，亲测成功~）
因为要用UMFPACK，所以要安装SuiteSparse库，而GMP和MPFR是SuiteSparse库的依赖，这俩又不能直接Cmake编译，又学习了一种新的手段，记录一下。
2024-12-26 15:37:17
1565
2
原创 【源码编译】windows下mingw64安装以及cmake调用
最近因为安装MIRTK库，太多第三方依赖了，太折磨了，学习了使用Cmake，有些库又需要Fortran编译器，VS2022里面装了但又调用不了，也不知道为什么，最后装的mingw64，记录一下。
2024-12-25 20:19:59
1003
原创 【报错解决】vsvars32.bat 不是内部或外部命令，也不是可运行的程序或批处理文件
cmd中将路径cd到上述路径下，直接运行 call vsvars32.bat
2024-12-18 22:15:02
440
原创 【Diffusion综述】扩散模型在 MRI 影像中的应用
本文介绍了两种主要的 DPMs 的理论，并根据扩散时间步长是离散的还是连续的进行了分类，然后对 MRI 中的 DPMs 进行了全面的综述，包括重建、图像生成、图像转译、分割、异常检测以及进一步的研究方向。最后，讨论了 DPMs 的一般局限性以及特定于MRI任务的局限性，并指出了值得进一步探索的潜在领域。
2024-09-24 14:58:31
2590
原创 【技术追踪】基于扩散模型的医学图像合成与测量指导（TPAMI-2024）
本文从数据分布的角度对以前的指导及其对进一步应用的贡献进行了分析。 为了合成有助于下游应用的样本，本文在每个采样步骤中引入不确定性指导，并设计了一个不确定性引导扩散模型。 在四个医学数据集上进行实验，在生成样本集上训练10个经典网络，为本文方法的实际贡献提供了全面的评价。此外，还为扩散模型中的一般梯度指导提供了理论保证，这将有助于进一步研究面向特定生成任务其他形式的测量指导。
2024-07-23 10:04:39
1686
原创 【技术追踪】TeethDreamer：从 5 张口腔照片实现三维牙齿重建（MICCAI-2024）
TeethDreamer：一种3D牙齿重建新框架，旨在恢复上下牙齿的形状和位置，引入大型扩散模型的先验知识和3D感知特征注意力机制，重建性能表现SOTA！
2024-07-18 22:53:58
3139
原创 【技术追踪】使用去噪扩散型进行 3D 血管图生成（MICCAI-2024）
本文提出了第一个去噪扩散模型在 3D 血管图生成中的工作，其是新颖的两阶段生成方法，依次对节点坐标和边进行去噪，在生成多样化、新颖且解剖学上合理的血管图方面性能表现出色。
2024-07-14 22:40:42
1591
原创 【技术追踪】HiDiff：医学图像分割的混合扩散框架（TMI-2024）
HiDiff：一种用于医学图像分割的新型混合扩散框架，它可以协同现有判别分割模型和新型生成扩散模型的优势，在腹部器官、脑肿瘤、息肉和视网膜血管分割数据集上性能表现 SOTA ！
2024-07-11 20:43:02
2042
原创 【技术追踪】DiffuMatting：使用抠图级别注释合成任意对象（ECCV-2024）
获得高精度或抠图注释是非常困难和费力的，为了解决这一挑战，本文提出了 DiffuMatting，它继承了扩散强大的万物生成能力，并赋予了“matting anything”的能力。
2024-07-09 20:55:34
1161
原创 【技术追踪】GeCA：高分辨率医学图像合成的神经元胞扩散（MICCAI-2024）
本文提出一种称为生成式元胞自动机 (Generative Cellular Automata，GeCA) 的新模型系列，其灵感来自于生物体从单细胞进化而来的过程，显著提高了11 种不同眼科疾病分类任务的表现。
2024-07-07 16:16:29
1101
原创 【技术追踪】MedCLIP-SAM：桥接文本和图像实现通用医学图像分割（MICCAI-2024）
MedCLIP-SAM：一种通用医学图像分割新框架，将 CLIP 和 SAM 基础模型相结合，以获得基于文本提示的通用医学图像分割，并提出 DHN-NCE 新损失函数，性能表现出色~
2024-07-04 15:55:36
3783
4
原创 【技术追踪】SegGuidedDiff：基于分割引导扩散模型实现解剖学可控的医学图像生成（MICCAI-2024）
扩散模型能够实现高质量的医学图像生成，但在生成的图像中实现解剖约束具有挑战性。为此，本文提出了一种基于扩散模型的方法，通过支持解剖可控的医学图像生成，在每个采样步骤中遵循多类解剖分割 mask。此外，还引入了一种随机 mask 消融训练算法，以实现对选定的解剖约束组合的调节，同时允许其他解剖区域的灵活性。本文将所提出的方法 SegGuidedDiff 与乳腺MRI和腹部/颈部到骨盆CT数据集的现有方法进行了比较，这些数据集具有广泛的解剖目标。
2024-07-01 21:20:23
1929
2
原创 【技术追踪】UNest：一种用于非配对医学图像合成的新框架（MICCAI-2024）
非配对医学图像合成的目的是为准确的临床诊断提供补充信息，并解决获得对齐的多模态医学扫描的挑战。由于Transformer能够捕获长期依赖关系，他们在图像转换任务中表现非常出色，但只是在监督训练中有效，在非配对图像转换中性能下降，特别是在合成结构细节方面。本文的经验证明，在缺乏成对数据和强归纳偏差的情况下，Transformer会收敛到非最优解。
2024-06-29 10:05:31
1313
原创 【技术追踪】SDSeg：医学图像的 Stable Diffusion 分割（MICCAI-2024）
扩散模型已经证明了它们在各种生成任务中的有效性。然而，当应用于医学图像分割时，这些模型遇到了一些挑战，包括大量的资源和时间需求。他们还需要一个多步骤的反向过程和多个样本来产生可靠的预测。为了解决这些挑战，本文引入了第一个 latent diffusion 分割模型 SDSeg，建立在 stable diffusion（SD）上。SDSeg 采用了一个简单的 latent 估计策略，以促进单步反向过程，并利用潜在融合连接来消除对多个样本的必要性。
2024-06-27 20:33:18
3161
8
原创 【Diffusion实战】基于Stable Diffusion实现文本到图像的生成（Pytorch代码详解）
来试试强大的Stable Diffusion吧，基于Stable Diffusion的pipeline，进一步了解Stable Diffusion的结构~
2024-05-16 19:42:26
4494
6
原创 【Diffusion实战】训练一个类别引导diffusion模型（Pytorch代码详解）
又学习了一种方法，类别引导diffusion模型，使用mnist数据集，记录一下它的用法吧。
2024-05-07 20:50:15
2537
11
原创 【Diffusion实战】引导一个diffusion模型根据文字生成图像（Pytorch代码详解）
之前的Diffusion实战老老实实按照最基本的diffusion过程完成的，最近学习了一种新的方法，利用文字提示，来引导Diffusion模型生成想要的图像。
2024-05-01 21:31:36
2565
原创 【数据处理】使用pymic库裁剪nii.gz文件
我有一个图像文件为nii.gz格式，做了一个分割，得到了一个mask，格式也为nii.gz，我需要根据mask，设定一个box框，裁剪对应的图像文件。对应到一个临床问题上就是，心脏核磁数据，我需要裁剪关于心脏的感兴趣区域，其他部分舍弃掉。
2024-04-29 16:19:27
897
原创 【SAM导出】使用torch.onnx.export将pth格式导出为onnx格式（Pytorch代码详解）
一般情况下，我们保存模型的格式都是pth的，最近根据一个项目需求，需要把pth格式转换为onnx格式，方便后面的调取，故此学习理解了一下，记录将SAM模型导出为onnx的过程。
2024-04-29 16:18:02
2289
原创 【报错解决】ImportError: DLL load failed while importing MPI: 找不到指定的模块
本机电脑未安装msmpisetup.exe
2024-04-23 15:00:48
406
原创 【Diffusion实战】训练一个diffusion模型生成蝴蝶图像（Pytorch代码详解）
上一篇Diffusion实战是确确实实一步一步走的公式，这回采用一个更方便的库：diffusers，来实现Diffusion模型训练。
2024-04-23 14:50:17
4989
10
原创 【Diffusion实战】训练一个diffusion模型生成S曲线（Pytorch代码详解）
看了不少资料，终于大概理解diffusion每一步的流程与推导了，搞一个案例实践一下，把代码跟公式对一对加深理解。
2024-04-15 11:28:19
3142
7
原创 【报错解决】RuntimeError: Distributed package doesn‘t have NCCL built in
windows系统不支持nccl，采用gloo；
2024-04-15 11:27:16
2260
1
原创 【报错解决】AttributeError: module ‘radiomics‘ has no attribute ‘featureextractor‘
提取放射组学特征时，使用radiomics库报错
2024-04-08 20:59:12
438
原创 【Diffusion综述】医学图像分析中的扩散模型（二）
表1将综述的扩散模型论文根据其直接使用或受启发于 (1) DDPMs，(2)NCSNs，(3) SDEs的算法进行了分类。此外，表1突出了每个算法的关键概念和目标，并代表了在未来基于回顾论文的研究中可以调查和使用的实际用例。显然，调节反向扩散过程以获得期望输出是研究最多的方法之一。这个引导过程可以使用不同的约束类型来完成。
2024-04-02 10:11:15
5128
2
原创 【图像分割】nnUnetV1与V2的Linux部署与应用命令
以前觉得麻烦，一直没用过nnunet，虽然知道它很火，最近一个契机，部署使用了一下nnunet，记录一下其V1和V2版本的部署和使用的方法与命令。
2024-04-02 10:06:33
1907
8
原创 【Diffusion综述】医学图像分析中的扩散模型（一）
去噪扩散模型（Denoising diffusion models）是一类生成模型，最近在各种深度学习问题中引起了极大的兴趣。扩散概率模型定义了一个正向扩散阶段，在这个阶段中，输入数据通过加入高斯噪声在几个步骤中逐渐受到扰动，然后学习反向扩散过程以从有噪声的数据样本中恢复所需的无噪声数据。扩散模型因其强大的模式覆盖和生成样本的质量而被广泛赞赏，尽管其已知的计算负担。
2024-03-31 16:56:25
7215
1
原创 【创作纪念日】1024回忆录
不知不觉中，从创作第一篇文章到现在，已经1024天了，两年多的时间里，已经从硕士到博士了，1024，对于程序员来说，是个特别的数字吧，在此回忆与记录一下这些美好的经历吧。
2024-03-24 00:21:18
955
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人