- 博客(87)
- 收藏
- 关注
RSS订阅原创 Work【2】：PGP-SAM —— 无需额外提示的自动化 SAM！
和大家分享一下我们发表在ISBI 2025上的论文：。代码已经开源！！！期待您的 Star！！！PGP-SAMSegment Anything Model (SAM) 展现了强大且多功能的图像分割能力，并支持直观的提示交互。然而，将SAM定制应用于医学图像分割需要大量像素级标注和精确的点/框提示设计。为解决这些挑战，我们提出了PGP-SAM——一种基于原型的新型少样本调优方法，通过有限样本替代繁琐的手动提示设计。核心思想是利用类间和类内原型捕获类别特异性知识与关联关系。
2025-03-14 15:44:35
1457
2
原创 Diffusion【4】：DDIM
DDPM 在生成高分辨率图像的时候，需要的时间太长。DDIM 省去了其中一些不必要的步骤，实现生成速度的大幅度提升。本文主要侧重于对论文的翻译和部分解读，希望能粗略的带大家理解本文具体做了一个什么事情。若想理解每一步数学公式的推导建议仔细阅读苏剑林老师的博客。苏神博客**去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPMs）**是一类强大的生成模型，其构造基于正向的扩散过程和对应的反向去噪过程。
2024-11-24 10:45:00
1167
2
原创 Diffusion【3】：DDPM
DDPM 可以说是高分辨率图像生成的一个开端。本文主要侧重于对论文的翻译和部分解读，希望能粗略的带大家理解本文具体做了一个什么事情。若想理解每一步数学公式的推导建议仔细阅读苏剑林老师的博客。原论文链接：Denoising Diffusion Probabilistic Models原论文链接：苏神博客本文提出了一种称为 去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPM）的新型生成模型。这种模型通过一系列添加高斯噪声的步骤逐渐破坏训练数据，并通过
2024-11-23 11:00:00
942
1
原创 Diffusion【2】：VQ-VAE
VQ-VAE 在最近的许多生成模型中都有相关的应用，针对自回归模型的固有毛病，VQ-VAE 提出的解决方案是：先降维，然后再对编码向量用 PixelCNN 建模。本文主要侧重于对论文的翻译和部分解读，希望能粗略的带大家理解本文具体做了一个什么事情。若想理解每一步数学公式的推导建议仔细阅读苏剑林老师的博客。苏神博客问题背景在无监督学习中，获得“有用的表示”一直是一个关键问题。生成模型需要在学习数据的潜在结构（latent structure）的同时生成高质量样本。
2024-11-22 10:30:00
1088
1
原创 Diffusion【1】：VAE
VAE 可以说是最近大热的生成模型的重要基石。本文侧重对论文内容的翻译和一定程度上的解释。若想完全弄懂 VAE 的具体流程和数学公式推导，建议大家移步苏剑林老师的博客。苏神博客本文主要探讨了在概率模型中处理潜在变量推断的难点。后验分布的不可解性：当模型的后验分布无法通过解析或简单的数值方法计算时，标准方法如期望最大化（EM）或常规变分贝叶斯方法可能无法适用。大规模数据处理：面对大规模数据集时，传统的批量优化或采样方法（如MCMC）变得计算代价高昂。为了解决上述问题，作者提出了。
2024-11-21 10:01:17
413
1
原创 Detectron2 安装指南
Detectron2 是 Meta AI 的一个机器视觉相关的库，建立在 Detectron 和 maskrcnn-benchmark 基础之上，可以进行目标检测、语义分割、全景分割，以及人体体姿骨干的识别。许多优秀的项目都基于这个库实现，如果想要复现或者在此基础上修改，就需要先成功安装 Detectron2。本文是作者成功在自己服务器上安装的一次示范，有需要的朋友参考这个示范在自己的服务器上进行尝试。
2024-08-15 15:50:48
1985
3
原创 Work【1】：SDSeg——基于Stable Diffusion的单步扩散分割！
本文提出了 SDSeg，一个利用稳定扩散进行医学图像分割的新颖高效框架。我们引入了一种潜在估计策略，实现了单步潜在预测，从而消除了多步逆向过程的需求。模型采用串联潜在融合，将学习到的图像潜在有效地引导分割任务。此外，可训练的视觉编码器增强了模型学习图像特征并适应多样化图像模态的能力。SDSeg 在五个分割数据集上实现了最先进的性能，显著减少了训练资源需求，加速了推理过程，并保持了卓越的稳定性。
2024-07-15 12:45:23
2261
4
原创 服务器非 root情况下安装 ffmpeg
最近在实验室公用的服务器上配置环境的时候需要 ffmpeg 这个库，但是没有办法使用 sudo，同时也没有办法直接使用 pip 进行下载。为此记录一下从源代码编译的方法。
2024-05-19 10:59:38
1268
2
原创 Loss【1】：Focal Loss
类别不平衡是一个在目标检测领域被广泛讨论的问题，因为目标数量的多少在数据集中能很直观的体现。同时，在分割中这也是一个值得关注的问题，毕竟分割的本质是对像素进行分类。而处理类别不平衡一个非差常用的方法就是通过Focal Loss来引导模型更关注困难的类。Focal Loss是在标准交叉熵损失基础上修改得到的。相比它增加了容易和难分样本的权重，对于难分的样本增加权重，增加 loss 的贡献度；减少易分类样本的权重，使得模型在训练时更专注于难分类的样本。Focal Loss。
2024-04-02 15:44:55
1815
1
原创 深度学习环境指南【1】：Nvidia 驱动
本文作为深度学习环境指南系列的第一篇文章，主要讲解当你第一次拿到显卡完成装机后需要做的步骤，或者是显卡驱动不合适需要升级更新时需要执行的步骤。方法不完全，需要大家自己多尝试。Good Luck！
2024-02-03 21:14:05
2973
2
原创 FS【2】：CAT-Net
本文来自港科陈浩老师组发表在 MICCAI23 上的一篇有关 few-shot 在医学图像上的应用。方法简洁高效，可供参考。插一句题外话，医学图像做 few-shot 主要基于腹部器官的 3 个数据集，期待后续可以见到一些在更多数据集上更通用更有效的方法。本文提出了一种基于交叉掩码注意力的少样本医学图像分割新框架CAT-Net通过挖掘support和query图像之间的相关性，并限制模型仅关注有用的前景信息，来提高support和query特征的表达能力。
2024-02-03 12:00:00
1042
1
原创 MSA【5】：SAM-Med2D
由于医学图像和自然图像之间存在较大差异，以及缺少大规模医学图像基准数据集，这是导致AI在医学领域进展缓慢的原因之一。构建大规模基准数据集和可靠的基线模型，能够推动AI在医疗领域的快速发展，加速医疗向更通用的方向转变。上海 AI-Lab 提出了 SAM-Med2D，标志着大模型在医学图像分割的里程碑。SAM-Med2DSAM-Med2D：打破自然图像与医学图像的领域鸿沟，医疗版 SAM 开源了！SAM-Med2D构建了一个涵盖各种模式和对象的大规模医学图像分割数据集。
2024-01-26 11:47:35
1596
2
原创 FS【1】：SSP
这是一篇发表在 ECCV 2022 上的论文，对后续的许多 few-shot 方法都有着一定的启发作用。ECCV 2022 | SSP: 自支持匹配的小样本任务新思想现有的 few-shot 分割方法严重受限于所提供的少数几张照片支持对类内变化的覆盖范围。为此，本文提出了一种新颖的自支持匹配策略来缓解这一问题，该策略使用查询原型来匹配查询特征，其中查询原型是从高置信度查询预测中收集的。这种策略能有效捕捉查询对象一致的基本特征，从而恰当地匹配查询特征。
2024-01-10 17:39:35
1061
2
原创 MSA【4】：DeSAM
基于深度学习的自动医学图像分割模型经常会出现领域偏移的问题，即在源领域训练的模型不能很好地泛化到其他未见领域。为此本文提出 DeSAM，通过解耦 image embedding 和 prompt token 来提高 SAM 的效果基于深度学习的自动医学图像分割模型经常会出现领域偏移的问题，即在源领域训练的模型不能很好地泛化到其他未见领域Segment Anything Model（SAM）在提高医学图像分割的跨域鲁棒性方面展现出了潜力。然而，与人工提示相比，SAM。
2023-12-21 20:35:15
1168
2
原创 MSA【3】：SAMed
SAMed是基于大规模图像分割模型 Segment Anything Model (SAM) 构建的，旨在探索将大规模模型定制化应用于医学图像分割的新研究范式本文提出了医学图像分割的通用解决方案SAMed对SAM图像编码器采用基于低秩的微调策略（LoRA），并在标注的医学图像分割数据集上对其与提示编码器和掩码解码器一起进行微调Warmup微调策略和AdamW优化器使SAMed成功收敛并降低了损失与SAM不同，SAMed可以对医学图像进行语义分割。
2023-12-19 16:40:57
1886
1
原创 SAM【2】：Personalize-SAM
PerSAM作为一种无需训练的的个性化方法，仅使用一次性数据，即用户提供的图像和粗略的掩码来高效地定制SAM。但同时，PerSAM更像是一种对高效选择 prompt 的尝试，而并非对SAM进行微调，如果想要将PerSAM应用在自然图像以外的数据集中，可能不会是一个好的选择。尽管SAM具有通用性，但针对特定视觉概念定制SAM而无需人工提示的问题仍有待探索。本文为SAM提出了一种无需训练的个性化方法，称为PerSAM。在只给定一张带有参考掩码的图像的情况下，PerSAM首先通过位置先验（
2023-07-24 11:00:00
1033
4
原创 MSA【2】：Medical SAM Adapter
随着研究的深入，SAM被拓展到医学图像分割领域。但研究表明，直接将SAM用于医学图像分割，效果非常差。但医疗数据难以获取以及高昂的注释成本迫切的需要一个基础模型来打卡局面，不仅仅在图像分割层面，更是在数据注释方面。本文介绍了第一个将Adaption微调方法用于SAM的模型，该模型在 19 个数据集上都取得了惊人的效果。这为后续SAM的研究和 fine-tune 工作，提供了一个有效的参考和指导。最近的许多评测任务表明，SAM一个自然的问题是，如何将SAM。
2023-07-21 12:00:00
1528
1
原创 MSA【1】：Segment Anything Model for Medical Image Analysis: an Experimental Study
本文主要介绍了 Segment Anything Model 在自然图像分割领域取得显著成就后，较早的将 SAM 在医学图像领域做评测的工作。是一个在超过 10 亿个注释（主要是自然图像）上训练的基础模型，旨在以交互方式分割用户定义的感兴趣对象。尽管该模型在自然图像上的表现令人印象深刻，但目前尚不清楚该模型在转向医学图像领域时会受到怎样的影响。本文对SAM分割医学图像的能力进行了广泛的评估，评估对象包括来自不同模式和解剖学的 11 个医学影像数据集。研究表明，SAM。
2023-07-17 19:24:36
1038
2
原创 SAM【1】：Segment Anything
Segment Anthing 是 Meta 开源的第一个分割大模型，最近在 CV 领域掀起了一阵大模型热潮。短短几天时间内，各种二创、测评层出不穷。同时，Meta 公布了模型的Demo，让研究人员可以抢先体验SAM的神奇和强大之处。视觉大模型与自然语言大模型类似，它的主要目的是通过一个模型来解决用户的所有问题。受制于图像数据更广泛的图片类型和任务，目前 SAM 主要解决的是最传统也是应用最广泛的分割任务。SAM。
2023-06-25 08:59:49
1126
2
原创 图像预处理 Tricks【1】：Contours
轮廓可以简单地理解为连接所有连续点（沿物体边界）的曲线，这些点通常具有相同的颜色或强度。轮廓在图像分析中具有重要意义，是物体形状分析和对象检测和识别的有用工具，是理解图像语义信息的重要依据。本文主要介绍了在 opencv 中，一些重要的用于处理物体轮廓的方法。函数是 OpenCV 库的一部分，它被广泛用于计算机视觉任务。这个函数用于检测和寻找图像中的轮廓（边界）。通常，为了提高物体轮廓检测的准确率，首先要将彩色图像或者灰度图像处理成二值图像（灰度图）或者使用Canny。
2023-06-24 00:52:26
1145
1
原创 Parser 使用方法
本文主要记录了在深度学习中，使用别人写的代码时，用来接收用户在命令行里指定传入模型参数的重要方法parser同时，本文也给出了简易的示例，方便读者快速开始（只想了解如何使用的话可以直接跳到3. 使用方法和4. 示例一份简单的使用说明参考文档参考博客。
2023-05-01 15:48:25
5783
1
原创 Tossim 教程
本文主要用于记录在 WSN 课程中，配置大作业所需使用的 Tossim 仿真工具是TinyOS自带的一个仿真工具，可以支持大规模的网络仿真。由于TOSSIM运行和传感器硬件相同的代码，所以仿真编译器能直接从TinyOS应用的组件表编译仿真程序。通过替换TinyOS下层部分硬件相关的组件，TOSSIM把硬件中断换成离散仿真事件，由仿真器事件抛出的中断来驱动上层应用，其他的TinyOS组件尤其是上层的应用组件都无须更改。Tossim是一个库，你必须写程序配置仿真运行，TOSSIMPython和C++
2023-04-23 14:34:10
1735
2
原创 ML【3】：FPGroth Tree 算法
在Apriori算法原理总结中，我们对Apriori算法的原理做了总结。作为一个挖掘频繁项集的算法，Apriori算法需要多次扫描数据，I/O 是很大的瓶颈。为了解决这个问题，FP Tree算法（也称FP Growth算法）采用了一些技巧，无论多少数据，只需要扫描两次数据集，因此提高了算法运行的效率有关AprioriML【2】：Apriori 算法FP-growth算法的优点是它不需要生成候选项集，因此可以避免Apriori算法中的大量重复计算。另外，由于FP树的压缩性质，FP-growth。
2023-03-31 19:50:05
489
原创 ML【2】：Apriori 算法
频繁模式挖掘是一种数据挖掘技术，旨在发现数据集中出现频率较高的模式。这些模式可能是项目集中的频繁项集，或者是序列数据中的频繁子序列。常见的频繁模式挖掘算法包括Apriori算法、FP-growth算法等。这些算法可以在大规模数据集中高效地发现频繁模式，并提供支持度、置信度等指标来评估模式的重要性和可靠性。本文主要介绍了什么是频繁模式，和频繁模式常见的第一个算法Apriori算法。频繁模式指在一个数据集中频繁出现的模式（如一组项目、子序列、子结构等）
2023-03-31 16:27:50
461
1
原创 CV【5】：Layer normalization
对于早前的 CNN 模型来说，大多使用进行归一化，随着在计算机视觉领域掀起的热潮，开始被用于提升传统的 CNN 的性能，在许多工作中展现了不错的提升本文主要是对用法的总结参考资料1参考资料2。
2023-02-09 09:54:01
1293
1
原创 CV【4】：Batch normalization
对于早前的 CNN 模型来说，大多使用进行归一化，随着在计算机视觉领域掀起的热潮，开始被用于提升传统的 CNN 的性能，在许多工作中展现了不错的提升本文主要是对用法的总结和比较参考资料1参考资料2参考资料3。
2023-02-07 15:26:52
559
原创 CV-Model【8】：ConvNeXt
随着ViT在计算机视觉领域大放异彩，越来越多的研究人员将工作重心放在上，在计算机视觉领域上CNN难道真的要被完全取代吗？本文长篇分析并设计 CNN 架构的若干技巧，对照的设计理念，渐进式“现代化”改造ResNet，取得了良好的效果，对深度网络的设计具有较大的参考价值分层变形器（如）重新引入了几个 ConvNet 先验，使得 Transformer作为通用视觉骨干实际上是可行的，并在各种视觉任务中表现出显著的性能。然而，这种混合方法的有效性仍然主要归功于的内在优势，而不是的内在归纳偏见。
2023-01-31 20:00:00
1490
1
原创 MS-Model【2】：nnFormer
本文在医学图像分割领域中的另一个十分常用的基线网络 nnUNet 的基础上修改得到，在多器官分割任务（十项全能数据集）上取得了十分不错的成绩目前的方法要么不采用，要么使用的效率不够高，无法捕捉医学成像中的长期依赖性nnFormer不仅利用交错卷积和自我注意操作的结合，而且还引入了基于局部和全局体积的自我注意机制来学习体积表示。此外，nnFormer提出使用跳过注意力来取代传统的类似U-Net架构中跳过连接的串联/求和操作这项任务是对三维计算机断层扫描（CT）中捕获的不同器官进行分割可以说，
2023-01-28 21:20:41
2517
原创 MS-Model【3】：Medical Transformer
本文是 2021 年发表在 MICCAI 上的一篇文章，在当年的多项医学图像分割任务挑战中都获得了不错的成绩。本文主要介绍了这篇论文提出的 Medical Transformer 的结构及相关内容。卷积架构存在着固有的归纳偏差（归纳偏差指的是神经网络模型会产生具有偏好的预测结果，也就是说归纳偏差会使得学习算法优先考虑具有某些特定属性的解），它们缺乏对图像中长程依赖性的理解。文章提出了用 transformer 来做医学图像分割。
2023-01-25 16:22:18
1566
原创 Python【4】：eval() & exec()
eval()和exec()这一对函数的作用大致相当，简单来说都可以执行字符串中的数学表达式且exec()函数的作用比eval()更大。
2023-01-16 16:00:00
923
原创 Python【3】：格式化输出
在做题与实际应用中，经常会出现需要格式化（输出）字符串的情况，本文主要介绍 Python 格式化字符串的方法。
2023-01-15 20:46:54
2620
2
原创 MS-Model【3】：SA
本文主要记载有关脑室内出血（IVH）情况下的脑室分割情况，是较早的提出了有关解决这个问题的工作，本文的创新点也主要集中在将深度学习应用脑室内出血分割的领域。目标：本文重点讨论存在脑室内出血（IVH）下对脑室进行的分割主要方法：具体来说，本文采用每个切片的原始切片和切片的水平翻转作为输入，除了它们的分割损失外，还要惩罚相应分割图之间的一致性损失。IVH所形成的闭塞现象脑室内出血，即脑室周围的血管破了，导致有血液涌入脑室内。
2023-01-13 15:15:36
358
原创 Python【2】：list
列表 (List) 是 Python 中最基本的数据结构之一，在诸多场景中有着广泛的应用，本文对列表 (List) 的用法做详细说明。
2023-01-05 10:12:12
574
1
原创 Deep Learning for Medical Image Segmentation: Tricks, Challenges and Future Directions
本文旨在分析一下作为医学图像分割入门的综述，可以比较直观和全面的了解一些用于医学图像分割领域的 tricks。最近的医学图像分割领域其主要贡献往往侧重于网络架构，训练策略和损失函数方面的提升，而无意中忽略了一些边缘细节（也被称作技巧）。在这篇文章中，我们收集了不同模型实现阶段（即预训练模型、数据预处理、数据增强、模型实现、模型推理和结果后处理）的一系列医学图像分割的技巧。博客参考。
2022-12-29 18:19:04
705
原创 MS-Train【1】：nnUNet
nnUNet是德国癌症研究中心的工程师编写的框架，迄今为止依旧在维护和更新。本文主要记载 nnUNet 从安装到训练再到推理的过程。按照上面的流程执行一遍后，就可以得到属于你自己的 nnUNet 了！训练参考推理参考。
2022-12-27 14:47:14
1727
原创 MS-Train【2】：nnFormer
本文主要记载 nnFormer 从安装到训练再到推理的过程。nnFormer 的环境十分难配，训练和推理都是 2 行代码搞定，要想成功训练 nnFormer，首先得确保自己的环境配置的没有问题。按照上面的流程执行一遍后，就可以得到属于你自己的 nnFormer 了！参考资料。
2022-12-26 18:48:47
3610
12
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人