Focal Loss介绍

论文：Focal Loss for Dense Object Detection 论文链接：https://arxiv.org/abs/1708.02002 优化版的MXNet实现：https://github.com/miraclewkf/FocalLoss-MXNet RBG和Kaiming大神的新作。 我们知道object detection的算法主要可以分为两大类：two-stag...

默认参数：γ=2、α=0.25（适用于大多数目标检测任务）极端不平衡：γ=3-5、α=0.9-0.99（如医疗图像罕见病变检测）监督强弱调整强监督（标注精准）：降低γ（1-2）弱监督（噪声较多）：提高γ（3-4）通过动态平衡难易样本的关注度，Focal Loss使模型在类别不平衡场景中仍能保持高效学习。实际应用中建议配合学习率衰减策略（如Cosine退火），并在验证集上监控精确率-召回率曲线来微调参数。

Focal Loss原理及代码实现

在实现FOCAL Loss时，需要注意选择合适的(\alpha)和(\gamma)值。一般来说，(\alpha)可以根据正负样本的比例进行调整，而(\gamma)则需要通过实验进行验证。其中，(p_t)是模型预测为真实类别的概率，(\alpha)是一个平衡因子，用于调整正负样本的权重，(\gamma)是一个调制因子，用于减少易分类样本的权重。FOCAL Loss的定义公式为：(FL(p_t) = -\alpha(1 - p_t)^\gamma \log(p_t))

转：https://zhuanlan.zhihu.com/p/266023273# 背景Focal loss是最初由何恺明提出的，最初用于图像领域解决数据不平衡造成的模型性能问题。本文试图从交叉熵损失函数出发，分析数据不平衡问题，focal loss与交叉熵损失函数的对比，给出focal loss有效性的解释。

一、交叉熵损失函数原理 提示：本文仅为自己学习过程记录，借录了很多大佬的东西，仅供自己以后知识点翻阅使用。 1.信息量 信息的定义是用来消除随机不确定性的东西。也就是说衡量信息的大小是看信息消除不确定性东西的程度。信息量的大小与信息发生的概率成反比。 设某一时间发生的概率为P(x)，其信息量表示为： I(x)=−log(P(x))I(x)=-log(P(x)) I(x)=−log(P(x)) 其中I(x)I(x)I(x)表示信息量，这里logloglog表示以e为底的自然对数。 2.交叉熵 信息熵：也称为熵

目标检测方法常常使用先验框提高预测性能，一张图像可能生成成千上万的先验框，但是其中只有很少一部分能匹配到目标(正样本)，而没有匹配到目标的先验框占大多数。这种情况造成了One-Stage目标检测方法的正负样本不平衡。 如下图所示，红色的先验框都没有匹配到目标，所以它们都属于负样本，只是图中间的黄色先验框匹配到目标，所以它们是正样本。显然，这里的正负样本严重失衡。 而对于two stage模型，比如Faster R-CNN这种two stage模型，第一阶段的RPN可以过滤掉很大一部分负样本，最终第二阶段的

【深度学习 | 计算机视觉】Focal Loss原理及其实践（含源代码）

参考自：https://www.aiuai.cn/aifarm636.html，这里讲的很清楚 Focal Loss 主要解决难分样本和易分样本的问题，即hard sample 和easy sample。那难分样本和易分样本是怎么定义的， 那么我们可以根据Pt来定义难易样本，即大的Pt是easy samples, 小的Pt为hard samples. 这是因为当标签为正样本时，P越...

文献参考：https://www.aiuai.cn/aifarm636.html 函数绘制参考：https://blog.csdn.net/zengbowengood/article/details/104369125 可视化简单解释：

大家都知道，one-stage的检测精度比不上two-stage,一个主要原因是训练过程样本不均衡造成的。那什么是样本不均衡？ 这里先记录下几个检测任务中的基本概念； 1、正样本：标签区域内部的图像区域，也就是目标图像块。 2、负样本：标签区域以外的图像区域，也就是背景区域。 3、易分正样本：容易正确分类的正样本，单个loss小，单数数量多，累计Loss大。 4、易分负样本：容易正确分类的负样本，单个loss小，单数数量多，累计Loss大。 5、难分正样本：错分成负样本的正样本，单个loss大，单数数量少，

focal loss的整体理解 focal loss 是一种处理样本分类不均衡的损失函数，它侧重的点是区分样本是否容易辨认，即给容易区分的样本添加较小的权重α1\alpha_1α1​，给难分辨的样本添加较大的权重α2\alpha_2α2​.那么，损失函数的表达式可以写为： Lsum=α1×L易区分+α2×L难区分L_{sum}=\alpha_1\times L_{易区分}+\alpha_2\times L_{难区分}Lsum​=α1​×L易区分​+α2​×L难区分​ 因为α1\alpha_1α1​小而α2\