神经网络Loss损失函数总结

最新推荐文章于 2025-03-26 20:12:48 发布

__William__

最新推荐文章于 2025-03-26 20:12:48 发布

阅读量6.2w

点赞数 19

分类专栏： Machine Learning 文章标签： machine-learning 神经网络损失函数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/willduan1/article/details/73694826

版权

本文详细总结了多种常用的深度学习损失函数，包括Softmax交叉熵损失、Categorical Crossentropy、Binary Crossentropy、Weighted Crossentropy、Mean Square Loss、Hinge Loss、ROC AUC Score以及Contrastive Loss，分别介绍了它们的适用场景和计算公式，对于理解和优化神经网络模型至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这篇博文总结一下损失函数，这里重点总结一下常用的损失函数。
损失函数有很多，不得不说有很多人已经专门对比过了，比如ArXiv上面的这篇就很不错：
(https://arxiv.org/pdf/1702.05659.pdf)
(http://christopher5106.github.io/deep/learning/2016/09/16/about-loss-functions-multinomial-logistic-logarithm-cross-entropy-square-errors-euclidian-absolute-frobenius-hinge.html)

softamx cross entropy loss

softmax 交叉熵损失函数是我们常用的一种损失函数，其公式如下：

E (t, y) = - \sum j t j log y j

$E(t, y)=-\sum_j t_j \log y_j$
其中， t 和 y 分别表示神经网络的目标标签和输出，

yj $y_j$ 表示softmax损失函数：

y j = s o f t m a x (z j) = e z j \sum j e z j

$y_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}}$

需要注意的一点就是这个公式需要输入没有经过缩放变换的logits，还有就是使用本目标损失函数的时候不要在网络的最后一层使用softmax层或者激活函数，会导致结果不正确。

Categorical Crossentropy

交叉熵损失函数是也是常用的一种损失函数，它表示预测值y与目标值t之间的距离。主要应用在互相排斥的分类任务中，公式为：

H (y, t) = H t

最低0.47元/天解锁文章

评论 3

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。