本文介绍了TensorFlow中三种常见的代价函数：二次代价函数、交叉熵代价函数和对数似然代价函数，并分别探讨了它们在不同情境下的适用性。通过梯度下降法调整权重参数，二次代价函数适用于线性输出，而交叉熵代价函数适合S型函数。在深度学习中，对数似然函数常与softmax一起用于多分类问题。在TensorFlow中，可以使用tf.nn.sigmoid_cross_entropy_with_logits和tf.nn.softmax_cross_entropy_with_logits实现。
代价函数：二次、交叉熵、对数似然（课程：炼数成金）
欢迎点亮star
文章目录
二次代价函数（quadratic cost）
C = 1 2 n ∑ x ∣ ∣ y ( x ) − a L ( x ) ∣ ∣ 2 C = \frac{1}{2n} \sum_x ||y(x) - a^L(x)||^2 C=2n1∑x∣∣y(x)−aL(x)∣∣2
- 其中，C表示代价函数，x表示样本，y表示实际值（label），a表示输出值（预测值），n表示样本的总数。
- 例：当样本为1时，即x,n=1：
C = ( y − a ) 2 2 C = \frac{(y-a)^2}{2} C=2(y−a)2
其中 a = σ ( z ) , z = ∑ W j ∗ X j + b a = \sigma(z), z = \sum W_j * X_j + b a=σ(z),z=∑Wj∗Xj+b；其中 σ ( ) \sigma() σ()是激活函数； 。 - 使用梯度下降法（Gradient descent）来调整权值参数的大小，权值W和偏置b的梯度推导如下：
∂ C ∂ w = ( a − y )
最低0.47元/天 解锁文章
扫一扫
5238
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
