zf_miao的博客

原创 LeeDL Tutorial——3.1局部极小值与鞍点 笔记

鞍点则是一种更为特殊的情况，指的是在目标函数中存在一个点，该点的梯度为零，但是该点既不是局部最小值也不是局部最大值。这意味着在鞍点周围的区域中，目标函数的值有可能比鞍点本身更低，因此我们也不能简单地认为鞍点是一个无用的点。局部极小值指的是在目标函数中存在一个局部最小值点，即在该点附近的任意一点都会使得目标函数的值更大。在深度学习中，如果我们的模型陷入了局部极小值，意味着模型无法继续优化，从而影响模型的性能。在深度学习中，我们通常使用梯度下降等优化算法来寻找模型的最优参数。