- 博客(8)
- 收藏
- 关注
RSS订阅原创 FTRL（跟随正则化领导者，Follow The Regularized Leader）
FTRL（跟随正则化领导者，Follow The Regularized Leader）是一种在线学习算法，适用于处理大规模稀疏数据。FTRL通过结合梯度下降和在线牛顿法（Online Newton Method）的优点来优化损失函数，同时使用正则化项来保持模型的稀疏性。该算法在每一轮迭代中，会尝试找到一个新的解，使得当前的损失函数加上正则化项达到最小值。FTRL在大规模稀疏数据和在线学习场景下表现较好，尤其是在处理CTR（点击通过率）预测等广告投放问题时。
2023-05-08 02:04:24
464
原创 Adam（自适应矩估计，Adaptive Moment Estimation）
在这个例子中，我们使用Adam算法来找到一个简单函数f(x) = x^2的最小值。首先，我们定义了一个Adam函数，输入包括目标函数（f）、其梯度（df）、初始点（x0）、学习率（learning_rate）、最大迭代次数（max_iter）、一阶矩系数（beta1）、二阶矩系数（beta2）、平滑项（epsilon）和收敛容差（tol）。然后，我们定义了示例函数f(x)及其导数df(x)。最后，我们调用Adam函数，求得最小值点。
2023-05-08 01:58:53
599
原创 RMSprop（均方根传播，Root Mean Square Propagation）
在这个例子中，我们使用RMSprop算法来找到一个简单函数f(x) = x^2的最小值。首先，我们定义了一个RMSprop函数，输入包括目标函数（f）、其梯度（df）、初始点（x0）、学习率（learning_rate）、最大迭代次数（max_iter）、衰减率（decay_rate）、平滑项（epsilon）和收敛容差（tol）。然后，我们定义了示例函数f(x)及其导数df(x)。最后，我们调用RMSprop函数，求得最小值点。
2023-05-08 01:56:35
854
原创 限制内存Broyden-Fletcher-Goldfarb-Shanno算法（Limited-memory BFGS，L-BFGS）
限制内存Broyden-Fletcher-Goldfarb-Shanno算法（Limited-memory BFGS，L-BFGS）是一种用于求解大型无约束优化问题的迭代方法。它是BFGS（Broyden-Fletcher-Goldfarb-Shanno）算法的内存优化版本，适用于处理大规模问题。L-BFGS通过近似海森矩阵的逆来更新解的估计值，但与BFGS不同，它仅存储有限数量的过去梯度和更新向量，从而减少存储和计算开销。
2023-05-08 01:49:25
620
原创 随机平均梯度下降（Stochastic Average Gradient Descent，SAG）
随机平均梯度下降（Stochastic Average Gradient Descent，SAG）是一种随机优化算法，用于求解大规模数据集的最优解。SAG的主要思想是将历史梯度的平均值作为梯度的估计。它结合了随机梯度下降（SGD）的计算效率和批量梯度下降（BGD）的收敛性。通过使用历史梯度的平均值，SAG能够在每次迭代时减小梯度估计的方差，从而加速收敛。
2023-05-08 01:46:34
769
1
原创 随机梯度下降（Stochastic Gradient Descent，SGD）
随机梯度下降（Stochastic Gradient Descent，SGD）是一种优化算法，用于最小化目标函数，尤其适用于大规模数据集。与批量梯度下降（Batch Gradient Descent）不同，SGD每次迭代只使用一个样本来计算梯度。这样可以减少计算开销，加速优化过程，同时也引入了随机性，有助于跳出局部最优。
2023-05-08 01:45:26
314
1
原创 梯度下降法（Gradient Descent）
在这个例子中，我们使用梯度下降法来找到一个简单函数f(x) = x^2的最小值。首先，我们定义了一个梯度下降法函数，输入包括目标函数（f）、其梯度（df）、初始点（x0）、学习率（learning_rate）、最大迭代次数（max_iter）和收敛容差（tol）。然后，我们定义了示例函数f(x)及其导数df(x)。最后，我们调用梯度下降法函数，求得最小值点。
2023-05-08 01:44:07
216
1
原创 Nesterov加速梯度（Nesterov Accelerated Gradient，NAG）
Nesterov加速梯度（Nesterov Accelerated Gradient，NAG）是一种用于优化问题的迭代算法，具有更快的收敛速度。NAG通过在梯度下降的更新步骤中引入“瞄准”项来实现加速。相比于标准梯度下降算法，NAG在每次迭代中考虑了上一次的更新，从而使梯度下降的方向更加精确，能够更快地接近目标函数的极小值。
2023-05-08 01:40:58
936
1
常用算法(python)
2023-05-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人