- 博客(9)
- 收藏
- 关注
RSS订阅原创 深度学习记录（Batch Norm）
BatchNorm的主要目的是加速神经网络的训练并提高模型的性能。在深度学习训练过程中，尤其是深层神经网络中，每层输入的数据分布可能会随着训练的进行而发生变化，这种现象被称为内部协变量偏移（Internal Covariate Shift）。BatchNorm通过在每一层的输入（通常是线性变换之后，激活函数之前）应用规范化处理来减轻这个问题。BatchNorm是一种有效的深度学习技术，它通过规范化神经网络的输入数据来加速训练过程、提高模型性能并减少过拟合。
2024-07-22 10:24:10
2278
1
原创 深度学习记录（指数加权平均）
指数加权平均的公式如下：Vt 是第 t 天的指数加权平均值。β 是一个介于 0 和 1 之间的超参数，用于控制平滑程度。β 越接近于 1，则 Vt 越平滑（即越依赖于过去的数据），反之则越不平滑（即越依赖于当前的数据）。Vt−1 是第 t−1 天的指数加权平均值。θt 是第 t 天的实际观测值。(1−β) 是权重，表示当前观测值 θt 对 Vt 的影响程度。
2024-07-22 10:21:01
258
原创 深度学习记录（Adam梯度下降算法和RMSprop算法）
在每次迭代中，RMSprop算法会计算当前梯度的平方，并将其与之前的梯度平方的指数加权移动平均值进行加权平均。然后，算法使用这个加权平均值来调整学习率，使得对于梯度较大的参数，学习率会减小，以避免参数更新过快导致的震荡；Adam算法是在梯度下降算法（SGD）的基础上，结合Momentum和RMSprop算法的优点提出的。总的来说，RMSprop算法通过自适应地调整学习率，解决了传统梯度下降算法中学习率选择困难的问题，提高了深度神经网络的训练效率和效果。
2024-07-22 09:55:50
2298
原创 深度学习记录
归一化是指通过某种算法将输入数据或神经网络层的激活值处理后限制在我们需要的特定范围内。它的主要目的是统一样本的统计分布，使得数据处理更为方便，并加快训练过程的收敛速度。
2024-07-22 00:55:14
491
原创 深度学习记录（梯度下降）
梯度下降是一种通过迭代地调整模型参数来最小化损失函数的优化算法。在每一次迭代中，梯度下降计算目标函数（损失函数）对参数的梯度，并沿着梯度的反方向更新参数，以此逐渐逼近损失函数的最小值。
2024-07-22 00:51:08
944
原创 c++快速排序
/ 从左往右找第一个大于等于基准值的元素。// 从右往左找第一个小于基准值的元素。// 将大于等于基准值的元素放到右边。// 将小于基准值的元素放到左边。// 对右边的元素进行快速排序。// 对左边的元素进行快速排序。
2023-03-20 20:43:02
62
原创 2021-05-14
简单的飞机大战#include<stdio.h>#include<stdlib.h>#include<conio.h>#include<windows.h>//全局变量int position_x,position_y;//飞机位置int bullet_x,bullet_y;//子弹位置int enemy_x,enemy_y;//敌机位置int high,width; //画面尺寸int score;void gotoxy(int x
2021-05-14 17:34:46
91
1
原创 2021-05-14
简单的弹跳小球#include<stdio.h> #include<stdlib.h>// 清屏函数所需头文件#include<windows.h>int main() //弹跳小球{ int i,j; int x=1;//竖直方向 int y=20;//水平方向 int velocity_x=1;//速度 int velocity_y=1; //小球运动范围 int left=0; int right=20; int top=0;.
2021-05-14 09:07:47
81
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人