3.多层感知机

目录

• • 1.感知机
  • • 训练感知机
    • XOR问题（Minsky&Papert 1969） AI的第一个寒冬
    • 总结
  • 2.多层感知机(MLP)
  • • 学习XOR
    • 单隐藏层（全连接层）
    • 激活函数：Sigmoid
    • 激活函数：Tanh
    • 激活函数：ReLu 最常用的 因为计算速度快
    • 多分类 结构是相同的，只是输出为k个而不是1个
    • 多隐藏层
    • 总结
  • 3.多层感知机的从零实现
  • 4.多层感知机的简洁实现
  • 5.模型选择
  • • 训练误差和泛化误差
    • 验证数据集合测试数据集
    • K-则交叉验证
    • 总结
  • 6.过拟合和欠拟合
  • • 模型容量
    • 估计模型容量
    • VC维（了解一下）
    • 线性分类器的VC维
    • VC维的用处
    • 数据复杂度
    • 总结
  • 7.权重衰退（Weight_decay） 处理过拟合的一种方法，效果不是很好
  • • 使用均方范数作为硬性限制，一般不使用
    • 使用均方范数作为柔性限制
    • 演示对最优解的影响
    • 参数更新法则 权重衰退
    • 总结
  • 8.丢弃法（Dropout），效果比权重衰退可能更好
  • • 无偏差的加入噪音
    • 使用丢弃法/暂退法（Dropout）
    • 总结
    • Dropout 代码实现
    • Dropout 代码简洁实现
  • 9.数值稳定性 梯度爆炸和消失
  • • 神经网络的梯度
    • 数值稳定性的常见两个问题
    • 梯度爆炸的例子
    • 梯度爆炸的问题
    • 梯度消失
    • 梯度消失的问题
    • 总结
  • 10.合理的模型初始化和激活函数 让训练更加稳定
  • • 让每一层的方差是一个常数
    • 权重初始化
    • 总接
  • 11.实战Kaggle比赛：预测房价
  • • 访问和读取数据集
    • 数据预处理
• “Dummy_na=True”将“na”（缺失值）视为有效的特征值，并为其创建指示符特征