神经网络介绍-激活函数、参数初始化、模型的搭建

1、深度学习了解

1.1 深度学习简介

机器学习：获取数据–特征提取–分类器–输出
深度学习：获取数据–深度学习 --输出
深度学习是机器学习的一个子集，不需要手工设计特征，可解释性差，效果好
应用场景：图像识别、语音识别、机器翻译、自动驾驶

发展历史：
1989年：反向传播算法
2012年：李飞飞imageNet首次使用深度学习
2019年：transformer

1.2 神经网络

神经网络：人工神经网络，是一种模仿生物神经网络结构和功能的计算模型。
神经元之间传递复杂的电信号，树突接收到输入信号，然后对信号进行处理，通过轴突输出信号
神经网络：对每个神经元的输入进行加权和，送入激活函数后进行输出
输入层：对应的输入数据
隐藏层：输入与输出之间的
输出层：获取输出的

特点：
1，每一层的神经元之间没有连接
2，当前层的输入是上一层神经元的输出
3，数据传输过程：输入->隐藏层->输出层

神经元工作：
对每个人神经元的输入进行加权和，送入激活函数后进行输出

2、神经网络的工作流程

2.1 激活函数

激活函数作用：向神经网络中引入非线性因素
通过激活函数，神经网络可以拟合各种曲线。如果不用激活函数，每一层输出都是上一层输入的线性函数。

2.1.1 Sigmoid/Logistics函数

处处可导
在x足够小或者足够大的时候，导数为0，在反向传播的过程中，导致了向低层传递的梯度也变得⾮常⼩。此时，⽹络参数很难得到有效训练。这种现象被称为梯度消失。
sigmoid一般只用于二分类的输出层。将神经网络的输出结果送入Sigmoid，输出概率值

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt

x = np.linspace(-10,10,1000)
y = tf.nn.sigmoid(x)
plt.plot(x,y)
plt.grid()

2.1.2 tanh（双曲正切曲线）

上面的sigmiod曲线的中心点不在原地，所以出现了tanh

y范围：-1到1
tanh函数是以0为中心的，收敛速度比sigmoid快(更陡峭)，减少迭代次数，两侧的导数为0，同样会造成梯度消失。
使用时，可在隐藏层使用tanh函数，在输出层使用sigmoid函数

x = np.linspace(-10,10,100)
y = tf.nn.tanh(x)
plt.plot(x,y)
plt.grid()

2.1.3 RELU

ReLU是目前最常用的激活函数，
在x<0时，ReLU导数为0，落入小于0区域时，权重无法更新，这种称为“神经元死亡”，缓解过拟合问题
在x>0时，是其本身，缓解梯度消失问题
与sigmoid相比，RELU的优势：
1，采用sigmoid函数时计算量大，而采用Relu时，计算量会节省很多
2，sigmiod容易出现梯度消失问题，从而无法完成深层网络的训练
3，Relu会使得一部分神经元的输出为0，造成网络的稀疏性，减少了参数的相互依存关系，缓解过拟合问题

x = linespace(-10,10,100)
y = tf.nn.relu(x)
plt.plot(x,y)
plt.grid()

无脑使用relu