深度学习优化（三）参数和超参数的区别及其优化

参考：
https://blog.csdn.net/xue_csdn/article/details/96188241
https://blog.csdn.net/mzpmzk/article/details/80136958
https://blog.csdn.net/qq_20259459/article/details/70316511
https://blog.csdn.net/xue_csdn/article/details/98728613

参数：指根据输入的数据，通过学习过程得到的变量，如网络的权重w和偏置b。参数的优化参考深度学习参数优化方法总结：SGD，Momentum，AdaGrad，RMSProp，Adam

说到权重，又涉及到权重初始化。参考 https://segmentfault.com/a/1190000015388945
https://blog.csdn.net/konglong2017/article/details/83311840
https://blog.csdn.net/dugudaibo/article/details/77318847

超参数：人为地根据经验设定，如学习率、网络层数、网络层节点数、迭代次数等。

接下来主要介绍超参数的优化。

1. 网络层参数的设定

• 卷积核（filter）大小：一般是奇数，如1x1，3x3，5x5等
• 很多