第5章 神经网络
- 1、正向传播（预测）
- 2、反向传播（训练）
- 3、问题与技巧
以标准BP算法为例，对神经网络的正向传播、反向传播过程进行推导，同时提出使用神经网络算法时需要考虑的问题和一些技巧。
1、正向传播（预测）
文章图片
文章图片
2、反向传播（训练）
文章图片
文章图片
3、问题与技巧 （1）局部最优问题：训练多个神经网络，取最优；模拟退火；随机梯度下降；遗传算法
（2）过拟合问题：早停、正则化
（3）优化器：各种主流凸优化方法的归纳与总结。
https://blog.csdn.net/google19890102/article/details/69942970.
https://zhuanlan.zhihu.com/p/47453144.
（4）激活函数：增加神经网络的非线性分割能力。
文章图片
（5） 深度学习：基于深度神经网络的机器学习方法。
【机器学习|周志华《机器学习》笔记（五）——第5章 神经网络】（6）“层数多收敛慢”问题：预训练+微调；权值共享（CNN）。
推荐阅读
- 百度造车和RoboTaxi利好自动驾驶（不，利好茅台）
- 自动驾驶|全面解析特斯拉自动驾驶体系
- 机器学习（周志华）|《机器学习》（周志华） 第3章 线性模型 学习心得 笔记
- pytorch|图像上采样方法 - 插值 反卷积 反池化
- 卷积与反卷积，池化与反池化
- 语义分割|上采样、反卷积、上池化的区别
- 博文视点IT荐书吧|后深度学习时代，推荐系统向何处去（）
- 博文视点IT荐书吧|一本顶流著作和一次匠心翻译！《机器学习与资产定价》重磅上市
- 多传感器融合|多传感器融合课程笔记------多传感器融合之绪论