数值优化（经典随机优化算法及其收敛性与复杂度分析）
对于更复杂的模型（比如神经网络）和更复杂的优化方法（比如二阶方法），确定性优化方法的计算量会更大。那么如何解决这个问题呢？统计方法能给我们很大的帮助。虽然大数据的数据量和数据维度都很大，但我们可以通过对样本和维度进行随机采样来得到对更新量的有效估计或者替代。相应地，从确定性优化算法出发，我们可以开发出各种随机优化算法，如随机梯度下降法、随机坐标下降法、随机方差缩减梯度法、随机（拟）牛顿法等。注意，对于随机优化算法而言，收敛性分析与确定性算法不同，需要针对算法中的随机采样取期望。
推荐阅读
- 社区文章｜MOSN 构建 Subset 优化思路分享
- 润乾报表|多数据源报表性能优化方案
- Java6对synchronized的优化-锁升级过程详细过程
- 移动互联网|都说互联网大厂优化不断，员工规模为何不减反增？｜钛媒体深度
- 真厉害！1 秒写入 10 万条消息，Kafka 写得这么快，都是因为这些优化！
- 智能优化算法|智能优化算法（蜻蜓优化算法-附代码）
- 项目性能优化之用url-loader把小图片转base64，大图片使用image-webpack-loader压缩
- 程序分析与优化|程序分析与优化 - 7 静态单赋值（SSA）
- Vue项目打包优化实践指南(推荐!)
- 数学建模及Matlab|清风数学建模学习笔记 层次分析法Matlab代码实现及代码优化问题