#|动手学深度学习（3.14 正向传播、反向传播和计算图） #|深度学习

3.14 正向传播、反向传播和计算图前面几节里我们使用了小批量随机梯度下降的优化算法来训练模型。在实现中，我们只提供了模型的正向传播（forward propagation）的计算，即对输入计算模型输出，然后通过autograd模块来调用系统自动生成的backward函数计算梯度。基于反向传播（back-propagation）算法的自动求梯度极大简化了深度学习模型训练算法的实现。本节我们将使用数学和计算图（computational graph）两个方式来描述正向传播和反向传播。[https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter03_DL-basics/3.14_backprop](https://tangshusen.me/Dive-into-DL-PyTorch/#/chapter03_DL-basics/3.14_backprop)具体来说，我们将以带L2L2 L_2J称为有关给定数据样本的目标函数，并在以下的讨论中简称目标函数。
3.14.2 正向传播的计算图我们通常绘制计算图来可视化运算符和变量在计算中的依赖关系。图3.6绘制了本节中样例模型正向传播的计算图，其中左下角是输入，右上角是输出。可以看到，图中箭头方向大多是向右和向上，其中方框代表变量，圆圈代表运算符，箭头表示从输入到输出之间的依赖关系。
图3.6 正向传播的计算图 3.14.3 反向传播 【#|动手学深度学习（3.14 正向传播、反向传播和计算图）】反向传播指的是计算神经网络参数梯度的方法。总的来说，反向传播依据微积分中的链式法则，沿着从输出层到输入层的顺序，依次计算并存储目标函数有关神经网络各层的中间变量以及参数的梯度。对输入或输出X,Y,ZX,Y,Z \mathsf{X}, \mathsf{Y}, \mathsf{Z}?h?J?=prod(?o

#|动手学深度学习（3.14 正向传播、反向传播和计算图）

推荐阅读

车子低速起步咔咔响车辆低速行驶有咔咔响

快速提高情商的5大方法

mongodb参数 mongodb 函数性能

为什么斗鱼的服务器消失了？斗鱼怎么看不见服务器了

超好听的男生女生网名独特好听男生女生网名

龟苓膏和烧仙草的区别有什么

肠粉添加硼砂的比例请查看答案

jquery自适应位置，js自适应

联想电视屏幕出现竖线维修报价

香椿用热水烫完之后用过凉水吗

男性包皮过长是什么原因造成的

iphone14pro暗夜紫色，Iphone屏幕上方出现暗紫色圆圈

三星tab s6 lite 三星tab s

进天国的七大条件天国在哪里

加湿器里面可以加香薰精油吗

极左是什么意思极右是什么意思

牛皮

猪肉价格今日价最新价

新车贴车衣的好处和坏处有哪些新车贴车衣的好处和坏处

什么叫危机公关