PyTorch中|PyTorch中 torch.nn与torch.nn.functional的区别
【PyTorch中|PyTorch中 torch.nn与torch.nn.functional的区别】原文链接
torch.nn
pytorch中文文档链接:torch.nn
在__init__()
函数里定义,定义的是一个类:
torch.nn.functional
pytorch中文文档链接:torch.nn.functional
在__forward()__
函数里定义,定义的是一个函数:
两者的区别
torch.nn中是一个定义的类,以class xx来定义的,可以提取变化的学习参数。
torch.nn.functional是一个函数,由def function( )定义,是一个固定的运算公式。
深度学习中会有很多权重是在不断更新的,所以需要采用类的方式,以确保能在参数发生变化时仍能使用我们之前定好的运算步骤。因此如果模型有可学习的参数,应该使用nn.Module,否则两个没有区别。但是简单的计算不需要新建一个类来做,所以使用nn.functional定义函数就可以。
即:层内有variable
的情况用nn
定义,否则用nn.functional
定义。
学习更多编程知识,请关注我的公众号:
代码的路
文章图片
推荐阅读
- 区块链合约安全系列(三)(如何认识及预防公链合约中的自毁攻击)
- Python中LSTM回归神经网络的时间序列预测
- PyTorch中|PyTorch中 nn.Conv2d与nn.ConvTranspose2d函数的用法
- vue3|vue3 解决 ESLint 各类型错误
- 胡适先生教你写日记
- {调取该文章的TAG关键词}|中美CPI有何不同?全球正在进入中长期通胀
- 麦林村我们的传奇(2)
- 1113
- 小幸运
- CAD绘图工具(AutoCAD 2020中文版(旧版本))