42个激活函数的全面总结
2015 年 11 月，wikipedia的用户 Laughinthestocks 首次引入了“激活函数表”。从那时开始到现在，维基百科页面已经发生了 391 次更改。在本文中，我通过自己写的一个程序来挖掘截至 2022 年 4 月 22 日时维基百科页面历史中的每个唯一激活函数。本文还提供了针对激活函数的适当研究论文的附加链接，如果没有或者在无法找到特定研究论文的情况下，提供了相关的相关论文。
例如：通常人们会将 tanh 用于 FNN，将 ReLU 用于 CNN。
如果我们包括 Identity Activation 函数，这个列表将包含 42 个激活函数，这里面肯定有没有见过的。
Binary step
文章图片
公式
导数
文章图片
Logistic, sigmoid, or soft step
文章图片
公式：
文章图片
导数
文章图片
还有双极 sigmoid(1.f-expf(-x)) / (1.f + expf(-x))
ElliotSig 或 Softsign
文章图片
公式：
导数
双曲正切 (tanh)
文章图片
公式
文章图片
导数
Arctangent / Arctan / atan
文章图片
公式
导数
Softplus
文章图片
公式
导数
Rectified linear unit (ReLU) (ReLU6)
文章图片
公式
文章图片
导数
文章图片
Exponential linear unit (ELU)
文章图片
公式
导数
文章图片
Gaussian Error Linear Unit (GELU)
文章图片
公式
文章图片
导数
文章图片
Scaled exponential linear unit (SELU)
文章图片
公式
文章图片
导数
文章图片
Mish
文章图片
公式
导数
Leaky rectified linear unit (Leaky ReLU)
文章图片
公式
导数
文章图片
Parametric rectified linear unit (PReLU)
文章图片
公式
导数
文章图片
Parametric Exponential Linear Unit (PELU)
文章图片
公式
导数
文章图片
S-shaped rectified linear activation unit (SReLU)
文章图片
公式
文章图片
导数
Bipolar rectified linear unit (BReLU)
文章图片
公式
文章图片
导数
文章图片
Randomized leaky rectified linear unit (RReLU)
文章图片
文章图片
文章图片
Sigmoid linear unit (SiLU) or Swish
文章图片
文章图片
Gaussian
文章图片
Growing Cosine Unit (GCU)
文章图片
Shifted Quadratic Unit (SQU)
文章图片
文章图片
文章图片
Non-Monotonic Cubic Unit (NCU)
文章图片
文章图片
Shifted Sinc Unit (SSU)
文章图片
没有提供导数公式，参考论文：https://arxiv.org/pdf/2111.04...。
Decaying Sine Unit (DSU)
文章图片
文章图片
没有提供导数公式，请参考论文：https://arxiv.org/pdf/2111.04...
Phish
文章图片
没有提供导数公式，请参考论文：https://www.techrxiv.org/ndow...
SQ-RBF
文章图片
文章图片
Inverse square root unit (ISRU)
文章图片
文章图片
文章图片
Square nonlinearity (SQNL)
文章图片
文章图片
Sigmoid shrinkage
文章图片
“Squashing functions”
文章图片
文章图片
文章图片
文章图片
Maxout
文章图片
该函数导数为正负 无限
Bent Identity
文章图片
文章图片
文章图片
Sinusoid
文章图片
Sinc (taming the waves)
文章图片
文章图片
文章图片
ArSinH
文章图片
文章图片
Soft Clipping (goldilocks)
文章图片
文章图片
Piecewise Linear Unit (PLU)
文章图片
文章图片
文章图片
Adaptive piecewise linear (APL)
文章图片
文章图片
文章图片
Inverse Cubic
文章图片
文章图片
Soft Exponential
文章图片
文章图片
文章图片
LeCun hyperbolic tangent (42?)
文章图片
来自https://drive.google.com/view...
激活函数的wikipedia页面：
https://en.wikipedia.org/wiki...
最后说明，图太多了，如有遗漏或者错误，请留言
https://www.overfit.cn/post/18eb8aef0eb740c2a6c49bc43b833d1f
【42个激活函数的全面总结】作者：Fletch
推荐阅读
- 安装Ghost Win10专业版后系统未激活如何激活？
- Win8.1激活密钥分享 Win8.1各版本激活密钥大全
- Android中关于内部存储的一些重要函数
- excel图文详细教程之运用函数提取数字_Excel专区
- excel函数left与right的运用图文详细教程_其它办公
- python数据处理-matplotlib入门(2)-利用随机函数生成变化图形2
- 无语了从Ghost Win7升级Win10后无法激活
- 免激活雨林木风64位WIN10系统下载V201611
- 推荐系统之家Windows10 32位64位免激活专业版V1610
- Win8许可证过时怎样重新激活？