神经网络激活函数：sigmoid、tanh、ReLU、softmax
发布时间：2018-10-07 21:32,
浏览次数：874
, 标签：
sigmoid
tanh
ReLU
softmax
激活函数作用：
将权值结果转化成分类结果。常用于
* 逻辑回归(Logistic Regression)
* 神经网络(Neural Network)
这两处，激活函数都用于计算一个线性函数的结果。
*
sigmoid函数：
在机器学习中可用在分类问题上，如逻辑回归模型分类器，将输出值映射到(0,1)
总和为1，可以从概率角度理解，则输出时选择值最大的(概率最大)作为预测值
Sigmoid函数的导数是其本身的函数，即 f ′ (x)=f(x) (1?f(x) )
推导：
又
sigmod函数关于(0,0.5)成中心对称，值域为(0,1)与概率值[0,1]对应，因此可与概率分布联系起来
(sigmod函数由伯努利分布推出：对于分类问题，尤其是二分类，都假定服从伯努利分布)
*
softmax
用于多分类过程，把多个神经元输出值映射到(0,1)总和为1，可以从概率角度理解，则输出时选择值最大的(概率最大)作为预测值
*
tanh:双曲正切
奇函数，值域:(-1,1)
导数：f '(x)=1 - f(x)^2
()
*
ReLU
ReLU(x)=max(0, x)
加快了训练速度，克服了梯度消失(层数太大)问题
区别主要在负数端ReLU(x)=max(0, x),Softplus(x)=ln(1+ex):softplus 是对 ReLU 的平滑逼近的解析函数形式。
*
BP神经网络常用函数：
Log-sigmoid型函数的输入值可取任意值，输出值在0和1之间；tan-sigmod型传递函数tansig的输入值可取任意值，输出值在-1到+1之间；线性传递函数purelin的输入与输出值可取任意值。BP网络通常有一个或多个隐层，该层中的神经元均采用sigmoid型传递函数，输出层的神经元则采用线性传递函数，整个网络的输出可以取任意值。
logsig
tansig
tansig(n)=2/(1+exp(-2*n))-1
传输函数的选择，这个怎么说，假设你想预测的结果是几个固定值，如1,0等，满足某个条件输出1，不满足则0的话，首先想到的是hardlim函数，阈值型的，当然也可以考虑其他的。
假如网络是用来表达某种线性关系时，用purelin---线性传输函数；若是非线性关系的话，用别的非线性传递函数，多层网络时，每层不一定要用相同的传递函数，可以是三种配合，可以使非线性和线性，阈值的传递函数等
compet---竞争型传递函数；
hardlim---阈值型传递函数；
hardlims---对称阈值型传输函数；
logsig---S型传输函数
poslin---正线性传输函数；
purelin---线性传输函数；
radbas---径向基传输函数；
satlin---饱和线性传输函数；
satlins---饱和对称线性传输函数；
softmax---柔性最大值传输函数；
tansig---双曲正切S型传输函数；
【激活函数|激活函数 逻辑回归_神经网络激活函数（sigmoid、tanh、ReLU、softmax）】tribas---三角形径向基传输函数；
推荐阅读
- 机器学习|sklearn.linear_model.LogisticRegression模型参数详解与predict、predict_proba区别以及源码解析
- 机器学习（原理+实现）|(Datawhale)基于逻辑回归的分类预测