Keras-人工神经网络--随机梯度下降法
一、概念
人工神经网络是是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。这种模型可以适用于分类与回归。
神经网络的优点：可以把非线性做的特别好，拟合能力特别强，只要宽度足够大，深度足够深，神经网络就可以拟合任何非线性的映射。
神经网络的缺点：比较耗费资源，而且容易过拟合。
神经网络主要应用： 图像识别，语音识别，自然语言处理等。
人工智能领域有个概念，叫深度学习，深度学习的基础就是深度神经网络。
二、人工神经网络算法
人工神经网络主要有两种算法：
1.反向传播算法（函数PyBrain()）
第一步，前向计算，确定人工神经网络结构，参数都附上随机值，不管这些值是多少，先把特征都输入。比如有三个输出，不管输出是多少，先得到计算的值。
第二步，计算误差。假如要计算的是1，0， 0；结果是0.2，误差就是0.8；中间的是0.3，误差就是0.3；最后的是0.8，误差就是0.8；
第三步，反向单层调整。梯度调整的过程，根据误差调整离输出层最近的一层的系数，利用梯度下降进行调整；
第四步，传播。调整好后再调整下一层，一层层调整，直到进行一轮计算完成后，调整结束；然后不断进行迭代，直到模型达到收敛（条件为达到一定误差范围内就是收敛，也可以设置迭代次数，只要迭代次数到了，也可以认为是收敛的）
文章图片
反向传播算法 2.随机梯度下降法（Stochastic Gradient Decent）
每次调整权值时，选取部分样本进行梯度下降。
好处：收敛更快，计算更少
缺点：容易陷入局部最优
三、应用神经网络注意事项
1.易受离群点影响，易过拟合。这是回归类模型的一个通病，处理方法是正则化或者dropout。dropout就是在神经网络每层随机选择几个不同的节点，组成多个神经网络模型，通过投票选择最终的值，对于回归模型可以取平均。
2.属性与结果要在0~1之间。而且结果是one-hot形式存在的
【Keras-人工神经网络--随机梯度下降法】3.输出结果要进行softmax转化。即让所有输出值的加和恒等于1，这样每个输出值就代表这个输出的概率。
文章图片
dropout示意图 四、代码实现（部分代码）
文章图片
神经网络模型 说明：这里用了adam优化器，也是随机梯度优化器的一种，计算速度比SGD更快；在拟合效果不理想的情况下，可以调整迭代次数nb_epoch 或 增加样本数量batch_size，可以通过更改优化器optimizer（比如将sgd改为adam），也可以调整学习率lr，但是lr相当于梯度下降里的α，学习率越大意味着很可能拟合不到最优点，所以lr不能取太大；所以这里用了增加迭代次数和随机抽样数量的方法，以达到最优效果。
源代码：
from keras.models import Sequential
from keras.layers.core import Dense,Activation
from keras.optimizers import SGD
mdl = Sequential()
mdl.add(Dense(50,input_dim=len(f_v[0])))
mdl.add(Activation('sigmoid'))
mdl.add(Dense(2))# 输出维度设定
mdl.add(Activation('softmax'))
sgd = SGD(lr=0.05)
mdl.compile(loss="mean_squared_error",optimizer="adam")
mdl.fit(X_train,np.array([[0,1] if i == 1 else [1,0] for i in Y_train]),nb_epoch=20000,batch_size=8999)
# nb_epoch 表示迭代的次数，合理取值； batch_size 随机梯度算法每次选取的数量，由于本样本数据量不是很大，所以取全部训练集
xy_lst = [(X_train,Y_train),(X_validation,Y_validation),(X_test,Y_test)]
for i in range(len(xy_lst)):
X_part = xy_lst[i][0]
Y_part = xy_lst[i][1]
Y_pred = mdl.predict_classes(X_part)
print(i)
print("NN",'--ACC',accuracy_score(Y_part,Y_pred))
print("NN",'--REC',recall_score(Y_part,Y_pred))
print("NN",'--F_score',f1_score(Y_part,Y_pred))
return
推荐阅读
- 人工智能|干货！人体姿态估计与运动预测
- 通过人工大脑刺激来检测神经网络中的后门
- 深度学习|深度学习笔记总结
- 人工智能|【机器学习】深度盘点（详细介绍 Python 中的 7 种交叉验证方法！）
- 人工智能真的可以取代人吗
- 神经网络Neural|神经网络Neural Networks
- 德宇创星DUY-人工智能——!!|德宇创星DUY-人工智能——!! 你想像不到的地方
- 人工智能与智能系统3->|人工智能与智能系统3-> 机器人学3 | 移动机器人平台
- python深度学习实现自编码器Autoencoder神经网络异常检测心电图ECG时间序列
- 人工智能|hugginface-introduction 案例介绍