深度学习|深度学习常用概念过拟合|欠拟合|机器学习

线性回归连续常用激活函数 relu
常用损失函数 mse平方差
逻辑回归 0,1 分类(概率）常用激活函数sigmoid
常用损失函数交叉熵binary_crossentropy
softmax分类（概率）多分类，样本分量之和为1
常用损失函数交叉熵categorical_crossentropy(独热编码）,sparse_categorical_crossentropy（数字）
梯度下降法
致力于达到函数极值点的算法，损失函数增长最快的方向，梯度就是顺势函数相对参数变化率
学习速率：对梯度进行缩放的参数，太小慢太大震荡
多层感知器输入层隐含层输出层
反向传播计算梯度，链式法则
优化函数 optimizer实例化对象后传入，通过可以名称调用
SGD:随机梯度下降优化器
RMSprop：处理序列问题，RNN
Adam:结合两者，学习率0.001
网络优化和超参数选择网络容量：可训练参数多少，层，神经元个数
dropout抑制过拟合-减少网络规模… 过拟合：在训练数据上得分很高，测试数据上得分较低
欠拟合：在训练数据上得分比较低，测试数据上相对得分较低
dropout抑制过拟合：取平均，减少神经元之间复杂共适应关系
参数选择原则
1.开发一个过拟合模型
添加更多层，每一层更大，训练更多次
2.抑制过拟合（增加训练数据）
dropout 正则化图像增强
3.调节参数
学习速率，隐藏层单元数，训练次数
注意交叉验证
降低过拟合方法
从数据入手