tensorflow|深度学习 ——回归预测Tips tensorflow|深度学习

深度学习 ——回归预测Tips

【tensorflow|深度学习 ——回归预测Tips】预测增减偏移量或预测比值比直接预测数值更容易。
预测偏移量方式:
(1) 从起始处预测，使用sigmoid(0,1)/relu(0,1)，sigmoid函数更倾向于预测0。
(2) 从中间处预测，使用tanh(-1,1)
总结：对比sigmoid，relu，tanh做过实验，sigmoid的效果最好
校正模块
将预测结果在激活函数(如果有）之前的向量放入一个浅层校正模快中进行校正，校正的方式可以是：
- 乘以一个旋转矩阵，可以经过全连接层直接得到结果，效果不错。
- 加上一个偏移量，可以通过全连接层预测一个偏移量，再与原来的预测结果相加。重点！不限于用最后一层向量，可以用前面的特征层，做过实验，用卷积之后的特征向量能进行更精准的校正。
- 两者结合，效果更好！
全连接神经元个数设置
- 经过卷积提取特征后再flatten的特征向量（一般不会太小），后面接的全连接层神经元数量大概缩小10倍。
- 为了缩小模型，经过卷积提取特征后的特征向量可以通过全连接层缩小特征向量，第一层也大概缩小10倍，后面大概2倍以内。
- 层数多的优势大于数量多。
- 处于中间位置并且相邻全连接层神经元数量越接近（2倍以内），效果越好。如：96->128可能优于96->1024。
- 没有经过卷积的特征向量，后面可以接暴力的全连接层1024/2048/4096等。

tensorflow|深度学习 ——回归预测Tips