TensorFlow|对于TF2.0无法使用tf.contrib.layers.l2_regularizer的替代方法,使用tf.nn.l2_loss的替代方法
最近在对于MNIST数据集进行训练学习的时候会对L2正则化,但是对于稍微高级一点的版本中我们会发现说是因为contrib这个库不稳定,从而在高级一点的版本中删除了contrib这个库,如果想使用L2正则化就得用其他方法,从而发现一个近似的L2正则化的API,tf.nn.l2_loss,这个和tf.contrib.layers.l2_regularizerd 的区别在于什么地方呢?
L2正则化则是求参数的二维范数也就是欧氏距离,不要我们在使用的时候会将结果乘一个较小的值γ,我们的正则化损失则是计算这个东西,而对于tf.contrib.layers.l2_regularizerd,可以以如下这种形式计算
regularizerd_L2 = tf.contrib.layers.l2_regularizerd(0.01)
loss = regularizerd_L2(a)
这个0.01就是我们所要乘的这个值γ,但是实际上函数会自己除一个2以得到比较稳定的结果所以我们这个γ的真实值为0.005,同时我们还有一个函数tf.nn.l2_loss,这个也是计算L2正则损失,使用方法如下
loss = tf.nn.l2_loss(a)
计算二位范数实际上是把每个数单独平方之后开根号,和计算什么方差啊之类的有一点点像,但是tf.nn.l2_loss这个函数他只是平方之后,直接除以二,没有其他操作。那我们打个比方,所有的数的平方和为sum,那么上面的函数就是
(sum ** 0.5)* 0.5 *0.01
而对于下面的函数计算则是
【TensorFlow|对于TF2.0无法使用tf.contrib.layers.l2_regularizer的替代方法,使用tf.nn.l2_loss的替代方法】sum * 0.5
所以我们想要等效实现最上面的一段代码我们可以这样去改
loss = ((tf.nn.l2_loss(a) * 2) ** 0.5) * 0.5 * 0.01
0.01就是你在tf.contrib.layers.l2_regularizerd()中参数的值,对应修改即可
推荐阅读
- paddle|动手从头实现LSTM
- 人工智能|干货!人体姿态估计与运动预测
- 推荐系统论文进阶|CTR预估 论文精读(十一)--Deep Interest Evolution Network(DIEN)
- Python专栏|数据分析的常规流程
- Python|Win10下 Python开发环境搭建(PyCharm + Anaconda) && 环境变量配置 && 常用工具安装配置
- Python绘制小红花
- 读书笔记|《白话大数据和机器学习》学习笔记1
- Pytorch学习|sklearn-SVM 模型保存、交叉验证与网格搜索
- OpenCV|OpenCV-Python实战(18)——深度学习简介与入门示例
- python|8. 文件系统——文件的删除、移动、复制过程以及链接文件