锐客网

  1. 首页 > 睿知 > it技术 > >

关于python损失函数代码的信息( 三 )

IT技术算法


2）弱学习算法：识别一组概念的正确率仅比随机猜测略好；
KearnsValiant证明了弱学习算法与强学习算法的等价问题，如果两者等价，只需找到一个比随机猜测略好的学习算法 ， 就可以将其提升为强学习算法 。
那么是怎么实现“知错就改”的呢？
Boosting算法，通过一系列的迭代来优化分类结果，每迭代一次引入一个弱分类器，来克服现在已经存在的弱分类器组合的shortcomings
在Adaboost算法中，这个shortcomings的表征就是权值高的样本点
而在Gradient Boosting算法中,这个shortcomings的表征就是梯度
无论是Adaboost还是Gradient Boosting，都是通过这个shortcomings来告诉学习器怎么去提升模型 ， 也就是“Boosting”这个名字的由来吧
Adaboost算法
Adaboost是由Freund 和 Schapire在1997年提出的，在整个训练集上维护一个分布权值向量W,用赋予权重的训练集通过弱分类算法产生分类假设（基学习器）y(x),然后计算错误率,用得到的错误率去更新分布权值向量w,对错误分类的样本分配更大的权值,正确分类的样本赋予更小的权值 。每次更新后用相同的弱分类算法产生新的分类假设,这些分类假设的序列构成多分类器 。对这些多分类器用加权的方法进行联合,最后得到决策结果 。
其结构如下图所示：
前一个学习器改变权重w，然后再经过下一个学习器，最终所有的学习器共同组成最后的学习器 。
如果一个样本在前一个学习器中被误分，那么它所对应的权重会被加重 ， 相应地，被正确分类的样本的权重会降低 。
这里主要涉及到两个权重的计算问题：
1）样本的权值
1 没有先验知识的情况下,初始的分布应为等概分布,样本数目为n,权值为1/n
2 每一次的迭代更新权值，提高分错样本的权重
2）弱学习器的权值
1 最后的强学习器是通过多个基学习器通过权值组合得到的 。
2 通过权值体现不同基学习器的影响,正确率高的基学习器权重高 。实际上是分类误差的一个函数
Gradient Boosting
和Adaboost不同，Gradient Boosting 在迭代的时候选择梯度下降的方向来保证最后的结果最好 。
损失函数用来描述模型的“靠谱”程度，假设模型没有过拟合 ， 损失函数越大，模型的错误率越高
如果我们的模型能够让损失函数持续的下降 ， 则说明我们的模型在不停的改进 ， 而最好的方式就是让损失函数在其梯度方向上下降 。
下面这个流程图是Gradient Boosting的经典图了，数学推导并不复杂 ， 只要理解了Boosting的思想，不难看懂
这里是直接对模型的函数进行更新，利用了参数可加性推广到函数空间 。
训练F0-Fm一共m个基学习器，沿着梯度下降的方向不断更新ρm和am
GradientBoostingRegressor实现
python中的scikit-learn包提供了很方便的GradientBoostingRegressor和GBDT的函数接口，可以很方便的调用函数就可以完成模型的训练和预测
GradientBoostingRegressor函数的参数如下：
class sklearn.ensemble.GradientBoostingRegressor(loss='ls', learning_rate=0.1, n_estimators=100, subsample=1.0, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_depth=3, init=None, random_state=None, max_features=None, alpha=0.9, verbose=0, max_leaf_nodes=None, warm_start=False, presort='auto')[source]?
loss: 选择损失函数，默认值为ls(least squres)
learning_rate: 学习率，模型是0.1
n_estimators: 弱学习器的数目，默认值100
max_depth: 每一个学习器的最大深度，限制回归树的节点数目，默认为3
min_samples_split: 可以划分为内部节点的最小样本数，默认为2

推荐阅读


上一篇：两个圆交叉圆的css样式，2个圆交叉求交叉部分面积

下一篇：鸿蒙系统审核已通过，鸿蒙系统审核通过了迟迟不推送