对于gbdt的一些理解

看了很多版本的解释,最后确定的理解是。
相对于lr每次用sgd算法迭代时,每条样本用此条样本的梯度来迭代。
gbdt每次迭代,实际上是用所有样本数据的残差重新进行一次训练,得到一个弱分类器。
而这个弱分类器的具体训练方法,是通过对每条样本的损失函数计算梯度,得到每条样本的梯度dj。
再用每条样本的梯度来拟合一颗决策树。
之后再对每条样本都计算步长。
最后得到每条样本的步长和经过决策树拟合的梯度之乘积,就是一个新的弱分类器。
【对于gbdt的一些理解】累加各个弱分类器,就得到了gbdt。

    推荐阅读