python量化损失函数的简单介绍( 八 )


至此,我们完成了 XGBoost对目标函数的最优化过程 。且从本质上讲,这就是转化为一个二次函数最优化问题
十二、树节点分裂算法
下面我们需要关心XGBoost的基学习器—树到底长什么样子?
那么 一个节点应该怎么分裂? 就成为了接下来我们要探讨的关键
我们采取 贪心算法 来分裂树节点
关于Gain增益的计算,我们使用当前树的最小损失,用节点 分裂前 的损失值减去 分裂后 的损失值,作为按当前特征和候选点分裂的增益量化
按照贪心算法构建树,有下面两种构建方案
这里我们选取方案二进行建树剪枝
十三、XGBoost的算法步骤
从上面步骤可以看到,关键点是 树的构造和剪枝
十四、案例演示
下面我们用原生python来实现myXGBoost模型(不考虑并行计算)
训练样本集为
首先构造树节点类和方法
下面构造树模型类和方法
python量化损失函数的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于、python量化损失函数的信息别忘了在本站进行查找喔 。

推荐阅读