至此,我们完成了 XGBoost对目标函数的最优化过程 。且从本质上讲,这就是转化为一个二次函数最优化问题
十二、树节点分裂算法
下面我们需要关心XGBoost的基学习器—树到底长什么样子?
那么 一个节点应该怎么分裂? 就成为了接下来我们要探讨的关键
我们采取 贪心算法 来分裂树节点
关于Gain增益的计算,我们使用当前树的最小损失,用节点 分裂前 的损失值减去 分裂后 的损失值,作为按当前特征和候选点分裂的增益量化
按照贪心算法构建树,有下面两种构建方案
这里我们选取方案二进行建树剪枝
十三、XGBoost的算法步骤
从上面步骤可以看到,关键点是 树的构造和剪枝
十四、案例演示
下面我们用原生python来实现myXGBoost模型(不考虑并行计算)
训练样本集为
首先构造树节点类和方法
下面构造树模型类和方法
python量化损失函数的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于、python量化损失函数的信息别忘了在本站进行查找喔 。
推荐阅读
- u盘推荐什么牌子,u盘什么牌子好 速度快
- html5元素块元素,html5article元素
- 团体角色扮演游戏,角色扮演游戏活动
- 移植常用命令到linux linux riscv移植
- 监控是什么样子视频,监控是什么样子视频播放器
- 手机版玩赛车的游戏有哪些,手机版玩赛车的游戏有哪些软件
- excle大文件转pdf,excel文件转为pdf
- Java实现计算代码 java计算算式
- 新媒体发展如何,新媒体的新发展