归志宁无五亩园，读书本意在元元。这篇文章主要讲述李航统计学习方法--8. 提升方法(详细推导)相关的知识，希望能为你提供帮助。
目录- ??8.1.1 提升方法的基本思路??
- ??8.1.2 AdaBoost算法??
- ??8.2 AdaBoost算法的训练误差分析??
- ??8.3.1前向分步算法??
- ??8.3.2 前向分步算法与AdaBoost??
- ??8.4.1 提升树模型??
- ??8.4.2 提升树算法??
- ??8.4.3 梯度提升??
- 提升方法的基本思路:将弱可学习算法提升为强可学习算法
- 集成学习:序列方法和并行方法
- 集成学习: Bagging, Boosting, Stacking
- Bagging:每个预测器使用的算法相同,但是在不同的训练集随机子集上进行训练。采样时如果将样本放回,这时方法叫做 Bagging
- Boosting:可以将几个弱学习器结合成一个强学习器的集成方法,大多数提升方法的总体思路是循环训练预测器,每一次都对其前序做出一些改变。
8.1 提升方法AdaBoost算法8.1.1 提升方法的基本思路
朴素介绍：
- 提升方法基于这样一种思想:对于一个复杂任务来说,将多个专家的判断进行适当的综合所得出的判断,要比其中任何一个专家单独的判断好。实际上,就是“三个臭皮匠顶个诸葛亮”的道理。
几个概念
- 强可学习：在概率近似正确(probably approximatelycorrect, PAC)学习的框架中,一个概念(一个类),如果存在一个多项式的学习算法能够学习它,并且正确率很高,那么就称这个概念是强可学习的;
- 弱可学习：一个概念,如果存在一个多项式的学习算法能够学习它,学习的正确率仅比随机猜测略好,那么就称这个概念是弱可学习的。
- 强可学习与弱可学习是等价的
具体说来，整个Adaboost迭代算法就3步:
- 初始化训练数据的权值分布。如果有个样本，则每一 一个训练样本最开始时都被赋予相同的权值:。
- 训练弱分类器。具体训练过程中，如果某个样本点已经被准确地分类，那么在构造下一个训练集中，它的权值就被降低;
相反，如果某个样本点没有被准确地分类，那么它的权值就得到提高。然后，权值更新过的样本集被用于训练下一个分类器，整个训练过程如此迭代地进行下去。
- 将各个训练得到的弱分类器组合成强分类器。各个弱分类器的训练过程结束后，加大分类误差率小的弱分类器的权重，使其在最终的分类函数中起着较大的决定作用，而降低分类误差率大的弱分类器的权重，使其在最终的分类函数中起着较小的决定作用。换言之，误差率低的弱分类器在最终分类器中占的权重较大，否则较小。
8.1.2 AdaBoost算法
AdaBoost算法
【李航统计学习方法--8. 提升方法(详细推导)】输入: 训练数据集 , 其中
推荐阅读
