bagging和boosting及Adaboost的推导 bagging和boosting及Adaboost的推导

bagging：对训练样本进行自助采样，产生若干个不同的子集，再从每个数据子集中训练出一个基学习器，再将这些基学习器进行结合。 Bagging主要降低方差，同时由于各轮学习器之间相互独立，因此可以并行运行
Boosting：boosting是一族可将弱学习器提升至强学习器的算法。先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后在基于调整后的样本分布来训练下一个学习器。如此重复进行，直至基学习器数目达到事先指定的值T，最后将这T个基学习器进行加权结合。Boosting主要降低偏差，每个弱学习器都有相应的权重，学习误差小的学习器有较大的权重。
这里结合《机器学习》对Adaboost进行了详细的推导

image-20200407231847075.png image-20200407231928352.png