熟悉算法 --bagging & boosting

相同点：

都是将已有的分类器或回归算法通过一定的方式组合起来，形成一个功能更强大的分类器。说白了就是组装弱分类器，形成强分类器。

下面先分别介绍

Bagging (Boostrap aggregating)

套袋法，过程如下：

1. 从原始的 N 个样本中，有放回的抽取 K轮，每轮抽取 n(n<=N)个样本（因为有放回，所以可能重复），得到 k 个训练样本集
2. 用 k 个训练集可以训练 k 个独立的分类器 (模型)
3. 整体的分类结果由 k 个模型投票决定，回归问题取平均

Boosting

主要思想：将弱分类器组合成强分类器，在 PAC（概率近似正确）的学习框架下 [?!]，一定可以将弱分类器组合成强分类器。

两个问题：

1. 如何改变训练数据的权值或概率分布？
   在每一轮训练中，提高被弱分类器误分类的样本的权值，降低正确分类的样本的权值，从而提高模型对误分样本的识别效果？这里的误分应该指的是实际上是 TP/TN，却被识别错了？所以要增强权值，使其能够被正确分类？以提高后续分类过程中的识别效果。

2. 怎么组合弱分类器 ？
   加法模型线性组合
   AdaBoost 通过加权表决的方式，增大错误率小的分类器的权值，减小错误率大的分类器权值
   提升树 通过拟合残差的方式逐步减小残差，将每一步生成的模型叠加得到最终模型

整体来说二者的区别如下：

all:
整合的方式不一样，结果也不一样。总体来说会提高准确率，但是计算量会更大。

几个例子：

1. Bagging + 决策树 = 随机森林
2. AdaBoost + 决策树 = 提升树
3. Gradient Boosting + 决策树 = GBDT