python机器学习——boosting集成学习

boosting集成学习boosting ：训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。通俗来说，对于基模型1，我们使用训练集X0X_0X0,Y0Y_0Y0来训练，得到预测结果Y0^\hat{Y_0}Y0^，然后我们将Y0−Y0^Y_0-\hat{Y_0}Y0−Y0

曹文杰1519030112

512人浏览 · 2020-08-06 11:20:43

曹文杰1519030112 · 2020-08-06 11:20:43 发布

boosting集成学习

boosting ：训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。
在这里插入图片描述
通俗来说，对于基模型1，我们使用训练集 $X_0$ , $Y_0$ 来训练，得到预测结果 $Y0^\hat{Y_0}$ ，然后我们将 $Y0−Y0^Y_0-\hat{Y_0}$ 得到残差 $Y_1$ ，然后继续利用 $X_1$ ( $X_1=X_0$ )和 $Y_1$ 训练基模型2，以此类推，最后在预测的时候只需要将所有基模型的预测结果相加就行了。这种训练框架的优点是每一个基模型都在修正前面模型的预测结果，这样训练误差就会比之前的模型进一步下降，一般认为boosting方法用于降低偏差（模型预测值与真实值的差距）。比较有代表性的算法就是adaboost。