page contents
首页 问答
正文

简单说一下GBDT的原理。

轩辕小不懂 发布于 2021-09-19 09:49
阅读 549
收藏 0
答案 1
分类：资源下载
默认排序 时间排序
1987
Nen
Nen
- 程序员

GBDT是boosting的一种方法，主要思想是每一次建立单个分类器时，是在之前建立的模型的损失函数的梯度下降方向。损失函数越大，说明模型越容易出错，如果我们的模型能让损失函数持续的下降，则说明我们的模型在持续不断的改进，而最好的方式就是让损失函数在其梯度的方向上下降。

GBDT的核心在于每一棵树学的是之前所有树结论和的残差，残差就是真实值与预测值的差值，所以为了得到残差，GBDT中的树全部是回归树，之所以不用分类树，是因为分类的结果相减是没有意义的。

Shrinkage（缩减）是GBDT的一个重要演进分支，Shrinkage的思想在于每次走一小步来逼近真实的结果，要比直接迈一大步的方式更好，这样做可以有效减少过拟合的风险。它认为每棵树只学到了一小部分，累加的时候只累加这一小部分，通过多学习几棵树来弥补不足。这累加的一小部分（步长*残差）来逐步逼近目标，所以各个树的残差是渐变的而不是陡变的。

GBDT可以用于回归问题（线性和非线性），也可用于分类问题。

请先 登录 后评论
轩辕小不懂
1 关注
 
轩辕小不懂
提出于 2021-09-19 09:49
全部

轩辕小不懂 的其他提问

类似问题