page contents
首页 问答
正文

高度相关的特征带入逻辑回归到底有什么影响？为什么逻辑回归要将高度相关特征剔除？

轩辕小不懂 发布于 2021-09-17 16:13
阅读 1064
收藏 0
答案 1
分类：资源下载
默认排序 时间排序
1964
Nen
Nen
- 程序员

-在损失函数最终收敛的情况下，就算有很多相关度很高的特征，也不会影响模型的效果。假设一个特征将它重复100次，生成100个高度相关的特征。那么模型训练完之后，这100个特征和原来那一个特征扮演的效果一样，每一个特征的权重都是原来特征的1/100，只是可能中间很多特征的系数正负相互抵消了，比如做评分卡，如果引入了高度相关的特征，那么最后逻辑回归的系数符号可能就会不一致。

-虽然高度相关特征对模型结果没什么大的影响，但还是要剔除相关性高的特征，原因是一个可以减少特征数量，提高模型的训练速度，减少过拟合的风险。二是去掉高相关特征可以让模型的可解释性更好。尤其在做评分卡时，为了使最后每个特征的系数符号一致，必须做特征相关性筛选。

请先 登录 后评论
轩辕小不懂
1 关注
 
轩辕小不懂
提出于 2021-09-17 16:13
全部

轩辕小不懂 的其他提问

类似问题