Nen 的回答 - 好学星城学习论坛

0 赞同

逻辑回归做分类的样本应该满足什么分布？

应该满足伯努利分布，逻辑回归的分类标签是基于样本特征通过伯努利分布产生的，分类器要做的就是估计这个分布。

回答于 2021-09-17 16:25

0 赞同

逻辑回归解决过拟合的方法有哪些？

-减少特征数量，在实际使用中会用很多方法进行特征筛选，例如基于IV值的大小，变量的稳定性，变量之间的相关性等。 -正则化，常用的有L1正则化和L2正则化。

回答于 2021-09-17 16:25

0 赞同

什么是特征的离散化和特征交叉？逻辑回归为什么要对特征进行离散...

-特征离散化是将数值型特征（一般是连续型的）转变为离散特征，例如评分卡中的woe转化，就是将特征进行分箱，再将每个分箱映射到woe值上，就转换为了离散特征。特征交叉也叫作特征组合，是将单独的特征进行组合，使用相乘/相除/笛卡尔积等形成合成特征，有助于表示非线性关系。比如使用One-Hot向量的方式进行特征交叉。这种...

回答于 2021-09-17 16:25

0 赞同

在逻辑回归中，为什么要常常做特征组合（特征交叉）？

逻辑回归模型属于线性模型，线性模型不能很好处理非线性特征，特征组合可以引入非线性特征，提升模型的表达能力。另外，基本特征可以认为是全局建模，组合特征更加精细，是个性化建模，但对全局建模会对部分样本有偏，对每一个样本建模又会导致数据爆炸，过拟合，所以基本特征+特征组合兼顾了全局和个性化。

回答于 2021-09-17 16:24

0 赞同

做评分卡中为什么要进行WOE化？

-更好的解释性，变量离散化之后可将每个箱体映射到woe值，而不是通常做one-hot转换。 - woe化之后可以计算每个变量的IV值，可用来筛选变量。 -对离散型变量，woe可以观察各个level间的跳转对odds的提升是否呈线性。 -对连续型变量，woe和IV值为分箱的合理性提供了一定的依据，也可分析变量在业务上的可解释性。 - 用woe...

回答于 2021-09-17 16:24

0 赞同

高度相关的特征带入逻辑回归到底有什么影响？为什么逻辑回归要将...

-在损失函数最终收敛的情况下，就算有很多相关度很高的特征，也不会影响模型的效果。假设一个特征将它重复100次，生成100个高度相关的特征。那么模型训练完之后，这100个特征和原来那一个特征扮演的效果一样，每一个特征的权重都是原来特征的1/100，只是可能中间很多特征的系数正负相互抵消了，比如做评分卡，如果引入了高...

回答于 2021-09-17 16:23

0 赞同

逻辑回归的特征系数的绝对值可以认为是特征的重要性吗？

首先特征系数的绝对值越大，对分类效果的影响越显著，但不能表示系数更大的特征重要性更高。因为改变变量的尺度就会改变系数的绝对值，而且如果特征是线性相关的，则系数可以从一个特征转移到另一个特征，特征间相关性越高，用系数解释变量的重要性就越不可靠。

回答于 2021-09-17 16:20

0 赞同

逻辑回归为什么要用极大似然函数作为损失函数？

-数据归一到0和1，这样的话梯度下降会收敛的更快，相比不归一化，不会出现扁平的情况。 -数据归一化之后可以提高结果的精度，尤其在与正则化同时使用时，数据归一化可以避免由于特征取值范围差距过大，对取值较小特征的参数影响更大的问题。

回答于 2021-09-17 16:20

0 赞同

简述一下决策树的原理以及树的构建过程。

决策树时基于树的结构进行决策的，学习过程包括特征选择，决策树的生成和剪枝过程。决策树的学习过程通常是递归地选择最优特征，并用最优特征对数据集进行分割。开始时，构建根节点，选择最优特征，该特征有几种值就划分为多少子集，每个子集递归调用此方法，返回结点，返回的结点就是上一层的子节点，直到所有特征都已经用...

回答于 2021-09-17 16:20

0 赞同

简述一下ID3，C4.5，CART三类决策树的原理和异同点。

ID3选择最佳分割点是基于信息增益的，信息增益越大，表明使用这个属性来划分所获得的“纯度提升”越大。C4.5对ID3进行了改进，因为ID3使用的信息增益对数据划分时，可能出现每个结点只包含一个样本，这些子节点的纯度已经达到最大，但是，这样的决策树并不具有泛化能力，无法对新样本进行预测。且ID3不能处理连续型变量和缺...

回答于 2021-09-17 16:19

3096 个回答