LightGBM 的特征重要性

Question

我使用多种算法训练了一个模型，包括来自skicit-learn 的随机森林和LightGBM。这些模型在准确性和其他统计数据方面表现相似。问题在于这两种算法在特征重要性方面的行为不一致。我使用了默认参数，并且我知道它们使用不同的方法来计算特征重要性，但我认为高度相关的特征应该始终对模型的预测产生最大的影响。随机森林对我来说更有意义，因为高度相关的特征出现在顶部，而 LightGBM 则不然。有没有办法解释这种行为，并且 LightGBM 的结果是否值得信赖？随机森林特征重要性LightGBM 特征重要性与目标的相关性

Answer 1

我也有类似的问题。LGBM 的默认特征重要性基于“分裂”，当我将其更改为“增益”时，绘图给出了类似的结果。

Answer 2

嗯，GBM 通常表现得更好，尤其是与随机森林进行比较时。尤其是与 LightGBM 进行比较时。与随机森林相比，经过适当调整的 LightGBM 很可能在性能和速度方面获胜。

GBM的优点：

More developed. A lot of new features are developed for modern GBM model (xgboost, lightgbm, catboost) which affect its performance, speed, and scalability.

GBM的缺点：

Number of parameters to tune
Tendency to overfit easily

如果您不确定 LightGBM 的超参数是否正确调整，请坚持使用随机森林；这将更容易使用和维护。