GBM vs XGBoost：GBM为什么表现更好？

Question

我最近将模型扩展到包括多个模型，包括跨不同超参数和功能组的GBM和XGBoost。我的期望是XGBoost的性能会更好，但是我已经看到GBM在以下各项方面始终表现更好：精度，召回率和F1。差异总是大于2％

Typical GBM parameters: 
{'learning_rate': [0.1, 0.2, 0.5], 'max_depth': [5], 'n_estimators': [10,100], 'subsample': [0.8]}
XGB Parameters:
{'gamma': [0.5], 'learning_rate': [0.1], 'max_depth': [3,9,15]}

GBM表现更好的原因可能是什么？换句话说，GBM何时比XGB表现更好？

Answer 1

ML方法更适合/更不适合特定的数据集。您的问题并不真正适合此论坛，但是Nielsen, D. (2016). Tree boosting with xgboost-why does xgboost win" every" machine learning competition?将以正确的方向开始您的研究。