Xgboost与Gbdt的区别

GBDT以CART作为基分类器,CART以gini指数选择特征,gini指数越小,纯度越高。离散特征会依次将每个取值作为分割点计算gini系数,连续特征会依次将连续两个值的中间值作为分割点,将数据分割为S1和S2两部分,并计算该分割点的gini增益为S1和S2方差之和,随后选取gini增益最小的值作为分割点,并当做离线特征计算该特征的gini系数,最后取gini指数最小的作为最优特征与最优切分点。Xgboost还支持线性分类器,相当于带L1和L2正则化项的LR。 GBDT在优化时只用到一阶导数信息,Xgboost则对代价函数进行了二阶泰勒展开,同时用到了一阶和二阶导数,具有更高的精度。此外,