xgboost 具有稀疏矩阵数据和多项式 Y 的随机森林

Question

我不确定

xgboost

的许多不错的功能是否可以按照我需要的方式组合（？），但我想做的是在多个机器上运行具有稀疏数据预测器的随机森林类因变量。

我知道

xgboost

可以做其中任何一件事情：

• 随机森林通过调整

  xgboost

  参数：

  bst <- xgboost(data = train$data, label = train$label, max.depth = 4, 
                 num_parallel_tree = 1000, subsample = 0.5,
                 colsample_bytree =0.5, nround = 1, 
                 objective = "binary:logistic")
  

• 稀疏矩阵预测器

  bst <- xgboost(data = sparse_matrix, label = output_vector, max.depth = 4, 
                 eta = 1, nthread = 2, 
                 nround = 10,objective = "binary:logistic")
  

通过
• multi:softmax

  或 multi:softprob

  多项式
  （多类）因变量模型

  xgboost(data = data, label = multinomial_vector, max.depth = 4,
          eta = 1, nthread = 2, nround = 10,objective = "multi:softmax")
  

但是，当我尝试一次完成所有这些操作时，我遇到了关于不合格 length 的错误：

sparse_matrix     <- sparse.model.matrix(TripType~.-1, data = train)
Y                 <- train$TripType
bst               <- xgboost(data = sparse_matrix, label = Y, max.depth = 4, num_parallel_tree = 100, subsample = 0.5, colsample_bytree =0.5, nround = 1, objective = "multi:softmax")
Error in xgb.setinfo(dmat, names(p), p[[1]]) : 
  The length of labels must equal to the number of rows in the input data
length(Y)
[1] 647054
length(sparse_matrix)
[1] 66210988200
nrow(sparse_matrix)
[1] 642925

我得到的长度错误是将单个多类相关向量（我们称之为n）的长度与稀疏矩阵索引的长度进行比较，我相信它是j * n for j 预测因子。

这里的具体用例是 Kaggle.com 沃尔玛竞赛（数据是公开的，但默认情况下非常大——大约 650,000 行和数千个候选特征）。我一直在通过 H2O 运行多项式 RF 模型，但听起来很多其他人都在使用

xgboost

，所以我想知道这是否可能。

如果不可能，那么我想知道是否可以/应该单独估计因变量的每个水平并尝试得出结果？

Answer 1

这是正在发生的事情：

当你这样做时：

sparse_matrix     <- sparse.model.matrix(TripType~.-1, data = train)

您正在丢失数据中的行

sparse.model.matrix

默认无法处理NA，当它看到是1时，它会删除该行

原始数据中恰好有 4129 行包含 NA。

这是这两个数字之间的差异：

length(Y)
[1] 647054

nrow(sparse_matrix)
[1] 642925

这适用于前面的示例的原因如下

在二项式情况下：

它正在回收 Y 向量并补全缺失的标签。 （这很糟糕）

在随机森林案例中：

（我认为）这是因为我的随机森林从不使用以前的树的预测，所以这个错误是看不见的。 （这很糟糕）

外卖：

前面的例子都不能很好地训练

sparse.model.matrix

删除 NA，您会丢失训练数据中的行，这是一个大问题，需要解决

祝你好运！