Adanet内存不足

Question

我曾尝试在具有约1850个要素的数据集上对两个DNNEstimator（隐藏单元分别为1000,500,100）进行AutoEnsembleEstimator的训练（经过要素工程），但我一直用光了内存（即使在400G +高内存gcp上也是如此） vms）。

我正在使用以上代码进行二进制分类。最初，我训练了各种模型，并通过在训练后的模型上训练传统的集成分类器来组合它们。我希望Adanet可以简化生成的模型图，从而使推理更加容易，而不是为各种缩放器/ scikit模型/ keras模型提供单独的图/点。

Answer 1

您的整体中可能有太多DNN，如果max_iteration_steps太小而未设置max_iterations，则可能会发生（这两者都是AutoEnsembleEstimator的构造函数参数）。如果要为N步训练每个DNN，并且想要一个具有2个DNN的集合，则应设置max_iteration_steps=N，设置max_iterations=2并为AutoEnsembleEstimator步训练2N。