Python培训和Spark部署

Question

是否有可能在python中训练XGboost模型并使用保存的模型在Spark环境中进行预测？

也就是说，我希望能够使用sklearn训练XGboost模型，保存模型。将保存的模型加载到spark中，并在spark中进行预测。这可能吗？

Answer 1

您可以使用spark-submit命令在spark上运行python脚本，以便可以在spark上编译python代码，然后可以在spark中预测值。