predict_proba 如何与交叉验证一起使用？

Question

使用5折交叉验证创建模型时，会创建5个不同的模型。最终模型的选择可能会有所不同：

1. 5 倍创建模型中的最佳估计（或其他标准）模型或
2. 模型在所有数据集上进行训练时创建。

我理解交叉验证用于模型检查，而不是用于模型构建。那么当模型上使用

predict_proba

时，这个概率是如何定义的呢？您能否分享一些论文或文章，讨论如何通过交叉验证对 R 中的插入符和 Python 中的

sklearn

进行预测？

Answer 1

sklearn.model_selection.cross_val_predict

的文档清楚地表明您可以使用

method

参数指定预测方法，例如

method='predict_proba'

。

如果这样做，它只是在内部调用该方法而不是

predict

。结果是在交叉验证期间当每次折叠都是验证集时对目标进行的估计。

就其价值而言，我不会从得分最高的 CV 中选择模型。根据您的所有数据训练最终模型。