选择回归模型的正确指标

Question

我一直使用r2 score指标。我知道那里有一些评估指标，我已经阅读了有关它的几篇文章。由于我仍然是机器学习的初学者。我仍然很困惑

1. 何时使用它们，取决于我们的情况，如果可以，请给我例子
2. 我读了this article，它说，r2 score不简单，我们需要其他东西来衡量模型的性能。这是否意味着我们需要多个评估指标才能更好地了解我们的模型性能？
3. 是否建议仅使用一个评估指标来衡量模型性能？
4. 从此article表示，了解我们的数据分布和我们的业务目标有助于我们了解选择适当的指标。那是什么意思？
5. 如何为每个指标知道该模型足够'好'？

Answer 1

对于像下面这样的回归问题，有不同的评估指标。

1. 均方误差（MSE）
2. 均方根误差（RMSE）
3. 平均绝对误差（MAE）
4. R²或测定系数
5. 均方百分比误差（MSPE）
6. 依此类推..

正如您提到的，您需要根据问题类型，要测量的内容以及数据的分布来使用它们。

1. 为此，您需要了解这些指标如何评估模型。您可以通过此blog post检查评估指标的定义和优缺点。
2. R²显示您的目的变量的哪些变化由独立变量描述。一个好的模型可以使R²得分接近1.0，但这并不意味着应该如此。 R²低的模型也可以提供低MSE的分数。因此，为了确保模型的预测能力，最好使用MSE，RMSE或除R²以外的其他指标。
3. 没有您可以使用多个评估指标。重要的是，如果您比较两个模型，则需要使用相同的测试数据集和相同的评估指标。
4. 例如，如果您想对不良预测进行过多惩罚，则可以使用MSE评估指标，因为它基本上可以衡量我们预测的平均squared误差，或者您的数据有太多异常值MSE给这个例子太多的惩罚。
5. 好的模型定义会根据您的问题复杂性而变化。例如，如果您训练一个预测头或尾并给出％49精度的模型，则此效果不够好，因为此问题的基准是％50。但是对于任何其他问题，％49的精度可能足以解决您的问题。因此，总而言之，这取决于您的问题，您需要定义或认为该阈值。