如何在固定的置信度阈值下评估目标检测器的性能？

Question

我有一个物体检测器，现在我必须决定每个类别使用哪个置信度阈值。我如何确定每个类别的最佳置信度阈值是多少？ 一旦决定，我如何在给定的置信度阈值下评估这个模型？

每个人似乎都在使用 AP 的变体，虽然它在不同的置信度阈值下评估模型。

Answer 1

我假设置信度阈值是指接受检测的 IoU（交叉并集）的最小值。

如果是这样，使用验证集通过精度召回曲线确定最佳置信度阈值：

1. 在验证数据上应用对象检测器。
2. 按分数（或置信度）对预测进行排序。
3. 为顶级检测的每个子集计算精度/召回点。

所有的点都构成了一条 PR 曲线，每个点都为您提供给定置信度下的精确率和召回率值（有关更多详细信息，请参见此处）。

要确定哪个置信度阈值最适合您的应用程序，您必须选择与曲线上具有所需精度（或召回率）或两者之间权衡（例如真阳性与假阳性）的点相对应的值.

注意：PR 曲线下的面积是您的平均精度（AP）。