两次检测之间的交叉联合

Question

我正在阅读论文：Ferrari et al.在“亲和力测量”部分。我明白法拉利等人。试图获得亲和力：

1. 位置亲和力 - 使用两个检测之间的交叉结合区域
2. 外观亲和力 - 使用直方图之间的欧几里德距离
3. KLT点亲和力测量

但是，我有两个主要问题：

1. 我无法理解2次检测之间交叉结合的实际含义以及如何计算它
2. 我尝试了一个略有差异的外观亲和力测量我将RGB检测转换为HSV ..将Hue和Saturation连接成1个向量，并用它与其他检测进行比较。然而，使用该技术失败，因为袋子的检测具有比检测同一个人的头部（具有不同取向）更好的相似性得分。

对上述问题的任何建议或解决方案？谢谢你，非常感谢你的帮助。

Answer 1

1）您有两个重叠的边界框。您计算框的交集，这是重叠的区域。您计算重叠框的并集，即整个框的面积减去重叠面积的总和。然后用联合划分交叉点。计算机视觉系统工具箱中有一个名为bboxOverlapRatio的功能。

2）通常，您不希望连接颜色通道。您想要的是3D直方图，其中尺寸为H，S和V.

Answer 2

尝试在Union上交叉

Union on Union是一种评估指标，用于衡量特定数据集上对象检测器的准确性。

更正式地说，为了应用Intersection over Union来评估（任意）对象检测器，我们需要：

1. 地面实况边界框（即，手动标记来自测试集的边界框，用于指定图像在我们的对象中的位置）。
2. 我们模型中预测的边界框。

下面我已经包含了一个地面真实边界框与预测边界框的视觉示例：

预测的边界框用红色绘制，而地面实况（即手工标记）边界框用绿色绘制。

在上图中，我们可以看到我们的物体探测器已经检测到图像中存在停止符号。

因此，可以通过以下方式确定计算联盟的交叉点：

只要我们有这两组边界框，我们就可以在Union上应用Intersection。

这是Python代码

# import the necessary packages
from collections import namedtuple
import numpy as np
import cv2

# define the `Detection` object
Detection = namedtuple("Detection", ["image_path", "gt", "pred"])

def bb_intersection_over_union(boxA, boxB):
    # determine the (x, y)-coordinates of the intersection rectangle
    xA = max(boxA[0], boxB[0])
    yA = max(boxA[1], boxB[1])
    xB = min(boxA[2], boxB[2])
    yB = min(boxA[3], boxB[3])

    # compute the area of intersection rectangle
    interArea = (xB - xA) * (yB - yA)

    # compute the area of both the prediction and ground-truth
    # rectangles
    boxAArea = (boxA[2] - boxA[0]) * (boxA[3] - boxA[1])
    boxBArea = (boxB[2] - boxB[0]) * (boxB[3] - boxB[1])

    # compute the intersection over union by taking the intersection
    # area and dividing it by the sum of prediction + ground-truth
    # areas - the interesection area
    iou = interArea / float(boxAArea + boxBArea - interArea)

    # return the intersection over union value
    return iou

gt和pred是

1. gt：真实的边界框。
2. pred：我们模型中预测的边界框。

有关更多信息，请单击this post

Answer 3

目前的答案已经清楚地解释了这个问题。所以在这里我提供了一个更好的IoU版本与Python，当两个边界框不相交时不会破坏。

import numpy as np

def IoU(box1: np.ndarray, box2: np.ndarray):
    """
    calculate intersection over union cover percent
    :param box1: box1 with shape (N,4) or (N,2,2) or (2,2) or (4,). first shape is preferred
    :param box2: box2 with shape (N,4) or (N,2,2) or (2,2) or (4,). first shape is preferred
    :return: IoU ratio if intersect, else 0
    """
    # first unify all boxes to shape (N,4)
    if box1.shape[-1] == 2 or len(box1.shape) == 1:
        box1 = box1.reshape(1, 4) if len(box1.shape) <= 2 else box1.reshape(box1.shape[0], 4)
    if box2.shape[-1] == 2 or len(box2.shape) == 1:
        box2 = box2.reshape(1, 4) if len(box2.shape) <= 2 else box2.reshape(box2.shape[0], 4)
    point_num = max(box1.shape[0], box2.shape[0])
    b1p1, b1p2, b2p1, b2p2 = box1[:, :2], box1[:, 2:], box2[:, :2], box2[:, 2:]

    # mask that eliminates non-intersecting matrices
    base_mat = np.ones(shape=(point_num,))
    base_mat *= np.all(np.greater(b1p2 - b2p1, 0), axis=1)
    base_mat *= np.all(np.greater(b2p2 - b1p1, 0), axis=1)

    # I area
    intersect_area = np.prod(np.minimum(b2p2, b1p2) - np.maximum(b1p1, b2p1), axis=1)
    # U area
    union_area = np.prod(b1p2 - b1p1, axis=1) + np.prod(b2p2 - b2p1, axis=1) - intersect_area
    # IoU
    intersect_ratio = intersect_area / union_area

    return base_mat * intersect_ratio