多类多标记分类的每类加权损失

Question

我正在进行多类多标签分类。也就是说，我为每个例子都有N_labels完全独立的标签，而每个标签可能有N_classes不同的值（互斥）。更具体地说，每个例子都按照N_labels维向量进行分类，而每个向量分量可以来自集合{0, 1, ..., N_classes}

例如，如果N_labels = 5和N_classes = 3，每个示例可以按以下标记分类：

[2, 1, 0, 0, 1], [0, 0, 2, 2, 1], [0, 0, 0, 0, 0]

另外，对于每个标签，我在不同类之间存在非常不平衡，即训练集中90％的示例属于集合0。因此，我想执行加权softmax交叉熵以计算每个标签的损失（以及之后的平均值）。

试图使用：

tf.losses.sparse_softmax_cross_entropy # but it seems that it performs weightening between different label and not between classes for each label.

tf.nn.softmax_cross_entropy_with_logits,  tf.nn.softmax_cross_entropy_with_logits_v2  # does not have weightening option ever

tf.nn.weighted_cross_entropy_with_logits  # good only for binary classification

我想通过以下方式找到compute_loss函数来计算损失：

loss = compute_loss(logits=my_logits, labels=my_labels, weights=my_weights)

哪里

my_logits is of shape [batch_size, N_labels, N_classes]
my_labels is of shape [batch_size, N_labels]
my_weight is of shape [N_labels, N_classes]

请注意，每个标签可能具有不同的权重（对于类）

Answer 1

我认为你需要tf.losses.sigmoid_cross_entropy它正如你所描述的那样使用multi_class_labels，并具有应用权重的功能。 https://www.tensorflow.org/api_docs/python/tf/losses/sigmoid_cross_entropy

示例：假设您有一个多类多标记分类问题，其中总共有10个类，单个示例的标签看起来像这个[1, 3, 6]，意味着示例包含类1,3和6。 您需要使用k-hot编码

labels = tf.reduce_max(tf.one_hot([1, 3, 6], 10, dtype=tf.int32), axis=0)

在这种情况下，输出将是[0, 1, 0, 1, 0, 0, 1, 0, 0, 0]