MultiHeadAttention (TensorFlow/Keras) 中填充序列的效果

Question

我正在尝试使用

MultiHeadAttention

层来处理

variable-length

元素集，即顺序不重要的序列（否则我会尝试

RNNs

）。问题是我不确定我是否理解输入序列中填充的效果。我的观点是，包含元素 1 和 2 的序列的输出应该等于使用 0 填充到给定长度的同一序列的输出。换句话说，输入

[1, 2]

和

[1, 2, 0]

（甚至

[1, 2, 0, 0, 0 ... ]

应该产生与真实输入相同的输出（1 和 2，我不介意 0 的输出，因为我知道它是一个填充的“假”输入）以下是一段代码，用于根据填充显示不同的输出。

import tensorflow as tf
import numpy as np

max_tokens = 10  # maximum length of any sequence
dimension = 5  # dimension of the vectors in the embedding

# Variable-length int sequences.
query_input = tf.keras.layers.Input(shape=(None,), dtype='int32')
value_input = tf.keras.layers.Input(shape=(None,), dtype='int32')

handmade_embedding = np.arange(max_tokens).reshape(max_tokens, 1) * np.ones(dimension)

# Embedding lookup.
token_embedding = tf.keras.layers.Embedding(input_dim=max_tokens, output_dim=dimension, mask_zero=True,
                                            embeddings_initializer=tf.constant_initializer(handmade_embedding),
                                            trainable=False)

# Query embeddings of shape [batch_size, Tq, dimension].
query_embeddings = token_embedding(query_input)
# Value embeddings of shape [batch_size, Tv, dimension].
value_embeddings = token_embedding(value_input)

attention_output, weights = \
    tf.keras.layers.MultiHeadAttention(num_heads=10, key_dim=10)(query=query_embeddings,
                                                                 value=value_embeddings,
                                                                 return_attention_scores=True)

model = tf.keras.Model(inputs=[query_input, value_input],
                       outputs=[query_embeddings, attention_output])
names = ('query_embeddings', 'attention_output')

model.summary()

q = np.array([[1, 2, 0]])
prediction = model.predict([q, q])  # self-attention

print('\nWITH PADDING')
for n, v in zip(names, prediction):
    print(f'\n{n}:\n{v}')

q = q[:, :-1]  # remove the padding column in this example
prediction = model.predict([q, q])  # self-attention
print('\nWITHOUT PADDING')
for n, v in zip(names, prediction):
    print(f'\n{n}:\n{v}')

带有 padding 的 MultiHeadAttention 层的输出如下：

attention_output:
[[[-0.0374077  -0.03303239 -0.02354158 -0.04111823  0.08189851]
  [-0.04877335 -0.04348412 -0.012391   -0.04778382  0.09745573]
  [-0.02586985 -0.02244503 -0.03482261 -0.03429744  0.06620502]]]

并且没有填充：

attention_output:
[[[-0.04313684 -0.03764199 -0.04799934 -0.05400878  0.10519686]
  [-0.04743624 -0.041591   -0.04378954 -0.05654225  0.11106053]]]

我期望第一和第二输出向量相同，但事实并非如此。我计划稍后处理这些向量并将它们汇总为单个向量（平均值或其他向量），但我希望获得有关填充长度的确定性输出。我有什么误解吗？

Answer 1

您必须将

attention_mask argument

添加到

Multihead_Attention()

通话中。

Answer 2

好吧，在让代码在我的计算机中保留几个月后，现在看来甚至不需要attention_mask。现在的输出就是我所期望的，即，与真实条目相同。也许 TensorFlow 中的一些内部变化影响了这一点。我快要疯了...