gpt2 - 如何嵌入文本

Question

大家好，我发现有兴趣与 MoE 一起编写 GPT2。我需要文本嵌入（比如text-embedding-ada-001），我在网上查找，每个token都有一个平均嵌入值，但是我需要文本嵌入

Answer 1

一般来说，您会使用仅编码器的转换器，例如 BERT 而不是 GPT。

获得文本嵌入的一种方法是对构成文本的所有标记求和。平均也是一种选择。有些人更多地支持这个总和，其他人则反对它，因为它可能会变得非常大，但较长的文本比较短的文本可以承载更多的含义。

特别是在使用 BERT 时，

[CLS]

标记的嵌入可以用作我建议使用的整个文本的代表。