如何使用 HuggingFace 实现用于顺序句子分类的 BERT 模型？

Question

我想对科学论文摘要中句子的功能进行分类，一个句子的功能与其周围句子的功能相关。

我发现本文中提出的模型非常有用且简单，它只是向 BERT 模型提供多个带有多个 [SEP] 标记的句子来将它们分开。见下图：

我可以使用他们的代码训练（微调）这个模型，但我也想使用 Transformers 库（而不是 allennlp）构建这个模型，因为它给了我更大的灵活性。

对我来说最困难的问题是如何从样本（多个句子）中提取所有[SEP]标记的嵌入。我尝试阅读他们的代码，但发现很难理解。你能帮我完成这个程序吗？

提前致谢！

Answer 1

我正在解决类似的问题，我想使用 Transformers 库。你能告诉我你是否已经解决了这个问题吗？