我有一个经过预先训练的罗伯塔模型。并拥有一个包含两个句子对的数据集,并带有一个指示句子对是否相似的标签。我想用罗伯塔模型来做到这一点。
我想获得两个句子的句子嵌入,并使用它们使用余弦相似度来查找相似度。你能告诉我该怎么做吗?或者有什么资源吗?
提取嵌入并计算余弦相似度的概念可以称为“语义搜索”。您可以使用句子转换器库。
以下是使用句子转换器进行语义搜索的快速方法的链接。
https://www.sbert.net/examples/applications/semantic-search/README.html
您可以使用句子转换器训练任务的嵌入,也可以使用 HuggingFace Trainer API 微调任务的模型。
问候,