如何评估SciSpaCy的实体链接

Question

我正在使用 SciSpaCy 的实体链接器 和自定义知识库。当我更新应用程序的某些组件（例如底层语言模型、句子标记化管道、知识库本身等）时，我注意到（1）应用程序拾取的实体数量发生了变化，并且（2 ）链接的概念本身发生变化（不是检测到的实体，而是链接到这些实体的概念）。考虑到这一点，我希望能够评估我的实体链接应用程序。

不幸的是，我似乎找不到任何资源。我希望找到某种评估库（假设我们不仅仅对混淆矩阵感兴趣）或“黄金标准”数据集，其中包含各种形式的实体（例如缩写、变形等）和预期的链接概念。

恐怕我是这个领域的新手，这就是为什么我来到这里，希望任何人都能够向我指出一组有用的资源或与我分享一些技巧。

提前非常感谢。

Answer 1

spacy 中用于评估实体链接器和计算指标的原始代码

https://github.com/explosion/projects/blob/master/nel-wikipedia/entity_linker_evaluation.py

另请参阅

1. https://github.com/ad-freiburg/elevant
2. https://github.com/wikilinks/neleval
3. https://towardsdatascience.com/building-a-biomedical-entity-linker-with-llms-d385cb85c15a显示了对自己数据的计算，给出了代码，分析。
4. https://github.com/sebastianruder/NLP-progress/blob/master/english/entity_linking.md