计算带有批注的文件的内部批注者协议

Question

[使用三个注释器，我们一直在使用brat（http://brat.nlplab.org/）来注释三个类别的文本样本：PERS，ORG，GPE。我要为该样本计算“内部注释者协议”。但是，我似乎没有找到一种简单的方法来做到这一点。我已经尝试过以下Python软件包：https://github.com/savkov/BratUtils，但似乎失败了。

对于每个带注释的样本，我有三个.ann文件，我想为其计算Inter Annotator Agreement。文件中的数据如下所示：

T1  Person 173 183  Alexanders
T2  Person 444 450  Hannah
T3  Person 754 766  Corneliszoon
T4  GPE 787 796 Antwerpen
T5  Person 824 833  Alexander

是否有一种简单的方法（使用Python或基于Web的工具来计算内部注释者协议？

Answer 1

我设计了一种用于计算注释者协议的工具。它主要用于Doccano，但只需进行少量调整，便可以计算任何内容。请看一下：https://github.com/vwoloszyn/diaa/