恢复解析器精度基准

Question

我目前正在使用简历解析器 API，它通过 REST API 调用批量解析简历并提供 JSON 格式的输出。我试图评估提取的信息（例如教育、经验、技能、概述）是否与原始简历相符。是否有任何命名实体识别管道来测试准确性？

我已经尝试计算原始简历和具有特定信息（例如教育、经验、技能、概述）的文本块之间的余弦相似度，但我正在寻找更复杂和更准确的东西来完成此任务。 我最近发现http://www.davidsbatista.net/blog/2018/05/09/Named_Entity_Evaluation/， 但我仍然在寻找一些能够解释简历特异性的东西，包括章节和小节。

Answer 1

要测试简历解析器的准确性，您确实需要自己构建一个 - 而且这并不容易。 请注意，NER 标记/评估只是流程中的一小步。 还有许多微妙之处，可能对您的评分算法来说无关紧要，但对人类来说很重要 - 例如知道某个日期范围适用于他们在 Microsoft 工作的时间，而不是他们在大学学习的时间。

我认为有两种方法：

1. 只需手动检查 50 份简历的输出，并手动对输出的质量进行评分。
2. 使用另一个第三方 API（其中大多数将提供免费试用），并以编程方式比较输出。 （例如，尝试https://affinda.com/resume-parser/，这是我最近帮助构建的）

Answer 2

我认为您还应该检查 SharpAPI.com 的 Resume/CV Parsing API - 它摄取各种文件，例如 PDF、DOC、DOCX、TXT、RTF 更多信息+输出数据格式：https://sharpapi.com/en/catalog/ai/hr-tech/resume-cv-parsing

还有一整套 SDK 客户端可用于所有最流行的平台，如 Node/JS、Python、.NET、PHP、Laravel 或 Flutter。 https://github.com/sharpapi/

它使用LLM和一些NLP技术来解析简历，所以我认为你不会得到比这个更好的结果。