为什么我会收到 LookupError: 即使在下载 punkt 后，在 NLTK 中也找不到资源 punkt_tab？

Question

我正在尝试使用 NLTK、SpaCy 和 PyCharm 中的数据集执行命名实体识别 (NER)。但是，在对文本进行标记时，我遇到了与缺少资源 (punkt_tab) 相关的错误。这是完整的错误消息：

输出

我已经在我的脚本中下载了必要的NLTK资源：

必要的Nltk

这是我的用例的相关代码：

代码

我尝试过的

• 验证 punkt 已成功下载（nltk.download('punkt')）。
• 检查错误消息中列出的文件夹以确保 punkt 存在。
• 在线搜索是否提及 punkt_tab，但找不到此特定资源的文档。

我的问题

• punkt_tab 是独立于 punkt 的资源吗？如果有的话怎么下载？
• 此错误是否是由我的 NLTK 或 Python 环境中的问题引起的？
• 我应该采取哪些步骤来修复此错误并继续在 PyCharm 中进行标记化？

Answer 1

出现此问题的原因是 punkt 资源下载不完整或已损坏。 punkt 分词器依赖于多个底层文件，包括 punkt_tab。当这些文件丢失时，您会遇到 LookupError。虽然下载 punkt 应包含所有必需的文件，但显式下载 punkt_tab 通过填写缺少的依赖项解决了您的问题。要解决此问题，请确保使用 nltk.download('punkt') 完整下载 punkt。如果问题仍然存在，请清除现有下载并重新下载 punkt。这可确保标记生成器正常运行所需的所有文件。 对我来说，明确安装 punkt_tab 解决了我的问题。