自然语言处理(NLP)是人工智能的子领域,涉及从自然语言数据转换或提取有用信息。方法包括机器学习和基于规则的方法。
我刚刚开始使用西里尔文字。文本预处理后无法正确打印俄语文本。如何在文本加载期间设置编码? 导入路径库 文本 = pathlib.Path('rus.txt').rea...
Word2Vec Hierarchical Softmax 中的内部顶点里面有什么?
我有一个关于分层 Softmax 的问题。实际上,我不太明白内部顶点(不是叶顶点)中存储的内容。我清楚地理解了这个算法的主要思想...
Pytorch运行时错误RuntimeError:mat1和mat2形状无法相乘(10x2048和64x6)
我正在尝试连接X,Y和Rag特征,但它给了我错误我已经使用了简单的concat,但它给了我错误我只想在前向函数中连接x,y,rag特征,可以
我正在尝试基于两个数据集微调模型,按照 Hugging Face 网站上的示例,我在 Yelp Review 数据集上进行模型训练,但我也想在...
运行时错误:无法导入transformers.integrations.bitsandbytes
我正在尝试以 4 位精度加载 llm 模型。但是,我得到了 RuntimeError: Failed to import Transformers.integrations.bitsandbytes 因为以下错误(查找它的 Traceba...
我想将段落分成没有标点符号的句子,包括句号、逗号等。 例如:“我叫 Brayan,今年 12 岁” 需要拆分为 我的名字是Br...
我正在尝试保存 LayoutLM 模型的预测。 论文 - https://arxiv.org/abs/1912.13318 笔记本 - https://www.kaggle.com/code/iamarjunchandra/layoutlm-document-sequence-labeling-model/
LangChain 代理使用 Structured_chat_agent 和 Wikipedia 工具解析错误,handle_parsing_errors 达到限制
我试图要求 GPT 4 使用维基百科进行提示,通过 LangChain 使用代理和工具。 我遇到的困难是我一直在使用的书《使用 GPT-4 和 ChatGPT 开发应用程序》:Bu...
我有一个由斯坦福大学 CoreNLP 系统预处理的句子语料库。它提供的功能之一是句子的解析树(基于选区)。虽然我可以理解解析树
Spacy:找不到模型“en_core_web_sm”。它似乎不是一个 Python 包或数据目录的有效路径
我正在尝试加载en_core_web_sm spaCy模型,但我没有成功。 发生的错误如下: OSError:[E050]找不到模型“en_core_web_sm”。没看出...
我正在尝试运行我的代码进行序列到序列分类,但我遇到了一个名为 0D 或 1D 目标张量预期的错误,loss = criteria(outputs, la.. .
Python安装Constituent Tree Lib时出错
我正在尝试在Python中使用视觉上如此吸引人的成分树库:https://github.com/Halvani/Constituent-Treelib。我已按照安装步骤进行操作(pip install,...),但是...
我正在分析以确定给定文本中的功能需求。为了实现这一目标,我从文本中提取了名词和动词,并应用 KMeans 聚类对相似的语义词进行分组
在格鲁吉亚数据集上从微调的 Mistral 7B 模型生成文本的问题
我使用包含大约 100,000 篇文章的乔治亚数据集对 Mistral 7B 模型进行了微调,包括自定义标记器微调。微调过程耗时约9个小时。然而,当...
我有一个像这样的字符串: “日期为2019年6月30日至2022年1月1日(含)” 我想使用 spaCy 从此字符串中提取日期。 到目前为止,这是我的功能: 定义
我正在尝试在 xml 中标记 12GB 的文本。该文件仅包含“内容词”,没有停用词。我正在尝试实现一个函数,以便通过文本块进行标记并清除...
它看起来像是 glove.twitter.27B.200d.txt 文件中空字符串的嵌入,该文件是此 zip 文件的一部分: https://nlp.stanford.edu/data/glove.twitter.27B.zip 在第 38523 行提供,...
如何解决在 Windows 上安装 fastText 库时出现的安装问题?
我是这个领域的新手,正在NLP领域尝试不同的模型。当我尝试使用命令提示符安装 fastText 库时,它显示错误: 点安装轮子 点安装
我目前正在从头开始开发一个 T5 模型(编码器-解码器架构),用于教育目的。在从事这个项目时,我在预训练方面遇到了一些困惑
我想评价两个标签之间的相似度。例如,“技术”、“计算机”和“芯片”等词应该具有较高的相似度,而“食物”这样的词应该具有较低的相似度。 鉴于最近的进展...