nlp 相关问题

自然语言处理(NLP)是人工智能的子领域,涉及从自然语言数据转换或提取有用信息。方法包括机器学习和基于规则的方法。

判断一个单词是否是名词

给定一个输入单词,我想确定它是否是名词(如果有歧义,例如cook可以是名词或动词,则该单词必须被识别为名词)。 其实我用的是POS

回答 4 投票 0

使用 vllm 提取嵌入

下面是一小段代码,用于从LLM的某一层中提取嵌入: def process_row(提示:str,模型,分词器,layers_to_use:列表,remove_period:bool): ”“”...

回答 1 投票 0

是否有模型或算法可以从纯文本中提取自定义标签和关键细节

我在 azure 中有一个 blob(pdf),我将使用 OCR 从中提取文本,然后得到一个字符串作为结果。现在我想分析这段文本,以便我可以根据上下文来标记文档...

回答 1 投票 0

匹配不同语言中包含“and”和&符号的字符串

假设在2个不同的数据框df1,df2中我有2列 df1['电影'] = pd.Series(['比维斯与巴特海德', '邦妮与克莱德', '亚当与夏娃']) df2['电影'] = pd.Series(['Beavis und Butthea...

回答 1 投票 0

为什么我的单词词形还原没有按预期工作?

stackoverflow 社区大家好! 长期读者,但第一次发帖。我目前正在尝试 NLP,在阅读了一些涉及该主题的论坛帖子后,我似乎无法理解引理...

回答 1 投票 0

NefTune 在 Transformers 上收到 0 训练损失

我基本上是在尝试使用 Neftune 微调我的模型。模型基于土耳其语言。但在那里我的训练损失为零。我尝试过另一种模型,例如土耳其-GPT2,但没有...

回答 1 投票 0

修复错误“当n_samples = 0,test_size = 0.1和train_size = None时,生成的训练集将为空。调整上述任何参数。”

我用python编写了一个程序,我想通过BERT算法实现NLP。我有一个数据集和下面的代码,但是当我在colab运行该程序时,我遇到了以下错误 将 numpy 导入为 np 导入

回答 1 投票 0

尝试将元组输出解包到两个数据帧列时出错

我有一个函数,标记化: def tokenize(文本,max_len=MAX_LEN): 编码 = tokenizer.encode_plus( 文本, add_special_tokens=真, 最大长度=最大长度, ...

回答 1 投票 0

带有上下文的 Langchain sql 代理

我正在开发一个基于 langchain 的 SQL 聊天应用程序,并希望我的代理能够理解用户会话的上下文。例如 用户 - 最后放置的最高订单是什么? 机器人 - 订单 ID ...

回答 1 投票 0

将 json 数据转换为向量以获得更好的 langchain 聊天机器人结果

我正在为我的大学网站创建一个聊天机器人作为一个项目。 在过去的 3 天里,我一直在互联网上搜索如何使用 Langchain 和 json 数据,以便我的聊天机器人速度很快。我来了

回答 1 投票 0

如何修复 python 中的错误“clean() 获得意外的关键字参数‘fix_unicode’”

我用python编写了一个程序,我想通过BERT算法实现NLP。我有一个数据集和下面的代码,但是当我在colab运行该程序时,我遇到了以下错误 将 numpy 导入为 np 导入...

回答 1 投票 0

AttributeError:模块“click.utils”没有属性“_expand_args”

我正在关注 nlp 教程,这是我正在观看的视频:https://www.youtube.com/watch?v=h2kBNEShsiE&list=PLeo1K3hjS3uuvuAXhYjV2lMEShq2UYSwX&index=7 在视频中,教练要求我们...

回答 2 投票 0

尝试运行 python -m spacy download en 不起作用

我正在关注 nlp 教程,这是我正在观看的视频:https://www.youtube.com/watch?v=h2kBNEShsiE&list=PLeo1K3hjS3uuvuAXhYjV2lMEShq2UYSwX&index=7 在视频中,教练要求我们...

回答 0 投票 0

使用 Python 中的 RAKE 库从文本中仅提取技术关键字

我想使用 rake 从我在 Linkedin 上找到的职位描述中提取技术关键字,如下所示: input = "深入理解Python软件开发...

回答 1 投票 0

如何通过 LlamaIndex 向 FastAPI 端点发送流响应?

我需要使用 LlamaIndex 向我的 FastAPI 端点发送流响应。下面是我到目前为止编写的代码: @bot_router.post(“/bot/pdf_convo”) 异步 def pdf_convo(查询: QuestionI...

回答 1 投票 0

Jupyter Notebook 中的 Phi-3 模型问题

我在 Jupyter Notebook 中使用 Phi-3 模型时遇到问题。我收到与 Phi3Config 对象不具有属性 _attn_implementation 相关的错误。 这是相关的

回答 1 投票 0

如何将 vllm 与 pytorch 2.2.2 和 python 3.11 一起使用?

标题:如何将 vllm 与 pytorch 2.2.2 和 python 3.11 一起使用? 我正在尝试将 vllm 库与 pytorch 2.2.2 和 python 3.11 一起使用。根据 GitHub issues,似乎 vllm 0.4.1 支持 pyth...

回答 1 投票 0

微调法学硕士的标记数据有限?

针对特定领域微调法学硕士很有吸引力,但是标签数据有限的场景又如何呢?未标记的数据或替代方法是否有效? 寻找最佳实践的见解...

回答 1 投票 0

R 文本库中 textSimilarity() 的性能

我有一个大型 data.frame,大约有 400 万行和 2 列。 这两列包含长字符串,代表菜谱的文本。 对于每一行,我都在比较记录的相似度...

回答 1 投票 0

Pandarallel 在 Openai 升级时失败并出现 SSLContext 错误

我已将openai从0.28.0升级到openai==1.23.5。 我使用 Pandarallel 对 openai 的并行调用在 openai==0.28.0 版本中运行良好。 但升级到后失败并出现以下错误...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.