nlp 相关问题

自然语言处理(NLP)是人工智能的子领域,涉及从自然语言数据转换或提取有用信息。方法包括机器学习和基于规则的方法。

即使词序发生变化,我如何能够一致地将一个单词映射到句子中的另一个单词,例如将症状映射到受影响的器官?

例句: “胸部因呼吸困难而受到影响” 和 “呼吸困难影响胸部” 所需关系: “呼吸困难 -> 胸部” 我尝试过依赖匹配...

回答 1 投票 0

微调T5不收敛

我是 Transformer 和 NLP 领域的新手,在针对我的特定用例微调 T5 时遇到问题。 我想要实现的是,模型接收输入文本,并输出

回答 1 投票 0

如何在huggingface上使用从TFMarianMTModel转换而来的tflite模型

我正在寻找一个可以在 TFLite 中使用的 en-zh 翻译模型,我在 Huggingface 上找到了一个:https://huggingface.co/Helsinki-NLP/opus-mt-en-zh 我已通过以下方式将模型转换为 .tflite...

回答 1 投票 0

模糊句子搜索算法

假设我有一组短语 - 大约 10 000 - 平均长度 - 7-20 个单词,我想在其中找到一些给定的短语。我正在寻找的短语可能有一些错误 - 例如错过一个...

回答 2 投票 0

“ascii”编解码器无法解码位置 0 中的字节 0xef:序号不在范围内(128):BookNLP

我正在尝试在 Colab 中的 txt 文件上运行 BookNLP 模型,但我不断收到错误。 代码: input_file=“爱丽丝.txt” 输出目录=“爱丽丝” book_id=“爱丽丝” 书本LP。

回答 1 投票 0

语言中的from_messages、from_template、format、format_messages是什么?有人可以简化一下吗?

您能告诉我何时使用以及为什么使用上述功能吗? 我尝试阅读文档,但没有理解太多。对此的任何博客或链接的引用都是

回答 1 投票 0

如何将 AutoModelForCausalLM 对象转换为 dspy 模型对象?

导入dspy llm = dspy.HFModel(模型='模型') 如果我有 AutoModelForCausalLM 类的量化模型对象,则此方法采用字符串作为模型的输入 我如何将模型转换为...

回答 1 投票 0

词干过程中内核崩溃

我使用这个函数来进行句子词干提取 从 nltk.stem 导入 WordNetLemmatizer、PorterStemmer 从 nltk.tokenize 导入 word_tokenize 导入字符串 从 nltk.corpus 导入停用词 标点...

回答 1 投票 0

如何正确导入tensorflow-text

我在导入tensorflow-text时遇到了一系列错误。我首先尝试导入以下运行正常的版本。 !pip 安装tensorflow==2.8 但现在它是这样说的 `导入

回答 1 投票 0

ValueError:预期输入batch_size (2) 与目标batch_size (4) 匹配

这是我正在做的文本分类任务的代码。问题似乎就出在这里。这是一个多类问题。我有3个标签。我尝试了几件事。我将标签的格式更改为

回答 1 投票 0

在Python中找到两个字符串之间最有可能的单词对齐方式

我有2个相似的字符串。如何在 Python 中找到这两个字符串之间最可能的单词对齐方式? 输入示例: string1 = '我的频道是 youtube dot com 斜线示例,然后我也...

回答 4 投票 0

Longformer 获取last_hidden_state

我正在尝试遵循此处的huggingface文档中的示例https://huggingface.co/transformers/model_doc/longformer.html: 进口火炬 从 Transformers 导入 LongformerModel,

回答 2 投票 0

聊天机器人将根据给定的信息/文档进行回答

我想制作一个聊天机器人,它将根据给定的文档回答问题。 例如,如果我有数百个文档,我想从中获取一些信息,但不知道哪些信息......

回答 5 投票 0

寻找合适的框架来实施企业文档管理和分析系统

我已经花了相当长的时间进行文献综述和谷歌搜索,但我还没有找到合适的东西。 任务是实施灵活且可扩展的企业文档管理...

回答 2 投票 0

使用确定性掩蔽而不是随机掩蔽来微调 BERT

我想在特定数据集上微调 BERT。我的问题是,我不想随机屏蔽训练数据集中的某些标记,但我已经选择了要屏蔽的标记(用于证书...

回答 1 投票 0

计算非gensim主题模型的一致性

我建立了一个主题模型,其中: 输入:标记化列表的列表 输出:一个 m x t 矩阵(每个单元格表示单词 i 出现在主题 k 中的概率)。 输出:一个 k x n 矩阵(每个...

回答 1 投票 0

标记问题的答案。类别“其他”,该怎么办?

我正在训练 SVC 模型来预测调查中答案的类别。在标签中有一个名为“其他”的类别。我尝试设置一个概率,以便只有答案...

回答 1 投票 0

使用不在其中心的 HuggingFace 模型将句子列表编码为嵌入

我正在尝试将句子列表编码为嵌入列表。当我使用 HuggingFace 中心中的模型时,它按预期工作。但是当我使用不在集线器中的模型时,在这种情况下Fac...

回答 1 投票 0

如何使用节对 pandas 数据框中的文本列进行词形还原?

我将 csv 文件读入 pandas 数据框。 我的文本列是 df['story']。 我如何使该列词形还原? 我应该之前标记化吗?

回答 1 投票 0

TF 准确度指标需要单个值,但需要一个概率列表

我正在执行一个简单的序列到序列转换器任务。我尝试了各种损失和指标,但没有一个有效。目前,在 model.compile() 中我正在使用这些: 损失=tf.keras.losses.

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.