tokenize 相关问题

标记化是将字符串拆分为称为标记的离散元素的行为。

elasticsearch 如何在 token 中分割文档

假设我有网页，并且将它们作为文档存储在弹性搜索中。现在我想了解弹性搜索是否会将每个单词标题和内容标记化？或者我们应该在

elasticsearch tokenize

回答 1 投票 0

如何配置 OpenSearch 以允许查找带引号的精确匹配项

我正在尝试解决如何配置 OpenSearch 索引及其映射以允许使用引号进行搜索以找到搜索词的精确匹配。目前，所有字段都是文本类型，没有

tokenize matching opensearch

回答 1 投票 0

什么东西负责显式的线路连接？

Python 分词器似乎不负责显式行连接。我的意思是，如果我们在 script.py 文件中编写以下代码： “一 \ 二” 然后输入 python -m tokenize ...

python language-lawyer tokenize

回答 1 投票 0

如何使用节对 pandas 数据框中的文本列进行词形还原？

我将 csv 文件读入 pandas 数据框。我的文本列是 df['story']。我如何使该列词形还原？我应该之前标记化吗？

pandas nlp tokenize lemmatization stanza

回答 1 投票 0

如何使用节对 pandas 数据框中的字符串列进行词形还原？

我将 csv 文件读入 pandas 数据框。我的文本列是 df['story']。我如何使该列词形还原？我应该之前标记化吗？

pandas tokenize lemmatization stanza

回答 1 投票 0

运行时错误：CUDA 错误：设备端断言已触发

我一直在尝试重现这个repo的结果- https://github.com/sefcom/VarBERT/tree/main 我能够为传销目标训练 BERT 模型。但在受限蒙面语言中...

machine-learning pytorch tokenize bert-language-model

回答 1 投票 0

Apache Camel 使用新行标记进行拆分并使用聚合策略

我有以下路线： from("文件:/home/tmp/test?move=.done") .routeId("文件") .split(body().tokenize(" "),new GroupedBodyAggregationStrategy()) .亲...

file split apache-camel aggregation tokenize

回答 1 投票 0

如何调整 spaCy 分词器，以便在德国模型中分割行尾的数字和点

我在 spacy 有一个用例，我想在德语句子中查找电话号码。不幸的是，分词器没有按预期进行分词。当数字位于句子末尾时...

python spacy tokenize

回答 1 投票 0

如何从 Hugging Face 标记器中知道哪些标记是 unk 标记？

我想向预训练的 Tokenizer 的 tokenizer 添加一些新的 token，以便对我的下游任务进行微调。但我不想通过查看每个样本来检查哪个标记不在

huggingface-transformers tokenize

回答 1 投票 0

Keras 分词器未出现在导入中

我正在尝试使用我训练的模型（.keras）生成字幕，并且遵循以下说明：链接，我没有直接遵循，我使用 Keras 图像字幕创建并训练了模型...

keras import artificial-intelligence tokenize

回答 1 投票 0

Pycharm tensorflow 库导入错误

我尝试安装当前版本的tensorflow bt，但在导入“模型”，“Tokenizer”，“序列”时仍然出错，我不知道问题所在，我是我们...

tensorflow import model sequence tokenize

回答 1 投票 0

在 AWS Open 搜索中搜索电子邮件

我正在将大量数据推送到 AWS OpenSearch 实例中，以轻松搜索各种字符串。我推送的数据是一个 json 记录，其中包含一些属性，例如电子邮件、电话、姓名。我遇到的问题...

tokenize opensearch amazon-opensearch

回答 1 投票 0

如何在 Ruby 中标记该字符串？

我有这个字符串： %{儿童^10健康“卫生管理”^5} 我想将其转换为将其标记为哈希数组： [{:keywords=>"children", :boost=>10}, {:keywords=>"

ruby parsing tokenize text-parsing

回答 3 投票 0

使用 SpaCy 标记 12GB xml 时内存不足

我正在尝试在 xml 中标记 12GB 的文本。该文件仅包含“内容词”，没有停用词。我正在尝试实现一个函数，以便通过文本块进行标记并清除...

nlp spacy tokenize

回答 1 投票 0

属性错误：模块“openai”没有属性“OpenAI”

我正在尝试获取我正在执行的聊天机器人项目发送和接收的提示的令牌计数。看看这个链接中的第二个片段 Langchain 官方文档链接当我...

python tokenize openai-api attributeerror langchain

回答 1 投票 0

HuggingFace 多列标记器

我有一个包含 2 个文本列和 1 个输出列的数据集。文本_a 文本_b 输出 “这是一只鸟”“这是一支铅笔”0 “这是一只猫……

multiple-columns tokenize huggingface-tokenizers

回答 1 投票 0

Paytabs 使用令牌定期付款请求给出 [422 - 无法处理您的请求]错误

我通过 Paytabs Tokenization 方法创建了一个令牌，然后使用生成的令牌再次使用 tran_class: recurring 请求，但我收到 {'code': 422, 'message': 'Unable to process your

python payment-gateway tokenize paytabs

回答 1 投票 0

如何在word2vec（使用tensorflow）中处理复合名词（动物名）？

有人对如何使用包含复合名词和非复合名词的语料库使用w2v（使用tensorflow而不是gensim）有任何建议吗？特别是关于动物名称（英语...

tensorflow tokenize word2vec large-language-model

回答 1 投票 0

Tensorflow 分词器问题。 num_words 到底做什么？

执行此代码时，我得到 11937，但我不应该得到 10.000 吗？如果我不应该的话，我有几个后续问题： num_words 有什么意义？我得到的数字11937代表什么？我该如何...

python tensorflow machine-learning tokenize

回答 1 投票 0

为什么 Tokenizer 和 TokenizerFast 编码同一个句子会得到不同的结果

错误1 当我使用 tokenizer 编码文本并使用“do_basic_tokenize=False”时，我发现了两个不同的结果。但是当我设置“do_basic_tokenize=True”时，结果是相同的。这段文字是“豪华酒店

tokenize bert-language-model huggingface-tokenizers

回答 1 投票 0

tokenize 相关问题

最新问题