tokenize 相关问题

标记化是将字符串拆分为称为标记的离散元素的行为。

无法从存储在csv中的URL获取NetLock

我有一个带有4k行url的csv文件。我想获取每个URL的NetLoc并绘制一个条形图，显示该URL中排名前5位的Netloc。 #i已使用此代码！pip install wget link_to_data ='...

python url tokenize

回答 1 投票 0

将可能是元组或其他名称的字符串标记化

我正在为基本的编程语言构建词法分析器（令牌生成器），而我正在考虑的语言功能之一就是可以将字符串解析为元组或表达式。 ...

regex parsing split tokenize lexer

回答 1 投票 0

'CountVectorizer（）'在空格而不是逗号处分割

因此，在我的数据框中，我有一个“演员”列，其中包含多个演员的“名字的姓氏”。例如：当我使用CountVectorizer（...

python pandas scikit-learn nlp tokenize

回答 2 投票 0

使用Word2Vec对字符串列表进行向量化，以提供给keras顺序层

我正在尝试使用fastText构建定制的单词嵌入模型，该模型将我的数据（句子列表）表示为矢量，因此我可以将其“馈送”到Keras CNN进行滥用语言检测。我的...

keras nlp tokenize word2vec fasttext

回答 1 投票 -1

在将函数传递给令牌https://github.com/allenai/scispacy时使用unnest_tokens（）时出错，

unnest_tokens.data.frame（。，实体，文本，令牌= tokenize_scispacy_entities，中的错误：：令牌化函数的预期输出为长度为100的列表。unnest_tokens（）对于...非常有效。

r tokenize spacy tidytext

回答 1 投票 1

AttributeError：'spacy.tokens.doc.Doc'对象没有属性'lower'

我正在将文本添加到列表中，然后将文本更改为嵌入单词，然后进行机器学习。 “文章”中的“插入项”是通过使用spacy收集的，但随后我遇到了...

python tokenize spacy doc

回答 1 投票 1

将字符串中的单词提取到动态2D char数组中

我有一个包含字符串的动态char数组。我正在尝试从该字符串中提取所有单词到动态2d char数组中。这是我的代码：int rows = 1;字符* input_words = malloc（（行）* ...

c string multidimensional-array tokenize dynamic-arrays

回答 1 投票 1

尝试标记字符串并将每个部分插入数组时出错

while（fgets（buff，sizeof（char *）* 100，文件））{如果（line == 0）{fgets（buff，sizeof（char *）* 100，文件）;线++; } int i = 0; char * p = strtok（buff，“，”）;字符* ...

c tokenize

回答 1 投票 0

如何使用python从列表中删除空引号？

我有一个Python脚本，可以对文本进行预处理，然后再进行文本分析。清除文本的一些功能是：删除少于两个字符的字符串。标记化...

python list tokenize

回答 1 投票 -1

我使用什么数据结构来应用深度学习算法

我正在研究日志文件异常检测。我已经阅读了日志文件，并完成了标记化和过滤，现在我有了一个标记列表，我想应用深度学习算法，这应该如何...

machine-learning deep-learning lstm tokenize bert-toolkit

回答 2 投票 0

MLlib regexTokenizer忽略口音

我正在用pySpark（Python3）测试MLlib令牌生成器：＃-*-编码：utf-8-*-来自pyspark.sql.window导入pyspark.sql.functions的窗口从pyspark.ml.feature导入row_number导入...

regex tokenize apache-spark-mllib

回答 1 投票 0

iOS字符串：通过CharacterSet删除前缀和后缀[关闭]

对于Swift中的给定String，我需要删除属于预定义字符集的前缀和后缀字符。我可以使用具有字符集的components（separatedBy :)并摆脱空的...

ios swift string tokenize

回答 1 投票 -2

如何使用Python标记csv文件中特定列中的所有行？

我正在使用Python进行情感分析（我仍然是使用该特定编程语言的新手）。我在csv文件中有一些Twitter数据，需要先进行预处理，然后再进行真正的...

python pycharm spyder tokenize sentiment-analysis

回答 1 投票 -1

如何将复杂，复合和较长的句子拆分为python中的简单句子

我想将复杂和复合的句子拆分为简单的句子。我想使用一组连接器作为分离器。我尽量不要使用诸如[，]之类的标点符号作为分隔符。我打算...

python split tokenize sentence

回答 1 投票 -1

在Java中以2个字符的分隔符分隔字符串[duplicate]

我有第一个格式的字符串

java tokenize stringtokenizer

回答 1 投票 0

word_tokenize使用相同的代码和相同的数据集，但结果不同，为什么？

上个月，我试图标记文本并创建一个单词，以查看哪个单词经常出现。今天，我想在具有相同代码的相同数据集中再次执行此操作。它仍然有效，但结果是...

python nltk tokenize text-mining

回答 1 投票 0

word_tokenize使用相同的代码和相同的数据集，但结果不同，为什么？

上个月，我试图标记文本并创建单词袋，以查看哪个单词经常出现。今天，我想在具有相同代码的同一数据集中再次执行此操作，尽管它仍然有效，但是...

python nltk tokenize text-mining

回答 1 投票 0

我如何计算一个字符串中的数字数量

我想计算s字符串中的数字数量。这句话的意思是：“对于10至20岁至60岁的幸运者来说，2019年是伟大的一年。”结果应为4（2019，10，20，60）谢谢

python string tokenize

回答 2 投票 0

Elasticsearch“ max_ngram_diff”适用于“ edge_ngram”，但不适用于“ ngram_tokenizer”

我有一个Elasticsearch索引，我在其中设置了“ max_ngram_diff”：50，但是不知何故，它似乎仅适用于edge_ngram令牌生成器，而不适用于ngram令牌生成器。我已经提出了这两个请求...

elasticsearch tokenize n-gram elasticsearch-analyzers

回答 1 投票 0

如何在ElasticSearch中标记罗马数字术语？

[通过以下方式注册令牌字符来创建令牌生成器时，无法注册罗马字母'X'。（测试ES版本：ES6.7，ES5.6）“ tokenizer”：{“ autocomplete”：{“ type”：“。。

elasticsearch lucene tokenize elasticsearch-analyzers

回答 1 投票 1

tokenize 相关问题

最新问题