mapreduce 相关问题

MapReduce是一种使用大量节点处理某些类型的可分发问题的大型数据集的算法

这是我之前在这里的帖子：仅当单词的最后一个字母是元音时如何返回 1？否则返回 0 这是我正在使用的代码：导入系统重新进口 pattern = re.compile("^[...

python regex mapreduce

回答 2 投票 0

Java MapReduce 应用程序 Hadoop 中线程“主”java.lang.ClassNotFoundException 中的异常

导入java.io.IOException；导入 java.util.HashMap；导入 java.util.Map；导入 java.util.StringTokenizer； // 兄弟让我们看看这个新包是否有效。导入 org.apache.hadoop.conf.Configura...

java hadoop mapreduce

回答 1 投票 0

IndexError：在 Python 中使用 map 时从空双端队列中弹出

我有以下代码，我试图在其中并行计算句子嵌入。导入多处理从 tqdm 导入 tqdm # 定义要并行执行的函数 ...

python machine-learning nlp multiprocessing mapreduce

回答 1 投票 0

IndexError：在 Python 中使用 map 时从空双端队列中弹出

我有以下代码，我试图在其中并行计算句子嵌入。导入多处理从 tqdm 导入 tqdm # 定义要并行执行的函数 ...

python machine-learning nlp multiprocessing mapreduce

回答 0 投票 0

使用 MapReduce 进行联邦学习

我想用 PyTorch 构建一个联邦学习系统。我目前已经制定并编写了以下代码：在客户端设备上微调模型发回经过微调的模型...

pyspark pytorch mapreduce federated-learning

回答 0 投票 0

部署在实体记录上的用户事件脚本未被触发

我创建了一个部署在供应商记录上的用户事件脚本。还有另一个 map reduce 脚本正在创建供应商记录。用户事件脚本在 UI 上运行良好，但是......

triggers mapreduce netsuite user-event

回答 0 投票 0

如果单词的最后一个字母是元音，如何返回1？否则返回 0

这是我之前发布的这个问题的后续：如果单词的第一个字母是元音字母，如何返回 1，否则返回 0。映射器（MapReduce）问题我无法仅返回 1 ...

python mapreduce mapper

回答 6 投票 0

如果单词的第一个字母是元音，如何返回 1，否则返回 0。映射器（MapReduce）问题

这是我正在处理的 MapReduce 问题的第一部分。我需要一个函数，如果单词的第一个字母以元音开头，则返回 1，否则返回 0。该程序运行于 ...

python mapreduce generator yield mapper

回答 0 投票 0

无法在 linux 上使用 mapreduce 处理文本文件

我目前正在尝试使用 Hadoop 流。我有一个名为 diamonds.txt 的文件，其中包含钻石的克拉数及其旁边的价格，全部以逗号分隔 (csv)。第一个例子......

linux hadoop mapreduce hadoop-streaming

回答 0 投票 0

在什么情况下，禁用 Hadoop 向量化执行比启用它更好

Hive 中的矢量化是一项功能（可从 Hive 0.13.0 获得），当启用时而不是一次读取一行读取 1024 行上的块。这提高了 CPU 使用率等操作，...

hadoop mapreduce orc apache-tez

回答 0 投票 0

如何在 Java map reduce 中为输出文件添加标头？

我想根据传递给 reducer 的密钥向 hadoop map reduce 的输出文件添加一个标头，也就是说，我希望标头根据 reducer 正在处理的输入而变化。有没有办法...

java hadoop mapreduce

回答 0 投票 0

OpenJDK 客户端虚拟机 - 无法分配内存

我在集群上运行 Hadoop map reduce 作业。我收到此错误。 OpenJDK 客户端 VM 警告：信息：os::commit_memory(0x79f20000, 104861696, 0) 失败； error='无法分配内存'（errno ...

java hadoop memory mapreduce jvm

回答 4 投票 0

为什么我的 MapReduce 作业计数不正确？

我目前正在编写一个 MapReduce 任务来解析数据集并列出具有 500+ 5 星评级的电影。为此，我已经有一个 mapreduce 作业，可以从

java hadoop mapreduce

回答 1 投票 0

Hadoop Map Reduce 读取文本文件

我正在尝试编写一个可以读取输入文件并将输出写入另一个文本文件的 MapReduce 程序。我打算为此使用 BufferedReader 类。但我真的不知道如何...

hadoop mapreduce

回答 1 投票 0

为至少有 1 次空中飞行模式 (1) 作为 Flyer 的名字创建一个标志

我有以下类型的数据：名称空气模式美国广播公司 0 美国广播公司 1个 xyz 0 xyz 0 我想在 HIVE 中以以下方式创建一个标志： A列传单美国广播公司 1个 xyz 0 谁能告诉我如何编写 SQL...

sql hive mapreduce case flags

回答 1 投票 0

vertext 失败错误和 Mapper 初始化失败 - Hive

我在具有 2 个节点的服务器中使用 Hortonworks 数据平台。我在配置单元中成功运行查询。突然我面临着与源表的映射以将列添加到我的新表中，通过下面的曲...

hadoop hive mapreduce hadoop-yarn apache-tez

回答 1 投票 0

reducers 的默认数量

在Hadoop中，如果我们没有设置reducer的数量，那么会创建多少个reducer？就像映射器的数量取决于（总数据大小）/（输入分割大小），例如。如果数据大小...

hadoop mapreduce hdfs

回答 2 投票 0

hadoop wordcount mapreduce 示例的输出在 Windows 上为空（hadoop 在本地运行）

嗨，这是我第一次在 stackoverflow 上提问，我的英语不好。我已经谷歌了很多次，但仍然没有找到解决我问题的方法。我的问题是在运行 mapreduce 之后

java windows hadoop mapreduce word-count

回答 0 投票 0

assertThat() 方法是什么？

assertThat() 方法是什么？怎么会有用？我在 hadoop 的 mapreduce 程序中看到过这种方法。谁能简单解释一下？

hadoop mapreduce

回答 3 投票 0

如何在此 Pyspark mapreduce 代码中拆分年份？

我需要为每个单词计算每年有多少篇文章包含它。我一直坚持如何用单词来划分年份，因为我不断得到与日期相连的第一个单词，如图所示

python python-3.x pyspark mapreduce rdd

回答 2 投票 0

mapreduce 相关问题

最新问题