mapreduce 相关问题

MapReduce是一种使用大量节点处理某些类型的可分发问题的大型数据集的算法

映射缩减和哈希分区

在学习MapReduce时，我遇到了这个问题：给定的 Mapreduce 程序的 Map 阶段生成 100 个具有 10 个唯一键的键值对。这个程序可以处理多少个Reduce任务...

mapreduce hadoop-partitioning

回答 5 投票 0

Apache Spark mapPartitionsWithIndex

有人可以举一个在Java中正确使用mapPartitionsWithIndex的例子吗？我找到了很多Scala的例子，但是缺少Java的例子。我的理解是否正确，单独的分区...

java mapreduce apache-spark

回答 2 投票 0

Hadoop MapReduce 代码失败，状态为 FAILED，原因是：NA

我正在尝试运行下面的 Hadoop mapreduce 程序。公共静态类 MovieFilterMapper 扩展 Mapper { 私有文本 movieId = new Text();

java hadoop mapreduce hadoop-yarn

回答 1 投票 0

我的连接映射器代码有什么问题？

我正在尝试练习使用mapreduce连接数据，但是当我运行这一行时猫 join1_File*.txt | ./join1_mapper.py |排序| ./join1_reducer.py 它显示此错误：追溯（最近的校准...

list join mapreduce cloudera-quickstart-vm

回答 1 投票 0

mapreduce 的缺点是什么？

mapreduce 的缺点是什么？ MapReduce 有很多优点。但我也想知道mapreduce的缺点。

hadoop mapreduce

回答 5 投票 0

由于连接问题，YARN 作业失败

我在 Kubernetes 集群中设置了 hadoop-3.3.6，所有 hadoop 组件都通过 ClusterIP 服务公开，我能够 telnet 到各个 pod 公开的端口。但当我...

mapreduce hadoop-yarn yarn-workspaces hadoop3

回答 1 投票 0

需要比 MMDS 更好的解释 MapReduce 的通信成本模型

我正在浏览 MMDS 书籍，该书有一个同名的在线 MOOC。我无法理解主题 2.5 中提到的通信成本模型和连接操作计算，并且

hadoop mapreduce bigdata

回答 1 投票 0

MongoDB allowedDiskUse 不起作用..

专家。我是 MongoDB 的新手，但了解得足够多，这会让我自己陷入麻烦......举个例子： db.test.aggregate( [ {$group: {_id: {电子邮件: "$email", 性别: "$gender"}, cnt: {$sum: 1}}}, {$gr...

mongodb mapreduce aggregation-framework

回答 4 投票 0

异常消息：“/tmp/hadoop-Deepshikha”不被识别为内部或外部命令、可操作程序或批处理文件

当我运行字数统计问题时，我收到此错误 C:\hadoopsetup\hadoop-3.2.4\sbin>hadoop jar C:\hadoopsetup\hadoop-3.2.4\share\hadoop\mapreduce\hadoop-mapreduce-examples-3.2.4.jar wordc...

windows hadoop mapreduce hadoop-yarn

回答 1 投票 0

使用 hadoop 字数统计显示输出时出现问题

我是 Hadoop 的新手，我想使用 WordCount 执行 Hadoop 语法来统计单词数。但是，为什么当我尝试显示输出时，它没有出现？我希望得到解释...

hadoop mapreduce hadoop-yarn word-count

回答 1 投票 0

Windows 上的 hadoop 中启动容器时出错

我正在 Windows 上运行地图缩减作业，它给了我这个错误。说明容器启动出现异常。堆栈跟踪：ExitCodeException exitCode=1：“/tmp/hadoop-user”不是

hadoop mapreduce

回答 1 投票 0

Hive“从表名中选择 to_date（第 2 列）”

我有以下表格结构：表名：测试表结构：这里的col1和col2是字符串。第 1 列列2 “abc” “2016 年 4 月 15 日” “定义” “2016 年 5 月 31 日” 什...

dictionary mapreduce hive hiveql

回答 1 投票 0

pyspark RDD 计算 DAG 中的节点数

我有RDD，显示为 [“2{'3'：1}”， "3 {'2': 2}", "4 {'1': 1,'2': 1}", "5 {'4': 3,'2': 1,'6': 1}", "6 {'2': 1,'5': 2}", “……

python apache-spark pyspark mapreduce

回答 1 投票 0

在蜂巢中查找排名

我有一组数据亚历克斯，50 阿努, 85 利米, 41 萨姆，56 我需要找到学生的排名并将其存储在带有排名的另一列中例如：- 亚历克斯 50 3 阿努 85 1 利米 41 4 萨姆 56 2...

hadoop mapreduce hive

回答 1 投票 0

类型错误：无法解压不可迭代的浮点对象 - MapReduce - mrjob

我正在测试一个简单的例子来了解MapReduce和mrjob。目标是将所有数字的对数相加，并将所有数字的计数除以该总和。代码很简单...

python mapreduce hadoop-streaming mrjob

回答 1 投票 0

NoClassDefFoundError：org/apache/hadoop/yarn/util/Clock

运行WordCount命令时出现一些错误： 2023-10-06 15:55:35,005 INFO mapreduce.Job：作业 job_1696606856991_0001 在 uber 模式下运行：false 2023-10-06 15:55:35,006 INFO mapreduce.Job：地图 0% ...

hadoop mapreduce word-count

回答 1 投票 0

“信息：Tez 会话尚未创建。正在打开会话”挂起

我正在使用 HDP 2.3.0.0-2557，我正在尝试运行如下所示的配置单元查询：直线> !connect jdbc:hive2://localhost:10000 连接到 jdbc:hive2://localhost:10000 输入用户名...

hadoop mapreduce hive tez

回答 2 投票 0

基本配置单元插入作业无法工作，出现错误“容器以非零退出代码 127 退出。错误文件：prelaunch.err。”

hive> 插入 test.emp (sr_no,usr_name,city) 值 (10,"Prince","Kathmandu"); 查询 ID = Princemehta_20230311033859_3d7f53f2-3523-4a8b-840d-fcb6aa8729cd 职位总数 = 3

hadoop hive mapreduce

回答 3 投票 0

MapReduce 框架输出列表与完全确定值

我对MapReduce的初步理解是，它是为了解决reduce函数的输出与reduce函数的输入兼容的问题而设计的，这样就可以称为repea...