mapreduce 相关问题

MapReduce是一种使用大量节点处理某些类型的可分发问题的大型数据集的算法

使用MapR MultipleOutputs写入OrcNewOutputFormat时出错

我们从ORC文件中读取数据，并使用MultipleOutputs将其写回到ORC和Parquet格式。我们的工作仅是Map，没有reducer。在某些情况下，我们会遇到以下错误：...

java hadoop mapreduce amazon-emr

回答 1 投票 2

如何获得最大数量？

好，所以我必须从文件中找到最大数量，我有2行，编号为1、2、3、2、4、3行现在我想找到最大数量，我的代码也可以正常工作但是问题...

python python-3.x mapreduce mapper mrjob

回答 1 投票 0

从带有pyspark中嵌套元素的RDD获取平面RDD

我在Pyspark中有两个RDD，它们的嵌套元素如下：a = sc.parallelize（（（（1,2），3，（4，（6,7，（8,9，（11），10））， 5,12）））b = sc.parallelize（1,2，（3,4））嵌套可以具有任何深度。我想...

python apache-spark pyspark mapreduce

回答 1 投票 0

-Dmapred.job.name不适用于s3-dist-cp命令

我想使用s3-dist-cp将一些文件从emr-hdfs复制到s3存储桶，我已经尝试从“ EMR主节点”中使用此cmd：s3-dist-cp -Dmapred.job.name = my_copy_job --src hdfs：//// user / hadoop / abc s3：// ...

hadoop amazon-s3 mapreduce distcp s3distcp

回答 1 投票 0

Hadoop中最原始的数据协调方式

我需要根据关键比较在Hadoop中进行数据协调。这意味着我将把旧数据放在一个文件夹中，而较新的数据将放在不同的文件夹中。在批处理结束时，我是...

java hadoop hashmap mapreduce hdfs

回答 1 投票 0

混洗阶段实际上是做什么的？

洗牌阶段实际上是做什么的？可能性-A由于改组是将映射器o / p引入化简器o / p的过程，因此它只是将特定的键从映射器引入到...

hadoop mapreduce shuffle mapper reducers

回答 1 投票 2

我如何在oozie作业中指定多个libpath？

我的oozie作业使用2个jar x.jar和y.jar，以下是我的job.properties文件。 oozie.libpath = / lib oozie.use.system.libpath = true当两个罐子都位于相同的位置时，这是完美的...

hadoop jar mapreduce oozie

回答 1 投票 6

理想的火花配置

在我们的项目中，我在带有MapR的HDFS上使用Apache Spark。我们在运行Spark Jobs时遇到了问题，因为它在数据少量增加后就失败了。我们正在从csv文件中读取数据，正在执行某些操作...

apache-spark mapreduce hdfs mapr

回答 1 投票 0

在日期/时间范围内的查询配置单元分区表

我的蜂巢表按年，月，日，小时进行分区现在我想从2014-05-27到2014-06-05提取数据？我知道一个选择是在纪元（或yyyy-mm-dd-hh）上创建分区，然后...

hadoop mapreduce hive bigdata hiveql

回答 3 投票 5

在Apache配置单元中执行分析查询（例如select count（*）时出错）>

当我在蜂巢上执行简单查询时，例如select * from table3 limit 100; ，结果还可以。但是当我从table3执行select count（*）时；我遇到以下错误：0：艾滋病毒>选择...

hadoop hive mapreduce yarn apache-tez

回答 1 投票 1

如何在Java的mapReduce中调用mongodb服务器端函数

我已经在名为“ mapfun”和“ reducefun”的“ system.js”集合中存储了两个函数，我正尝试从Java调用这些函数。我试图通过MapReduceCommand调用这些函数。 ...

javascript java mongodb mapreduce

回答 1 投票 0

TaskStatus类中Hadoop的getProgress（）方法是什么？

类TaskStatus类具有方法getProgress（），但是我不确定该方法实际返回什么。是花费的时间还是输入的数据已处理？我想知道如何...

hadoop mapreduce

回答 1 投票 0

合并我的结果，以免创建另一个映射器

我正在从事MapReduce项目，并希望改善输出。我在发布的票证上使用带有日期的CSV文件，我需要查看票证最多的彩色汽车。第33列...

python mapreduce

回答 1 投票 0

在Python中删除空格

我是Python的新手，所以我试图使之尽可能简单。我正在使用CSV文件，其中包含我必须Mapreduce的数据。在我的映射器部分中，我得到了空白数据，该数据不允许我...

python csv mapreduce blank-line

回答 1 投票 0

map处理数据在hadoop中可能为空

我想启用IPFlow统计信息，第一列是序列号，第二列是电话号码，第三列是上流数据，第四列是下流数据。我想运行一个结合了上流的mapreduce程序...

java hadoop mapreduce

回答 1 投票 0

Azure HDInsight链式Mapreduce：输入路径不存在

因此，我的map reduce功能可以在本地VM上正常运行，但是在Azure上，它为我提供了输入路径未找到错误。我有两组映射器和化简器函数，第一个化简器的输出进入...

azure hadoop mapreduce cluster-computing hdinsight

回答 1 投票 0

如何将前两个配置单元表中的数据加载到下面的第三个配置表中？

下面是我面临的问题的简化版本，假设我在Hive中有一个员工和一个部门表。我的目标是将这两个表中的数据加载到下面的第三个表中。但是，...

sql database mapreduce hiveql

回答 1 投票 0

无法创建数据库路径文件：/ user / hive /仓库错误

我有一个3节点的群集，运行某些HIVE查询时失败，失败：元数据错误：MetaException（message：无法创建数据库路径文件：/ user / hive / warehouse / ...

linux hadoop mapreduce hive hdfs

回答 2 投票 3

MapReduce作业配置-无法设置超级模式

我正在尝试将MapReduce作业设置为在uber模式下运行，但控制台仍注销uber模式：无论我做什么，每次都为false。 2010年4月19日17:07:13 INFO mapreduce。职位：工作job_1554301089905_0055 ...

java hadoop mapreduce

回答 1 投票 0

如何在Spring Data MongoDB中投影地图并在ProjectionOperation中进行缩减？

我无法在ProjectionOperation的java mongodb中进行映射和减少操作。我在本机mongo查询中有这样的项目操作：{$ project：{data：{$ map：{...

java mongodb mapreduce mongodb-query spring-data-mongodb

回答 1 投票 1

mapreduce 相关问题

最新问题