mapreduce 相关问题

MapReduce是一种使用大量节点处理某些类型的可分发问题的大型数据集的算法

线程“main”中的异常org.apache.Hadoop.mapred.InvalidJobConfException：未在JobConf中设置输出目录

我是新的Hadoop用户。我的程序是跳过mapreduce中的错误记录数据。我没有跳过坏数据所以首先，我不是试图跳过数据，我想找到发生的错误。所以，我补充说......

java hadoop mapreduce

回答 2 投票 0

在MongoDB mapreduce中，如何展平值对象？

我正在尝试使用MongoDB来分析Apache日志文件。我已经从Apache访问日志创建了一个收据集合。以下是我的模型的简要摘要：db.receipts.findOne（）{...

mongodb mapreduce

回答 7 投票 34

Parquet 文件可选字段不存在

我是使用镶木地板文件的新手，我想开发一个 mapreduce 作业，它使用以下 shcema 读取许多输入的镶木地板文件： { 可选的 int96 dropoff_datetime；可选浮动

java hadoop mapreduce parquet

回答 2 投票 0

任务失败发生在mapreduce过程中

我是hadoop mapreduce的新用户。我想测试mapreduce任务失败。谁能给我链接“测试mapreduce任务失败”的示例代码？

hadoop mapreduce

回答 1 投票 -1

所有任务尝试都已完成，但mapreduce中的作业失败

我使用8个地图任务和1个减少任务。尽管已成功完成所有映射任务尝试，但map reduce作业失败。我的示例代码来自Hadoop初学者指南（Garry Turkington），它是......

hadoop mapreduce

回答 1 投票 1

如何在R中写入map reduce？

我是R.的新手。我知道如何在Java中编写map reduce。我想在R中尝试相同。所以任何人都可以帮助提供任何samle代码，并且R中的MapReduce有任何固定的格式。请发送...

r mapreduce

回答 1 投票 6

Hadoop MapReduce访问减速器中的映射器输出编号

我有一个映射器输出一个句子中的每个字母，这是键，数字1作为其值。例如，我的映射器输出'你好吗'为H 1 o 1 w 1 a 1 r 1 e 1 y 1 o 1 u 1我...

java hadoop mapreduce mapper reducers

回答 3 投票 0

如何使用luigi将输出写入带有orc格式的分区表？

假设我们有这样的工作：class MRjob（JobTask）：def output（self）：return ... def requires（self）：return ... def mapper（self，line）：＃some line process yield key，（.. ....

python hadoop mapreduce etl luigi

回答 1 投票 0

hadoop fs -mkdir没有创建所需的文件夹

我正在尝试执行简单的Hadoop Mapreduce Wordcount示例。我按照本指南运行程序。其中一个步骤是在hdfs文件系统上创建输入和输出文件夹。 ...

java hadoop mapreduce hdfs

回答 1 投票 2

如何使用hadoop Map reduce处理/提取.pst

我正在使用MAPI工具（它的微软lib和.NET），然后使用apache TIKA库来处理和从交换服务器中提取pst，这是不可扩展的。如何使用...处理/提取pst

hadoop mapreduce mapi apache-tika pst

回答 2 投票 2

电影推荐的MapReduce Jaccard相似度计算

我正在考试分布式系统，我试图解决去年考试中的MapReduce问题。但我很难搞清楚我将创建的MR功能。练习......

mapreduce reduce recommendation-engine

回答 1 投票 1

Map-Reduce Logs on Hive-Tez

我希望在Hive-Tez上运行查询后获得Map-Reduce日志的解释？ INFO之后的界限是什么？这里我附上了一个样本信息：Session已经打开INFO：...

mapreduce hive yarn hiveql apache-tez

回答 1 投票 2

如何修复mapreduce中mapper的setup方法给出的字符串值的不规则行为？

我是MapReduce的新手，并且正在学习设置方法的实现。配置给出的新字符串值正确打印，但当我尝试进一步处理它时，......

string hadoop mapreduce

回答 2 投票 0

mapreduce 相关问题

最新问题