mapreduce 相关问题

哪个更适合日志分析

我必须使用Hadoop相关工具分析存储在生产服务器上的Gzip压缩日志文件。我无法决定如何做到这一点，以及使用什么，这里有一些方法我...

k折交叉验证模型选择方法

我想知道我们如何从k-fold交叉验证方法中选择模型。在k折交叉验证中，我们可以使用k模型的平均精度获得k个模型和精度分数。你能 ...

ApplicationMaster退出代码杀死的容器是143

我在几种情况下遇到以下错误：2017-03-23 11：55：10,794 INFO [AsyncDispatcher事件处理程序] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl：诊断报告.. 。

Python：期望缩进块

我试图用mapreduce运行2个python程序，每当我运行它们时都会出现错误。下面是2个文件的代码。它一直告诉我，预计有一个缩进的块错误......

如何将key为null且setNumReduceTasks（0）为MapReduce程序中的分隔符指定空格

我试过conf.set（“mapreduce.output.textoutputformat.separator”，“”）;但它没有用。 O / P正在获取{tab space} val1 {tab space} val2 O / P预期val1 val2

“步骤1的计数器：没有计数器发现”使用Hadoop和mrjob

我有一个python文件在Hadoop（版本2.6.0）上使用mrjob来计算bigrams，但我没有得到我希望的输出，我在解码终端输出时遇到问题...

Map-Reduce作业无法提供预期的分区文件

在Map-Reduce作业中，我使用五个不同的文件，其中我的数据集中包含两个类别P和I下的值。在找到特定值后，我将这些传递给I-part-r-00000文件...

在python中的列表列表中使用已定义的函数

我有一个定义的函数：def map（id，txt）：mapop = [] words = txt.split（）用于单词的单词：tmp =（word，id，1）mapop.append（tmp）return mapop我试过了申请这个......

Pydoop mapreduce“AttributeError：module'wordcount_minimal'没有属性'__main__'”

我安装了Pydoop并尝试运行MapReduce作业。为了做一个干运行，我尝试执行单词计数示例wordcount_minimal.py和wordcount_full.py。它们都挂在地图阶段。 ...

Hive上的小文件的性能问题

我正在阅读一篇关于小文件如何降低hive查询性能的文章。 HTTPS：//community.hitachivantara.com/community/products-and-solutions/pentaho/blog/2017/11/07/working -...

更改关键文件mongodb聚合

聚合是可能的。我将对象的键更改为它的_id。我正在尝试使用map-reduce进行聚合与项目。任何的想法？我有什么：{“serie”：{“_ id”：......

在Hadoop MapReduce中找到排除“the”，“am”，“is”和“are”的十大最常用字词？

我正在使用MapReduce处理WordsCount问题。我使用了Lewis Carroll着名的透过镜子的txt文件。它非常大的档案。我运行了我的MapReduce代码并且工作正常。现在我 ...

MongoDb汇总多列

我正在涉足mongoDb并尝试使用map reduce查询。我需要总结来自不同列的多个值（num1，num2，num3，num4，num5）。关闭本指南http：//docs.mongodb.org / ...

如何编写hadoop map减少scala中的程序

我正在写一个地图减少应用程序scala。直到地图功能一切正常。但在编写减速机的同时我遇到了问题。 override def reduce（key：Text，values：java.lang.Iterable [Text] ...

在hadoop map-reduce中运行jar文件时出错

在Hadoop中运行jar文件时，我遇到了错误。我无法理解问题是什么。下面是地图代码// Mapper类公共静态类E_EMapper扩展...

计算最终地图中的总行数减少hadoop中的输出

目前我的num reduce任务设置为job.setNumReduceTasks（100）;所以我的最终输出目录在S3中，如下所示/output/part-r-00000.gz /output/part-r-00001.gz ...等...

使用shell脚本的Hadoop流：reducer因错误而失败：没有这样的文件或目录

我正在使用10节点HDP集群，我试图在Bash上使用shell脚本运行一个简单的WordCount作业.Below是我正在使用的Commmand行参数。纱瓶/usr/hdp/2.6.5.0-292/hadoop -...

apache pig count sort

我正在阅读猪的apache日志，它计算了ip的总连接数。 A = LOAD'access.log'使用PigStorage（''）为（f0：chararray，f1：chararray，f2：chararray，f3：chararray，f4：chararray，f5：...

Hadoop Map减少代码的前N个值

我是hadoop世界的新手，并努力完成一项简单的任务。任何人都可以通过仅使用Map reduce代码技术告诉我如何获得字数计数的前n个值？我不 ...

MRJob在Python中排序

我有一项任务，要求我在python中使用mapper / reducer来完成客户数据的MapReduce。我有一个CSV文件，其中包含CustomerID，ProductID和已用金额。第一项任务......