mapreduce 相关问题

MapReduce是一种使用大量节点处理某些类型的可分发问题的大型数据集的算法

我已经使用mongo几个月了，除了简单的基本查询和聚合操作，我对聚合还不是很熟悉。我来自sql语言。我有数据库...

mongodb mapreduce aggregate

回答 1 投票 0

问题-我正在AWS EMR中运行1个查询。它因引发异常而失败-java.io.FileNotFoundException：文件s3：// xxx / yyy / internal_test_automation / 2016/09/17/17156 / data / feed / ...

amazon-web-services mapreduce hive hdfs apache-tez

回答 1 投票 8

Nutch hadoop map减少java堆空间outOfMemory

我正在运行Nutch 1.16，Hadoop 2.83，Solr 8.5.1搜寻器设置，该设置可以运行多达几百万个索引页面。然后我在MapReduce作业期间遇到了Java堆空间问题，并且我...

java hadoop mapreduce nutch

回答 1 投票 0

未找到压缩编解码器com.hadoop.compression.lzo.LzoCodec

尝试使用压缩Hadoop罐\ /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \ randomtextwriter \ -Ddfs.replication = 1 -Dmapreduce.output.fileoutputformat来运行mapreduce作业。...>>

hadoop mapreduce hadoop-lzo

回答 1 投票 0

根据另一个数据集中的时间戳创建新列

假设我们有两个文件：价格和交易。 Price有两列：price和该价格的publishedTime，类似这样：pricepublishedTime 5.05 2020-01-01 11：00：06.122356 9 ....

sql sorting apache-spark mapreduce

回答 1 投票 -1

每月mongodb的所有天总数

嘿，我需要按天数获取所有totalPrice组的总和，但是即使返回0，我也需要获取每月的所有剩余天数，我需要的解决方案是我的代码Order.aggregate（...

mongodb mapreduce mongodb-query aggregation-framework aggregate

回答 1 投票 0

当使用我自己的类作为输出值MapReduce Hadoop时，Reducer不会调用reduce方法

[我试图使用我自己的Class对象作为Mapper的输出值，并在Reducer中使用它们，但未调用reduce（）方法，如果删除...，我的应用程序将被终止。] >

java hadoop mapreduce

回答 1 投票 0

通过在C ++中实现类似python这样的“ map”函数的问题：调用类成员函数

我有一个函数成员：double XC :: nz（double z）{return pow（z / zrange_0,2）* exp（-pow（z / zrange_0,1.5））; }我想得到等价的但具有矢量形式，所以我做了：vector ...] >>

c++ vector mapreduce stdvector

回答 1 投票 0

在reduce函数的输出中删除重复项

当我的徽标名称通过reduce函数与项目中的item对象匹配时，我将输出项目的匹配值。但是，每当我单击多个徽标时，...

javascript arrays reactjs foreach mapreduce

回答 4 投票 0

使用MapReduce实施PageRank

我正在尝试解决通过MapReduce实现PageRank的理论问题。我有以下带有三个节点的简单方案：A BC。邻接矩阵在这里：A {...

algorithm mapreduce pagerank

回答 4 投票 11

将内部Javascript替换为循环而不使用循环，而可以使用map，filter，reduce？

我有2个循环，外部循环已经是现有代码的一部分...但是新的循环我不知道它是否更慢，更难看或什么..但是我想我只是想融入现代js中带有map / reduce / ...

javascript ecmascript-6 mapreduce

回答 4 投票 0

将内部Javascript替换为循环而不使用循环映射，过滤器，缩小吗？

javascript ecmascript-6 mapreduce

回答 2 投票 -1

如果使用Java Stream API，如何在调用reduce之后打印出列表列表？

所以，到目前为止，我试图将字符串读入流，然后最终使用输出。到目前为止，唯一的目标就是简单地将其打印出来而没有错误，但是到目前为止，我还没有运气。 ...

java exception arraylist stream mapreduce

回答 2 投票 -1

将MongoDB中的聚合操作转换为MapReduce

我一直在尝试将此查询转换为MapReduce几天。具体来说，我需要找出有多少辆不同的汽车行驶了“ N”公里。查询：db.adsb.group（{“ key”：{...

javascript mongodb list mapreduce

回答 1 投票 1

使用reduce（）获得字符串中每个字符对/三元组的频率？

我应该以一种功能性的方式完成此任务，因此不会发生任何形式的循环。我已经完成了查找单个字符出现频率的任务。我的代码如下：char_freq = ...

python dictionary functional-programming mapreduce reduce

回答 1 投票 0

如何使用Shell命令实现MapReduce？

您如何在集群上并行执行Unix shell命令（例如awk一个内衬）（步骤1），并将结果收集回中央节点（步骤2）？更新：我刚刚发现http：//blog.last.fm/2009 / ...

parallel-processing rpc mapreduce

回答 2 投票 4

相加两列，在MapReduce中计算最大值，最小值和平均值

我有一个映射器的示例代码，如下所示，键是UCO，值是TaxiTotal，应该是TaxiIn和TaxiOut两列的总和，如何将这两列相加？我当前的...

python hadoop mapreduce sum

回答 1 投票 1

MapReduce还是Spark？ [关闭]

我已经使用cloudera测试了hadoop和mapreduce，发现它非常酷，我以为我是最新且相关的BigData解决方案。但是几天前，我发现了这个：https：//spark.incubator ....

apache-spark hadoop mapreduce

回答 2 投票 26

检查用python编写的配置单元udf中的错误

我已经使用python编写了一个配置单元udf，但是在使用udf运行查询时。我在日志中收到以下错误-错误：java.lang.RuntimeException：关闭时Hive运行时错误...

python hadoop hive mapreduce hiveql

回答 1 投票 0

如何使用NodeJS将2个Json对象组合为一个Json对象？

我有2个JSON对象，定义如下：const totalData = [{主机名：“ abc123”，名称：“ CName-A”，状态：“ PASS”，标题：“不适用”}，{主机名：“ abc123” ，名称：“ CName-B”，...

javascript arrays node.js performance mapreduce

回答 1 投票 0

mapreduce 相关问题

最新问题