hadoop2 相关问题

Hadoop 2代表了非常流行的开源分布式平台Apache Hadoop的第二代。

结束作业= job_local644049657_0014有错误作业期间出错,获取调试信息

如何查找日志文件请指导我已经检查了Resouce经理的网址。但我没有找到任何日志文件这是完整的错误查询ID = hadoop_20170325120040_d54d136a-1904-4af9 -...

回答 1 投票 0

纱线应用的持续时间登录hadoop

我在hadoop中使用yarn应用程序命令的输出来了解使用作业名称运行的mapreduce作业的详细信息。我的群集正在使用HDP分发。是......

回答 1 投票 0

如何在Hive中解析嵌套的Json结构?

在hadfs中我有以下json。 {“result”:[{“sys_tags”:{“display_value”:“d1”,“value”:“v1”},“user_input”:{“display_value”:“d2”,“value”:“v2”} },{“sys_tags”:{“display_value”:“d1”,“...

回答 2 投票 0

hadoop -getmerge有替代品吗?

我试图使用hadoop get merge在集群中合并80 GB文件,但是由于hadoop get merge具有将文件从hdfs复制到本地文件系统的属性,我必须复制到本地然后...

回答 3 投票 0

将MR作业提交给具有不同ID的Hadoop集群

我们可以将MR作业提交给hadoop集群的最佳方式是什么?场景:开发人员有自己的id,例如dev-user1,dev-user2等.Hadoop集群有各种各样的id ...

回答 1 投票 -1

Hdfs复制因子1覆盖默认行为

有没有办法覆盖hdfs上第一个副本块的默认行为?我想要做的是确保当我设置dfs.replication = 1时块的副本位于不同的datanode上

回答 2 投票 1

HDFS为文件及其所有目录授予权限

我在HDFS中有以下数据(2个文件):/ a / b / c /f1.txt /f2.txt我想将f1.txt和f2.txt的权限更改为644:例如hadoop fs -chmod 644 /a/b/c/*.txt然而,在......

回答 2 投票 0

运行Terasort时获取失败太多

我有一个8节点的Hadoop集群,每个节点有24个具有超线程的物理内核,因此,48个vCPU和256GB内存。我正在尝试运行6TB Terasort工作。问题:Terasort没有运行......

回答 1 投票 0

在同一个hive表上进行多次压缩

我有一个按年/月分区的Hive表,它包含至少7年的数据。我想做什么通过Snappy压缩最新的数据(比如1到1岁),但旧的数据通过......

回答 1 投票 1

我必须实现hadoop,所以它可以处理呼叫详细记录的数据?

我已经配置了HDFS,Datanode和namenode以及hbase。我在HDFS中存储了一个CDR csv文件。那么如何将其与Hbase映射并准备好进行处理呢?

回答 1 投票 -1

Hadoop用例场景

我希望在我的一个项目场景中对Hadoop等大数据平台的使用有一些专家意见。虽然我理解像......这样的数据库,但我是这项技术的新手。

回答 3 投票 2

sqoop导入的数据但是有空的part-m-00000文件?

使用Apache sqoop将数据从oracle数据库导入HDFS时。它是导入但空文件。 sqoop import --connect jdbc:oracle:thin:@ 192.168.0.15:1521:XE --username system --password ...

回答 1 投票 0

MAC ----- Hadoop 2.7无法执行目标org.apache.maven.plugins:maven-antrun-plugin:1.7

我试图从源代码安装Hadoop 2.7.2,我得到了以下错误,我已经google了但找不到任何解决方案。请帮忙。关心Mac:10.11.2(64位); Java:java版“1.8 ....

回答 1 投票 4

设置多节点Hadoop Hortonworks群集

我正在研究hadoop中的概念验证,我可能会设置一个具有HDP和HDF hortonwork组件的集群。数据量非常小,因此磁盘容量可能不需要超过......

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.