Hadoop 2代表了非常流行的开源分布式平台Apache Hadoop的第二代。
结束作业= job_local644049657_0014有错误作业期间出错,获取调试信息
如何查找日志文件请指导我已经检查了Resouce经理的网址。但我没有找到任何日志文件这是完整的错误查询ID = hadoop_20170325120040_d54d136a-1904-4af9 -...
我在hadoop中使用yarn应用程序命令的输出来了解使用作业名称运行的mapreduce作业的详细信息。我的群集正在使用HDP分发。是......
在hadfs中我有以下json。 {“result”:[{“sys_tags”:{“display_value”:“d1”,“value”:“v1”},“user_input”:{“display_value”:“d2”,“value”:“v2”} },{“sys_tags”:{“display_value”:“d1”,“...
我试图使用hadoop get merge在集群中合并80 GB文件,但是由于hadoop get merge具有将文件从hdfs复制到本地文件系统的属性,我必须复制到本地然后...
我们可以将MR作业提交给hadoop集群的最佳方式是什么?场景:开发人员有自己的id,例如dev-user1,dev-user2等.Hadoop集群有各种各样的id ...
有没有办法覆盖hdfs上第一个副本块的默认行为?我想要做的是确保当我设置dfs.replication = 1时块的副本位于不同的datanode上
我在HDFS中有以下数据(2个文件):/ a / b / c /f1.txt /f2.txt我想将f1.txt和f2.txt的权限更改为644:例如hadoop fs -chmod 644 /a/b/c/*.txt然而,在......
我有一个8节点的Hadoop集群,每个节点有24个具有超线程的物理内核,因此,48个vCPU和256GB内存。我正在尝试运行6TB Terasort工作。问题:Terasort没有运行......
我有一个按年/月分区的Hive表,它包含至少7年的数据。我想做什么通过Snappy压缩最新的数据(比如1到1岁),但旧的数据通过......
我已经配置了HDFS,Datanode和namenode以及hbase。我在HDFS中存储了一个CDR csv文件。那么如何将其与Hbase映射并准备好进行处理呢?
我希望在我的一个项目场景中对Hadoop等大数据平台的使用有一些专家意见。虽然我理解像......这样的数据库,但我是这项技术的新手。
sqoop导入的数据但是有空的part-m-00000文件?
使用Apache sqoop将数据从oracle数据库导入HDFS时。它是导入但空文件。 sqoop import --connect jdbc:oracle:thin:@ 192.168.0.15:1521:XE --username system --password ...
MAC ----- Hadoop 2.7无法执行目标org.apache.maven.plugins:maven-antrun-plugin:1.7
我试图从源代码安装Hadoop 2.7.2,我得到了以下错误,我已经google了但找不到任何解决方案。请帮忙。关心Mac:10.11.2(64位); Java:java版“1.8 ....
我正在研究hadoop中的概念验证,我可能会设置一个具有HDP和HDF hortonwork组件的集群。数据量非常小,因此磁盘容量可能不需要超过......