hadoop2 相关问题

如何删除禁止的。 我有HDP Hortonworks 2.5.3群集，纱线中的MapReduce作业因错误而失败： java.io.ioexception：DistCP失败：Job Job_1498784032636_0015 失败的： 申请

HDFS和ADL之间的差异是什么？ 我对Azure Data Lake在与HDF中的不同之处感到困惑。任何人都可以简单地解释它吗？

Hadoop Namenode 故障转移过程如何工作？ [已关闭]

Hadoop 权威指南说 - 每个Namenode运行一个轻量级故障转移控制器进程，其 它的工作是监视其 Namenode 是否出现故障（使用简单的 心跳机制）和触发...

Configuration.set可以在Mapper中使用吗？

我正在尝试将一些数据从映射器保存到作业/主要，以便我可以在其他作业中使用它。 我尝试在我的主类（包含主函数）中使用静态变量，但是当...

新的 HiveConf 异常 NoClassDefFoundError：com/ctc/wstx/io/InputBootstrapper

我正在运行 HiveConf 测试，当新的 HiveConf 说“java.lang.NoClassDefFoundError: com/ctc/wstx/io/InputBootstrapper”时，总是会出现异常 我尝试显式添加此 jar 依赖项...

使用 hbase-testing-utility 2.2.3 将 hadoop 升级到 3.1.2

目标 我想从 HDFS 切换到 s3a 客户端。为此，我需要从 Hadoop 2.8.5 至少升级到 3.1.2，因为我需要使用 AssumedRoleCredentialProvider 进行 AWS 访问。

BDB0091 DB_VERSION_MISMATCH：数据库环境版本与 Ambari 2.4.2 不匹配

我正在通过Ambari 2.4.2在Centos 7.2主机上部署hadoop服务。当我进入该过程的“安装、启动和测试”阶段时，出现以下错误： 执行 '/usr/bin/yum -d ...

datanode正在启动但在jps中没有显示

我在ubuntu中安装了hadoop，当我运行以下命令时： 须藤苏 hduser cd /usr/local/hadoop/etc/hadoop sudo rm -R /应用程序/* sudo rm -R /tmp/* hadoop namenode-格式 启动-dfs.sh &&

Hadoop UI 浏览目录错误

当我在浏览器中打开 hadoop UI 时。我收到此错误： HDFS 上不存在路径或 WebHDFS 已禁用。请检查您的路径或启用WebHDFS 你能告诉我我缺少什么以及如何修复吗

由于“attemptid”的 AM 容器以 exitCode: -1000 退出而失败 2 次

我对 Hadoop 非常陌生（我正在使用 hadoop-2.7.3），我正在尝试做一个 WordCount 示例。来自 youtube 的示例 在将 jar 文件移动到 hadoop 时，我收到如下错误 '失败了 2 次...

如何指定 AWS 访问密钥 ID 和秘密访问密钥作为 amazon s3n URL 的一部分

我将输入和输出文件夹作为参数传递给来自网页的mapreduce字数统计程序。 出现以下错误： HTTP Status 500 - 请求处理失败；嵌套异常是 java.l...

在 Hadoop 2.0 中处理超过 300 万个小文本文件

我正在寻找以下问题陈述的解决方案（在HADOOP 2.2+版本中）。 问题陈述： 我们每天需要处理超过 300 万个文件。我们是 有兴趣捕捉...

Yarn UI 显示没有活动节点，而它出现在 HDFS UI 中

我已经在我的笔记本电脑中设置了 Hadoop， 当我在 Hadoop 上提交作业时（通过 MapReduce 和 Tez）， 状态始终为 ACCEPTED，但进度始终停留在 0%，并且描述写的是“w...

配置hadoop.service.shutdown.timeout属性

我需要配置 hadoop.service.shutdown.timeout 的值，因为当我们的 MR 作业停止时关闭钩子会触发超时： 2023-08-25 08:44:39,566 [警告] [Thread-0] [org.apache.hadoop.u...

Accumulo 错误：“ZOOKEEPER_HOME 未设置或不是目录”与单独的 ZooKeeper 集群

我正在尝试设置一个使用单独的 ZooKeeper 集群的 Accumulo 集群。我已将 accumulo-site.xml 文件配置为包含带有主机名或 IP 的 instance.zookeeper.host 属性...

Hadoop文件系统应该关闭吗？

我正在构建一个使用文件系统API向Hadoop写入数据的spring-boot供电服务。一些数据被写入到parquet文件中，大块数据被缓存在内存中，所以当服务关闭时，......

用spark读取多个json模式。

软件配置：Hadoop发行版：Amazon 2.8.3 应用：Hive 2.3.2，Pig 0.17.0，Hue 4.1.0 Hadoop distribution:Amazon 2.8.3 Applications:Hive 2.3.2, Pig 0.17.0, Hue 4.1.0, Spark 2.3.0 Tried to read with multiple json schema, val df = spark.read.option("...")

mahout日志的存储位置

我是一个新的Mahout。我已经运行了mahout集群任务，但它失败了，我无法知道为什么这个任务失败了，那么mahout日志存储在哪里呢？

如何在不重启Hadoop服务的情况下清除 "副本保留空间"？

如何找到 "Replicas保留空间 "不断增加的原因，如何限制这类缓存的空间？我们发现 "Replicas的保留空间 "超过了Non DFS使用的空间（最后 ...

filebeat to kafka : 无法连接到代理。

我是apache环境下的新手，目前正在尝试从filebeat producer发送日志数据到kafka broker。环境：kafka 2.11（通过ambari安装）filebeat 7.4.2（windows），我尝试...