Hadoop分布式文件系统（HDFS）是Apache Hadoop使用的默认文件存储系统。 HDFS创建多个数据块副本，并将它们分布在整个集群中的数据节点上，以实现可靠的计算，并计算商用硬件上的大量数据。
运行 MapReduce 作业显示错误 - Mkdirs 无法创建 /var/folders/
当我在 Mac 终端中运行 MapReduce 作业时： PawandeepSingh1$ hadoop jar MaximumTemperature.jar 线程“main”中出现异常 java.io.IOException：Mkdirs 无法创建 /var/folders/v1/
在hadoop中配置完所有*.xmls文件后。我使用命令： ./sbin/start-all.sh 一切顺利我使用 jps 检查进程，所有进程都在运行。 但是当我访问 localhost:80...
HiveAccessControlException 权限被拒绝：用户没有 [ALL] 权限
我对 hive 和 hadoop 生态系统非常陌生。 我正在尝试在配置单元中创建一个新表，但遇到此错误： 根据一些建议，我必须设置 Ranger 策略，但基于
我正在尝试使用 Hadoop Java 库在我的 hadoop 集群上运行 distcp 命令，将内容从 HDFS 移动到 Google Cloud Bucket。我收到错误 NoClassDefFoundError: Could not
通过控制 HDFS 中的物理文件/块位置来减少 Spark Shuffle 读/写
设置： 我们每小时在 hdfs 中接收 gzip 压缩的 csv 文件（例如每 24 小时 1k+ 个文件）。这些文件组织在文件夹结构 /data//// 中 设置： 我们每小时在 hdfs 中接收 gzip 压缩的 csv 文件（例如每 24 小时 1k+ 个文件）。这些文件组织在文件夹结构中 /data/<year>/<month>/<day>/<hour>/<unique_id>.csv.gz. 我们的 etl 流程（spark 应用程序每天运行一次。在该管道中，我们 阅读当天的所有文件， 应用一些变换， 按小时重新分区整个数据集并将结果写回 hdfs（每天产生 24 个 avro 文件）。 观察： 在监视 Spark 作业时，我可以看到很多 shuffle 操作（还涉及通过网络传输大量数据，尤其是在步骤 2 和 3 之间）。在步骤 1/2 中，为每个文件创建一个任务，该任务安排在提供最佳局部性级别 (PROCESS_LOCAL) 的执行器节点上。在步骤 3 中，我们每小时执行一个任务（总共 24 个任务），每个任务将一个 avro 文件写回 hdfs。 这些大型 shuffle 操作的原因是特定小时的输入 csv 文件物理上位于 hdfs 中的多个不同集群节点。读取/转换操作后，特定小时的所有记录都需要发送到单个执行器，该执行器在步骤 3 中运行该小时的写入任务。 优化思路： 为了优化这个过程，我们的想法是以某种方式物理定位同一节点同一小时内的所有原始 csv 文件/块。我们不会摆脱洗牌操作，但这主要需要执行器节点上的本地洗牌读/写，并最大限度地减少网络流量。在这一点上，还值得一提的是，网络带宽在我们的集群中是非常有限的资源。因此，Spark 应用程序大部分时间都在整理数据。 是否有可能在上传过程中或者通过按 cron 计划运行的单独脚本来影响/控制 hdfs 中文件的物理位置？ 还有其他选项可以优化/简化此流程吗？ 作为一种可能的解决方案，不要将多个 .gz 文件写入一个小时，而是尝试将数据附加到 hdfs 文件。这可能更容易实现
我有一个使用此 docker-compos.yaml 文件创建的名称节点和数据节点 版本：“3” 服务： 名称节点： 图片：apache/hadoop:3 主机名：192.168.105.139
我在 hdfs 位置有一个名为“FileName.zip”的 zip 文件。我想将此 zip 文件复制到 sftp 服务器。 zip 文件夹结构如下（下载到本地时）- 文件名.zip - 文件...
与 webhdfs 相关的 web ui hadoop 错误
我使用的是单节点hadoop版本release-3.3.1-RC3。在 web ui hadoop 中的实用程序 -> 浏览文件系统下，可以直接查看文件的内容（开头和结尾）...
我对配置单元在哪里存储数据有点困惑。 它将数据存储在 HDFS 还是 RDBMS 中？ Hive Meta 存储是否使用 RDBMS 来存储 Hive 表元数据？ 谢谢
据我所知，在从一个 HDFS 位置移动到另一个位置时，没有直接的选项可以覆盖 HDFS 中的文件，复制 cp 可以选择强制。我正在尝试寻找是否有...
我有大量日常文件存储在 HDFS 中，其中分区以 YYYY-MM-DD 格式存储。 例如： $ hdfs dfs -ls /我的/路径/这里 /我的/路径/此处/cutoff_date=2023-...
Haddop 集群有 3 个活动节点，但资源管理器中只有 1 个活动节点
我使用来自 docker hub 的 apache/hadoop 镜像在 docker 上运行 hadoop。 我只是使用默认配置运行并添加 2 个模式数据节点 这是我的 docker-compose.yaml 版本：“2” 服务：
我正在使用 Apache Hadoop 3.3.6。 我在 hdfs-site.xml 中进行了设置： dfs.namenode.secondary.https-地址 192.168.56.193:9869 我正在使用 Apache Hadoop 3.3.6。 我在 hdfs-site.xml 中进行了设置： <property> <name>dfs.namenode.secondary.https-address</name> <value>192.168.56.193:9869</value> </property> 但是启动时，我的辅助名称节点以与名称节点相同的IP（192.168.56.213）启动。我该如何解决它？ 我尝试在互联网上搜索但无法收到任何满意的答案。 通过 SSH 连接到该服务器并显式启动辅助名称节点 $ ssh 192.168.56.193 $ $HADOOP_HOME/sbin/hadoop-daemon.sh start secondarynamenode 您可以通过检查 Hadoop 日志或运行以下命令来验证辅助 Namenode 是否正在运行： $ $HADOOP_HOME/bin/hdfs dfsadmin -report
当我在 shell 上运行此命令时工作正常： sqoop 导入 --增量追加 --check-column id_civilstatus --last-value -1 --connect jdbc:postgresql://somehost/somedb --用户名 someuser --pas...
如何删除旧的 Spark 流数据？ 我们有 Spark Streaming 进程，它从 kafka 读取数据，转换数据并写入 hdfs。 我们还有另一个 Spark 进程，它创建 Spark sql quer...
Hadoop：有 0 个数据节点正在运行，并且此操作中没有排除任何节点
我在VMware上部署了Hadoop集群。它们都运行在 CentOS 7 上。 在 Master 上发出命令 jps： [root@hadoopmaster 安娜]# jps 6225 名称节点 6995 资源管理器 6580 辅助名称节点 7254 日元 发出com...
我正在尝试在 hadoop HDFS 中查找与以下模式不匹配的文件 hdfs dfs -cat /*.gz 如何捕获所有不以 .gz 结尾的文件？ 编辑：抱歉，但我需要在 Hadoop 中查找文件，
如何删除旧的 Spark 流数据？ 我们有 Spark Streaming 进程，它从 kafka 读取数据，转换数据并写入 hdfs。 我们还有另一个 Spark 进程，它创建 Spark sql 查询...
namenode datanode jps 未在 Windows 命令中列出？
启动 hdfs namenode -format 命令后 它不会在 jps 命令中列出名称节点和数据节点 我仍然没有尝试任何东西，因为 Linux 命令中的所有答案我都想要 Windows co...
Yarn UI 显示没有活动节点，而它出现在 HDFS UI 中
我已经在我的笔记本电脑中设置了 Hadoop， 当我在 Hadoop 上提交作业时（通过 MapReduce 和 Tez）， 状态始终为 ACCEPTED，但进度始终停留在 0%，并且描述写的是“w...