Hadoop分布式文件系统（HDFS）是Apache Hadoop使用的默认文件存储系统。 HDFS创建多个数据块副本，并将它们分布在整个集群中的数据节点上，以实现可靠的计算，并计算商用硬件上的大量数据。
我在 hdfs 位置有一个名为“FileName.zip”的 zip 文件。我想将此 zip 文件复制到 sftp 服务器。 zip 文件夹结构如下（下载到本地时）- 文件名.zip - 文件...
与 webhdfs 相关的 web ui hadoop 错误
我使用的是单节点hadoop版本release-3.3.1-RC3。在 web ui hadoop 中的实用程序 -> 浏览文件系统下，可以直接查看文件的内容（开头和结尾）...
我对配置单元在哪里存储数据有点困惑。 它将数据存储在 HDFS 还是 RDBMS 中？ Hive Meta 存储是否使用 RDBMS 来存储 Hive 表元数据？ 谢谢
据我所知，在从一个 HDFS 位置移动到另一个位置时，没有直接的选项可以覆盖 HDFS 中的文件，复制 cp 可以选择强制。我正在尝试寻找是否有...
我有大量日常文件存储在 HDFS 中，其中分区以 YYYY-MM-DD 格式存储。 例如： $ hdfs dfs -ls /我的/路径/这里 /我的/路径/此处/cutoff_date=2023-...
Haddop 集群有 3 个活动节点，但资源管理器中只有 1 个活动节点
我使用来自 docker hub 的 apache/hadoop 镜像在 docker 上运行 hadoop。 我只是使用默认配置运行并添加 2 个模式数据节点 这是我的 docker-compose.yaml 版本：“2” 服务：
我正在使用 Apache Hadoop 3.3.6。 我在 hdfs-site.xml 中进行了设置： dfs.namenode.secondary.https-地址 192.168.56.193:9869 我正在使用 Apache Hadoop 3.3.6。 我在 hdfs-site.xml 中进行了设置： <property> <name>dfs.namenode.secondary.https-address</name> <value>192.168.56.193:9869</value> </property> 但是启动时，我的辅助名称节点以与名称节点相同的IP（192.168.56.213）启动。我该如何解决它？ 我尝试在互联网上搜索但无法收到任何满意的答案。 通过 SSH 连接到该服务器并显式启动辅助名称节点 $ ssh 192.168.56.193 $ $HADOOP_HOME/sbin/hadoop-daemon.sh start secondarynamenode 您可以通过检查 Hadoop 日志或运行以下命令来验证辅助 Namenode 是否正在运行： $ $HADOOP_HOME/bin/hdfs dfsadmin -report
当我在 shell 上运行此命令时工作正常： sqoop 导入 --增量追加 --check-column id_civilstatus --last-value -1 --connect jdbc:postgresql://somehost/somedb --用户名 someuser --pas...
如何删除旧的 Spark 流数据？ 我们有 Spark Streaming 进程，它从 kafka 读取数据，转换数据并写入 hdfs。 我们还有另一个 Spark 进程，它创建 Spark sql quer...
Hadoop：有 0 个数据节点正在运行，并且此操作中没有排除任何节点
我在VMware上部署了Hadoop集群。它们都运行在 CentOS 7 上。 在 Master 上发出命令 jps： [root@hadoopmaster 安娜]# jps 6225 名称节点 6995 资源管理器 6580 辅助名称节点 7254 日元 发出com...
我正在尝试在 hadoop HDFS 中查找与以下模式不匹配的文件 hdfs dfs -cat /*.gz 如何捕获所有不以 .gz 结尾的文件？ 编辑：抱歉，但我需要在 Hadoop 中查找文件，
如何删除旧的 Spark 流数据？ 我们有 Spark Streaming 进程，它从 kafka 读取数据，转换数据并写入 hdfs。 我们还有另一个 Spark 进程，它创建 Spark sql 查询...
namenode datanode jps 未在 Windows 命令中列出？
启动 hdfs namenode -format 命令后 它不会在 jps 命令中列出名称节点和数据节点 我仍然没有尝试任何东西，因为 Linux 命令中的所有答案我都想要 Windows co...
Yarn UI 显示没有活动节点，而它出现在 HDFS UI 中
我已经在我的笔记本电脑中设置了 Hadoop， 当我在 Hadoop 上提交作业时（通过 MapReduce 和 Tez）， 状态始终为 ACCEPTED，但进度始终停留在 0%，并且描述写的是“w...
这是我第一次开发HDFS集群。我发现我可以更改文件所属或权限。 我不明白的是，如果我在 namenode 上创建用户 carl 并更改 /test dire 的所有者...
所以我试图弄清楚如何在不满足 case-when 语句的情况下使 SQL 语句失败。 我一直在做一些搜索，但没有找到任何有用的东西 这是例如查询..
Spark java.io.EOFException：过早的 EOF：没有可用的长度前缀
我正在尝试读取 parquet 文件并对其执行一些操作，并将结果作为 parquet 保存在 HDFS 上。我正在使用 Spark 进行此操作。这样做时我遇到了以下异常。 java.io.
有没有办法删除HDFS上超过10天的文件？ 在 Linux 中我会使用： 查找/path/to/directory/ -type f -mtime +10 -name '*.txt' -execdir rm -- {} \; 有没有办法在 HDFS 上做到这一点？ (
配置错误：namenode地址dfs.namenode.rpc-address未配置
当我尝试启动 DataNode 时收到此错误。据我所知，RPC 参数仅用于 HA 配置，我没有设置（我认为）。 2014-05-18 18:05:00,589
是否可以在 HDFS 上运行二进制可执行文件？我必须在 HDFS 上处理一些文件。到目前为止，我的做法是 hdfs dfs - 将文件获取到本地服务器，处理它，然后 hdfs dfs ...