Hadoop分布式文件系统（HDFS）是Apache Hadoop使用的默认文件存储系统。 HDFS创建多个数据块副本，并将它们分布在整个集群中的数据节点上，以实现可靠的计算，并计算商用硬件上的大量数据。
如何使用 Docker 在 Windows 上设置 Apache Impala？
任何人都可以帮助我提供分步指南或 docker-compose.yml 文件，该文件可用于设置 Apache Impala 及其所需的服务（例如，Impala Daemon、State Store、Catalog Service、HDF）。 ..
Apache NiFi 2.0.0 中缺少 PutHDFS 处理器
我使用的是 Apache NiFi 2.0.0，不幸的是它不包括 PutHDFS 处理器。我的项目需要这个版本的 NiFi，因为它具有与 Python 脚本的集成功能，所以升级...
Apache Nifi：Puthdfs 处理器 - 复制到 0 个节点，而不是 minReplication (= 1)。有 1 个数据节点正在运行，1 个节点被排除
我正在使用 Apache NIFI 1.28 版本，我正在尝试创建一个简约的数据流，我在其中生成数据并希望在 HDP（Hortonworks 数据平台）2.5.0 中摄取 HDFS，我正在...
我正在使用 Apache NIFI 1.28 版本，我正在尝试创建一个简约的数据流，我在其中生成数据并希望在 HDP（Hortonworks 数据平台）2.5.0 中摄取 HDFS，我正在...
如何检查namenode返回哪个HDFS datanode ip到spark？
如果我在 PySpark 中读取/写入数据帧并指定 HDFS 名称节点主机名和端口： df.write.parquet("hdfs://namenode:8020/test/go", mode="覆盖") 有什么办法
在 Spark SQL 中编写 SQL 与使用 Dataframe API
我是 Spark SQL 世界的新手。我目前正在迁移应用程序的摄取代码，其中包括阶段摄取数据、HDFS 中的原始层和应用程序层以及进行 CDC（更改数据捕获），
我在基于 HDFS 的数据湖上使用 PySpark 和 Apache Iceberg，并且遇到了严重的存储问题。我的应用程序每秒都会摄取实时数据。大约2小时后，我...
src/hdfs 中有一个 Hdfs.java，lib 中有一个实用程序 jar 文件。 使用实用程序 jar 编译 Hdfs.java 时给出的选项是什么？ 我该如何执行？ 我走过...
在集群中的执行器上运行 python 脚本 [Scala/Spark]
我有python脚本： 导入系统 对于 sys.stdin 中的行： 打印（“你好”+行） 我在集群中的工作人员上运行它： def run(spark: SparkSession) = { val data = List("约翰"...
我想将结果存储在文本文件中并按我想要的名称命名。是否可以使用 STORE 功能来做到这一点？ 我的代码： a = 使用 PigStorage(';') 加载 'example.csv'; b = FOREACH a 生成 $0,$1,$2...
无法通过 Hadoop Web 界面将已删除的文件移至垃圾箱
我在 Hadoop-3.3.6 Web 界面中遇到了有关文件删除的问题。默认情况下，当我通过 Hadoop Web 界面删除文件时，它们将被永久删除并且不会消失...
.gz 文件是不可分割的。但如果我将它们放在 HDFS 中，它们会根据块大小创建多个块
我们都知道.gz是不可分割的，这意味着只有单核可以读取它。这意味着，当我将一个巨大的 .gz 文件放在 HDFS 上时，它实际上应该作为单个块存在。我看到它正在变得 sp...
我是hadoop新手，我正在尝试在hdfs中创建一个名为input_dir的目录。我已经设置了我的虚拟机，安装并成功启动了hadoop。 这是我运行的命令： hdfs dfs -mkdir 输入...
我正在构建个人项目，但我陷入困境。 具体来说，在编写 Spark 作业来处理和转换数据后，我将数据加载到 hadoop HDFS 中。然后我想把hdfs连接到snowflake上，然后...
从 Cloudera Impala (HDFS) 到 Vertica 的数据迁移
我正在尝试执行从HDFS（Cloudera Impala）到Vertica数据库的数据迁移。 有什么办法可以加快数据传输速度吗？我已经看到 CDataSync 可能是一个合适的工具，但我不能
我正在按照此解决方案将外部表加载到 Impala 中，因为如果通过引用文件加载数据，我会得到相同的错误。 所以，如果我运行： [quickstart.cloudera:21000] > 创建外部
我有一个关于 fsimage 中的元数据是什么的问题。我读到文件系统名称空间的所有突变，例如文件重命名、权限更改、文件创建、块分配...
这是我第一次使用 qjs 安装 Hadoop HA，至少整整一周我都遇到了很多麻烦。 实验室设置如下 10.0.0.10 动物园1 solr1 had1 10.0.0.11 动物园2 solr2 had2 10....
使用 Hive 和 Hadoop 设置 Presto：加载 Hadoop 本机库时出错
我正在尝试在 Hive 也已启动并运行的机器上配置单节点 Presto，还安装了 3 节点 Hadoop 集群并在单独的 3 台机器上运行。以下是我的配置...
我们正在将 HDFS 数据从 HDP 非安全集群迁移到 CDP 安全集群，当我阅读 Cloudera 文档时，他们提到“distcp”作为处理