Hadoop分布式文件系统（HDFS）是Apache Hadoop使用的默认文件存储系统。 HDFS创建多个数据块副本，并将它们分布在整个集群中的数据节点上，以实现可靠的计算，并计算商用硬件上的大量数据。
Apache IoTDB 和 HDFS 是否需要集成来存储时序数据？
我现在正在研究Apache IoTDB与其他数据软件的集成。不知道IoTDB是否可以使用HDFS作为底层存储结构？或者建议将这两个软件结合起来
如何在 HDFS 中解压 bz2 文件 系统想要将此.csv 文件上传到我在 hive 中创建的表中 2003.csv.bz2 我有这个文件 zcat 2003.csv.bz2 | hdfs dfs -put - /user/$USER/workspace 这我
如何读取存储为一维数组的 hdf5 文件。并以图像形式查看它们？
我有一个以.hdf5格式存储的大型图像分类数据集。数据集的标签和图像存储在 .hdf5 文件中。我无法查看图像，因为它们以表单存储......
在 Hadoop 中运行 wordcount 示例时，我遇到以下错误。 说“JAR 不存在或不是普通文件： /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduceexamp...
这是我第一次搭建Hadoop伪分布式模式。我能够按照我的课程说明进行安装，没有任何问题，直到最后一步使用此 com 启动节点...
我担心从 MongoDB 中提取数据，我的应用程序处理 MongoDB 中的大部分数据。 我曾使用 sqoop 来提取数据，并发现 RDBMS 通过 sqoop 与 HDFS 结合在一起。
运行 MapReduce 作业显示错误 - Mkdirs 无法创建 /var/folders/
当我在 Mac 终端中运行 MapReduce 作业时： PawandeepSingh1$ hadoop jar MaximumTemperature.jar 线程“main”中出现异常 java.io.IOException：Mkdirs 无法创建 /var/folders/v1/
在hadoop中配置完所有*.xmls文件后。我使用命令： ./sbin/start-all.sh 一切顺利我使用 jps 检查进程，所有进程都在运行。 但是当我访问 localhost:80...
HiveAccessControlException 权限被拒绝：用户没有 [ALL] 权限
我对 hive 和 hadoop 生态系统非常陌生。 我正在尝试在配置单元中创建一个新表，但遇到此错误： 根据一些建议，我必须设置 Ranger 策略，但基于
我正在尝试使用 Hadoop Java 库在我的 hadoop 集群上运行 distcp 命令，将内容从 HDFS 移动到 Google Cloud Bucket。我收到错误 NoClassDefFoundError: Could not
通过控制 HDFS 中的物理文件/块位置来减少 Spark Shuffle 读/写
设置： 我们每小时在 hdfs 中接收 gzip 压缩的 csv 文件（例如每 24 小时 1k+ 个文件）。这些文件组织在文件夹结构 /data//// 中 设置： 我们每小时在 hdfs 中接收 gzip 压缩的 csv 文件（例如每 24 小时 1k+ 个文件）。这些文件组织在文件夹结构中 /data/<year>/<month>/<day>/<hour>/<unique_id>.csv.gz. 我们的 etl 流程（spark 应用程序每天运行一次。在该管道中，我们 阅读当天的所有文件， 应用一些变换， 按小时重新分区整个数据集并将结果写回 hdfs（每天产生 24 个 avro 文件）。 观察： 在监视 Spark 作业时，我可以看到很多 shuffle 操作（还涉及通过网络传输大量数据，尤其是在步骤 2 和 3 之间）。在步骤 1/2 中，为每个文件创建一个任务，该任务安排在提供最佳局部性级别 (PROCESS_LOCAL) 的执行器节点上。在步骤 3 中，我们每小时执行一个任务（总共 24 个任务），每个任务将一个 avro 文件写回 hdfs。 这些大型 shuffle 操作的原因是特定小时的输入 csv 文件物理上位于 hdfs 中的多个不同集群节点。读取/转换操作后，特定小时的所有记录都需要发送到单个执行器，该执行器在步骤 3 中运行该小时的写入任务。 优化思路： 为了优化这个过程，我们的想法是以某种方式物理定位同一节点同一小时内的所有原始 csv 文件/块。我们不会摆脱洗牌操作，但这主要需要执行器节点上的本地洗牌读/写，并最大限度地减少网络流量。在这一点上，还值得一提的是，网络带宽在我们的集群中是非常有限的资源。因此，Spark 应用程序大部分时间都在整理数据。 是否有可能在上传过程中或者通过按 cron 计划运行的单独脚本来影响/控制 hdfs 中文件的物理位置？ 还有其他选项可以优化/简化此流程吗？ 作为一种可能的解决方案，不要将多个 .gz 文件写入一个小时，而是尝试将数据附加到 hdfs 文件。这可能更容易实现
我有一个使用此 docker-compos.yaml 文件创建的名称节点和数据节点 版本：“3” 服务： 名称节点： 图片：apache/hadoop:3 主机名：192.168.105.139
我在 hdfs 位置有一个名为“FileName.zip”的 zip 文件。我想将此 zip 文件复制到 sftp 服务器。 zip 文件夹结构如下（下载到本地时）- 文件名.zip - 文件...
与 webhdfs 相关的 web ui hadoop 错误
我使用的是单节点hadoop版本release-3.3.1-RC3。在 web ui hadoop 中的实用程序 -> 浏览文件系统下，可以直接查看文件的内容（开头和结尾）...
我对配置单元在哪里存储数据有点困惑。 它将数据存储在 HDFS 还是 RDBMS 中？ Hive Meta 存储是否使用 RDBMS 来存储 Hive 表元数据？ 谢谢
据我所知，在从一个 HDFS 位置移动到另一个位置时，没有直接的选项可以覆盖 HDFS 中的文件，复制 cp 可以选择强制。我正在尝试寻找是否有...
我有大量日常文件存储在 HDFS 中，其中分区以 YYYY-MM-DD 格式存储。 例如： $ hdfs dfs -ls /我的/路径/这里 /我的/路径/此处/cutoff_date=2023-...
Haddop 集群有 3 个活动节点，但资源管理器中只有 1 个活动节点
我使用来自 docker hub 的 apache/hadoop 镜像在 docker 上运行 hadoop。 我只是使用默认配置运行并添加 2 个模式数据节点 这是我的 docker-compose.yaml 版本：“2” 服务：
我正在使用 Apache Hadoop 3.3.6。 我在 hdfs-site.xml 中进行了设置： dfs.namenode.secondary.https-地址 192.168.56.193:9869 我正在使用 Apache Hadoop 3.3.6。 我在 hdfs-site.xml 中进行了设置： <property> <name>dfs.namenode.secondary.https-address</name> <value>192.168.56.193:9869</value> </property> 但是启动时，我的辅助名称节点以与名称节点相同的IP（192.168.56.213）启动。我该如何解决它？ 我尝试在互联网上搜索但无法收到任何满意的答案。 通过 SSH 连接到该服务器并显式启动辅助名称节点 $ ssh 192.168.56.193 $ $HADOOP_HOME/sbin/hadoop-daemon.sh start secondarynamenode 您可以通过检查 Hadoop 日志或运行以下命令来验证辅助 Namenode 是否正在运行： $ $HADOOP_HOME/bin/hdfs dfsadmin -report
当我在 shell 上运行此命令时工作正常： sqoop 导入 --增量追加 --check-column id_civilstatus --last-value -1 --connect jdbc:postgresql://somehost/somedb --用户名 someuser --pas...