Hadoop分布式文件系统（HDFS）是Apache Hadoop使用的默认文件存储系统。 HDFS创建多个数据块副本，并将它们分布在整个集群中的数据节点上，以实现可靠的计算，并计算商用硬件上的大量数据。
我已经删除了我的 HDFS 路径 /user/abc，一些 Hive 表存储在 /user/abc/data/abc.db 中，使用 rm -R 命令。 尽管使用 Hive SQL 正确删除了我的常规表，但我的外部 ...
GENERATE_EEK和GET_METADATA在hdfs透明加密中的作用
我不太清楚 GENERATE_EEK 和 GET_METADATA 的 ACL 允许什么。 从对 HDFS 透明加密的天真理解来看，GENERATE_EEK 似乎是一个生成 ...
如何让 Spark avro 阅读器在读取分区时停止推断类型
尝试从 hdfs 读取按年月日分区的 avro 文件。 我期望分区被读取为字符串，但类型被推断为整数 所以说我正在阅读 avro 文件......
我正在开发一个spark测试程序，读取一个外部的hive表，执行一些转换，并使用Hive wharehouse连接器写入hive管理的表，以测试两者之间的连接... ...
我在HIVE中有三个外部表：表1：CREATE EXTERNAL TABLE IF NOT EXISTS table_1( unique_key_column_1 VARCHAR, column_needed_1 DATE, column_needed_2 TIMESTAMP, column_needed_3 INT, ...。
为elasticsearch注册一个基于HDFS的快照仓库时，出现连接拒绝错误。
使用dockers测试elasticsearch快照-restore与HDFS仓库插件。从Docker Hub拉来hadoop-docker和elasticsearch.docker run -it -d -p 8088:8088 -p 51270:50070 -p 9000:...
Hadoop- Namenode在Safemode中，为什么？
我遇到了一个问题，在namenode日志中显示 "Name node is in safe mode"，而命令 "hdfs dfs -safemode get "的输出却显示 "Safe mode is OFF"。请帮助我
我想用Apache Spark从HDFS读写协议缓冲区的消息。我发现这些建议的方法。1)用Google的Gson Library将protobuf messsages转换为Json，然后Readwrite ...
嗨，有谁能给我解释一下HDFS主控（Namenode负责什么？ 也有谁能给我解释一下HDFS中Namenode和Datanode元数据到底是什么。我最近开始学习SPARK，但我们的讲座没有...
我在ec2上有一个单节点hadoop集群。尝试在 slaves 文件中给出所有可能的组合。5月1日2020 08:16:25.227 DEBUG org.apache.hadoop.hdfs.DFSClient - pipeline = 172.31.45.114:9866 May ....
我想为Hdfs中的parquet文件保留数据，对于这些已经用snappy压缩过的文件类型，用什么压缩技术好呢？
我想在AWS上运行一个HDFS集群，在那里我可以存储需要使用我的自定义应用程序在EC2实例上运行处理的数据。AWS EMR是我能找到的创建HDFS的唯一方法 ...
如果我想把HDFS中的日志摄取到Filebeat中，我该怎么做？我可以指定本地驱动器上的任何目录，但我希望Filebeat从HDFS中提取数据。有没有...
我如何使用python从Azure Data Lake Gen 2读取文件？
我有一个文件躺在Azure Data lake gen 2文件系统中。我想读取文件的内容，并作出一些低级别的改变，即从记录中的几个字段删除几个字符。为了更 ...
我正在构建一个使用文件系统API向Hadoop写入数据的spring-boot供电服务。一些数据被写入到parquet文件中，大块数据被缓存在内存中，所以当服务关闭时，......
EKS集群中AWS EBS的HDFS Namenode格式问题
我有EKS集群和EBS存储类卷。我有elasticsearch集群与这个EBS存储（作为持久化volumepvc）运行良好。我正在尝试部署hdfs namenode镜像（bde2020hadoop-...
HDFS客户端拨号tcp：lookup xxx(my hostname) on 127.0.0.11:53: no such host(没有这个主机)
我使用golang lib(https:/github.comcolinmarchdfs)来与我的HDFS交互。当我使用client.CopyToRemote(src, dest)将本地文件复制到远程HDFS时，有时会在运行时出现这个错误。
在localhost127.0.0.1关闭NameNode。
当我在ECS上使用binhdfs namenode -format启动我的hadoop-2.10.0时，它不能工作。SHUTDOWN_MSG: Shutting down NameNode at localhost127.0.0.1 我修改了我的hosts文件，并添加了172.16.74.149 cong ...。
为什么我不能运行hadoop jar文件，每次我运行它都说它说类未找到异常 itemclick.itemclick.ItemClick？
我使用下面的代码和我使用下面的命令运行hadoop jar文件hadoop jar'homemanthanjainHadoop-click-analysisItemclick.jar' itemclick.itemclick.ItemClick 'Hadoop-click-...
hdfs + namenode + 编辑文件越来越大，如何限制编辑文件的大小？
我们的HDP集群有7台数据节点机器，在hadoophdfsnamenodecurrent下，我们可以看到超过1500个编辑文件，每个文件大约是7M到20M，如下7.8M的hadoophdfsnamenode。