Hadoop分布式文件系统（HDFS）是Apache Hadoop使用的默认文件存储系统。 HDFS创建多个数据块副本，并将它们分布在整个集群中的数据节点上，以实现可靠的计算，并计算商用硬件上的大量数据。
我正在构建一个使用文件系统API向Hadoop写入数据的spring-boot供电服务。一些数据被写入到parquet文件中，大块数据被缓存在内存中，所以当服务关闭时，......
EKS集群中AWS EBS的HDFS Namenode格式问题
我有EKS集群和EBS存储类卷。我有elasticsearch集群与这个EBS存储（作为持久化volumepvc）运行良好。我正在尝试部署hdfs namenode镜像（bde2020hadoop-...
HDFS客户端拨号tcp：lookup xxx(my hostname) on 127.0.0.11:53: no such host(没有这个主机)
我使用golang lib(https:/github.comcolinmarchdfs)来与我的HDFS交互。当我使用client.CopyToRemote(src, dest)将本地文件复制到远程HDFS时，有时会在运行时出现这个错误。
在localhost127.0.0.1关闭NameNode。
当我在ECS上使用binhdfs namenode -format启动我的hadoop-2.10.0时，它不能工作。SHUTDOWN_MSG: Shutting down NameNode at localhost127.0.0.1 我修改了我的hosts文件，并添加了172.16.74.149 cong ...。
为什么我不能运行hadoop jar文件，每次我运行它都说它说类未找到异常 itemclick.itemclick.ItemClick？
我使用下面的代码和我使用下面的命令运行hadoop jar文件hadoop jar'homemanthanjainHadoop-click-analysisItemclick.jar' itemclick.itemclick.ItemClick 'Hadoop-click-...
hdfs + namenode + 编辑文件越来越大，如何限制编辑文件的大小？
我们的HDP集群有7台数据节点机器，在hadoophdfsnamenodecurrent下，我们可以看到超过1500个编辑文件，每个文件大约是7M到20M，如下7.8M的hadoophdfsnamenode。
我有1Gb的文件在本地文件系统tmpdist_testfle，我可以复制它：hadoop fs -put file:/tmpdist_testfile maprfs:/，但不能distcp它。命令 hadoop distcp file:/tmpdist_testfile ...。
最近我试着写了一个bash脚本来管理hdfs中的一些目录，以便与kafka一起工作。假设在hdfs中我们有一个这样的目录：tmpmy_dirstate=a，当我列出这个...
当我试图将json从本地路径复制到Hadoop文件分布式系统时，我遇到了一个问题。我已经按照这个链接http:/www.codeproject.com......中给出的步骤进行了编码。
我有一个Java程序，工作与大型数据集。该数据集存储在hdfs（csv）中。该程序工作正常，但它是非常缓慢的。程序要做的是：加载csv文件单独一行到String[]过滤器......。
我正在写一个bash脚本，用来扫描HDFS，并对输出结果进行处理。获取文件名很容易，如下： for line in $(hdfs dfs -ls -t -r -C -R $HDFS_CLEANING_STG); do ...
我在HDFS上有两个相同模式的parquet目录。我想把这两个目录合并成一个parquet目录，以便能够创建一个外部的hive表。我已经上网查了我的 ...
按照我的理解，HBase表按行键范围横向划分为 "区域"。一个区域包含了该区域起始键和结束键之间的表中所有行。假设我有一个...
在Ambari中，在Tez视图中，每个查询内的 "详细信息 "窗格有一个下载数据按钮。如果有人按了这个按钮，它就会下载一个大约1MB的压缩文件，比如说，"......"。
Hadoop Docker容器只能复制到0个节点，而不是minReplication（=1）。
我尝试了不同的Hadoop容器的docker镜像，但当我尝试将文件写入HDFS时，它们都不工作。我总是得到错误信息。Caused by: org.apache.hadoop.ipc.RemoteException(java.io...)。
我有多个文件存储在一个hdfs位置，如下 userproject202005part-01798 userproject202005part-01799 有2000个这样的部分文件。每个文件的格式为{'Name': ...
我如何从HDFS读取数据，然后将它们发送到Elasticsearch并显示在kibana仪表板上？我知道在ES-Hadoop中有一个连接器可以双向发送数据，但是......
HDFS以复制的形式存储数据，当我们使用SQOOP将数据从HDFS移动到RDBMS时，sqoop如何避免将重复的数据从HDFS导出到RDBMS？