Hadoop分布式文件系统（HDFS）是Apache Hadoop使用的默认文件存储系统。 HDFS创建多个数据块副本，并将它们分布在整个集群中的数据节点上，以实现可靠的计算，并计算商用硬件上的大量数据。
HDFS 由于“状态备用时不支持操作类别 WRITE”而出现许多坏块 - 了解为什么 datanode 找不到 Active NameNode
最近我想将集群从2.6.5升级到3.1.3，但失败了。所以我将版本回滚到旧版本。但是发生了一些奇怪的事情。我们集群的datanode无法将块的情况报告给...
使用正则表达式分隔符将数据加载到 Hive 表时获取额外的空值
我在hdfs上的一个文件中有以下5行数据。我想将其加载到表中。我有正则表达式可以做到这一点，但它为每行数据加载一行额外的空值。有谁知道吗...
安装hadoop时出现“HADOOP_COMMON_HOME”错误
我第一次在 VMFusion 上的 Ubuntu 18.04 上安装 hadoop (3.2.2)。在安装结束时，当我运行“hdfs namenode -format”时，它显示：错误：无效的 HADOOP_COMMON_HOME。 这是...
HDFS存储支持压缩格式来存储压缩文件。我知道 gzip 压缩不支持夹板。现在想象一下该文件是一个 gzip 压缩文件，其压缩大小为 1 G...
配置在windows上运行的pentaho 9.3来访问linux上的hadoop集群和目录
我已经在 Linux 上的两个节点集群上安装了 Hadoop，并且它运行完美，在 3 个虚拟机上，我在 Windows 上安装了 Pentaho，我正在尝试创建与集群的连接，但是...
我正在尝试连接到远程计算机上运行的 HDFS 实例。 我在 Windows 机器上运行 eclipse，而 HDFS 在 Unix 机器上运行。这是我尝试过的 配置...
我正在本地 Windows 计算机上安装 HDFS。我遵循的安装指南是 https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window...
我正在尝试使用 org/apache/lucene/misc/IndexMergeTool 将两个 Solr 核心索引合并到新索引中。 所有索引都保存在 HDFS 上的路径 /apps/solr/data/collection_name/data/index 下。 所以我创造了...
如何使用linux或hdfs命令将多个parquet文件合并为单个parquet文件？
我生成了多个小 parquet 文件作为 hive ql 作业的输出，我想将输出文件合并到单个 parquet 文件吗？ 使用 hdfs 或 linux 命令执行此操作的最佳方法是什么...
我正在为 Hadoop 构建自动安装脚本，但遇到了 HBase 无法启动的问题，因为 HDFS 尚未完全启动并准备就绪。我如何以编程方式（从 Bash、ide...
我被问到以下问题。 面试官：如何恢复hdfs中删除的文件。 我：我们可以从垃圾目录复制/移回原始目录。 采访者：除了...还有其他办法吗
MOD10A1 NDSI 积雪层中 100 到 200 的值意味着什么？
我正在使用 MODIS 积雪产品 (MOD10A1)，无法理解返回的一些值。我正在尝试从 NDSI 获取积雪覆盖百分比（归一化积雪指数差异...
请求下载时，请求的url是主机名，所以出现了400 bad request。 我的服务器是 5 个，hadoop 是 1 个名称节点、1 个辅助节点和数据节点、3 个数据节点 总共 1namenode 1secondarynamenode 4data...
我正在尝试使我的自定义 Spark 数据源将我的数据集写入文件中，其中我有第一行元数据（例如文件创建的时间戳），然后是我的行和带有
如何去掉制表符 hadoop 罐子\ /usr/hdp/3.1.0.0-78/hadoop-mapreduce/hadoop-streaming.jar \ -Dmapred.reduce.tasks=1 \ -Dmapred.job.queue.name=默认\ -输入
我使用以下sql创建了一个托管表并向其中添加了数据 创建表 test.internal_table ( id 整数， 名称 STRING ）； 插入表 test.internal_table 值 （1，“约翰”）， （...
在 Hive 外部表上执行 INSERT INTO 是否也会将行插入底层 HDFS 数据集？
我有一个 Hive 外部表“customer_main”映射到基于 .orc 的 HDFS 数据集，该数据集的路径为“/dev/customer/customer_main/”。如果我运行 INSERT INTO customer_main VALUES() 来插入一行...
在spark中，在从 hdfs 读取文件时，对于每条记录，我想向 df 添加一列，其中包含读取记录的文件的文件创建时间戳。 例如 hdfs具有以下结构 /
我想知道，如何确保HDFS数据访问充分利用本地复制，尽量减少网络传输的使用。 我在 3 台机器上托管 HDFS，并且复制设置为 3...
Hadoop localhost:9870 浏览器界面无法正常工作
我需要使用Hadoop进行数据分析。因此我安装了 Hadoop 并配置如下。但 localhost:9870 不起作用。即使我每次使用它时都会格式化名称节点。一些