Hadoop分布式文件系统（HDFS）是Apache Hadoop使用的默认文件存储系统。 HDFS创建多个数据块副本，并将它们分布在整个集群中的数据节点上，以实现可靠的计算，并计算商用硬件上的大量数据。
我正在本地 Windows 计算机上安装 HDFS。我遵循的安装指南是 https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window...
我正在尝试使用 org/apache/lucene/misc/IndexMergeTool 将两个 Solr 核心索引合并到新索引中。 所有索引都保存在 HDFS 上的路径 /apps/solr/data/collection_name/data/index 下。 所以我创造了...
如何使用linux或hdfs命令将多个parquet文件合并为单个parquet文件？
我生成了多个小 parquet 文件作为 hive ql 作业的输出，我想将输出文件合并到单个 parquet 文件吗？ 使用 hdfs 或 linux 命令执行此操作的最佳方法是什么...
我正在为 Hadoop 构建自动安装脚本，但遇到了 HBase 无法启动的问题，因为 HDFS 尚未完全启动并准备就绪。我如何以编程方式（从 Bash、ide...
我被问到以下问题。 面试官：如何恢复hdfs中删除的文件。 我：我们可以从垃圾目录复制/移回原始目录。 采访者：除了...还有其他办法吗
MOD10A1 NDSI 积雪层中 100 到 200 的值意味着什么？
我正在使用 MODIS 积雪产品 (MOD10A1)，无法理解返回的一些值。我正在尝试从 NDSI 获取积雪覆盖百分比（归一化积雪指数差异...
请求下载时，请求的url是主机名，所以出现了400 bad request。 我的服务器是 5 个，hadoop 是 1 个名称节点、1 个辅助节点和数据节点、3 个数据节点 总共 1namenode 1secondarynamenode 4data...
我正在尝试使我的自定义 Spark 数据源将我的数据集写入文件中，其中我有第一行元数据（例如文件创建的时间戳），然后是我的行和带有
如何去掉制表符 hadoop 罐子\ /usr/hdp/3.1.0.0-78/hadoop-mapreduce/hadoop-streaming.jar \ -Dmapred.reduce.tasks=1 \ -Dmapred.job.queue.name=默认\ -输入
我使用以下sql创建了一个托管表并向其中添加了数据 创建表 test.internal_table ( id 整数， 名称 STRING ）； 插入表 test.internal_table 值 （1，“约翰”）， （...
在 Hive 外部表上执行 INSERT INTO 是否也会将行插入底层 HDFS 数据集？
我有一个 Hive 外部表“customer_main”映射到基于 .orc 的 HDFS 数据集，该数据集的路径为“/dev/customer/customer_main/”。如果我运行 INSERT INTO customer_main VALUES() 来插入一行...
在spark中，在从 hdfs 读取文件时，对于每条记录，我想向 df 添加一列，其中包含读取记录的文件的文件创建时间戳。 例如 hdfs具有以下结构 /
我想知道，如何确保HDFS数据访问充分利用本地复制，尽量减少网络传输的使用。 我在 3 台机器上托管 HDFS，并且复制设置为 3...
Hadoop localhost:9870 浏览器界面无法正常工作
我需要使用Hadoop进行数据分析。因此我安装了 Hadoop 并配置如下。但 localhost:9870 不起作用。即使我每次使用它时都会格式化名称节点。一些
Apache IoTDB 和 HDFS 是否需要集成来存储时序数据？
我现在正在研究Apache IoTDB与其他数据软件的集成。不知道IoTDB是否可以使用HDFS作为底层存储结构？或者建议将这两个软件结合起来
如何在 HDFS 中解压 bz2 文件 系统想要将此.csv 文件上传到我在 hive 中创建的表中 2003.csv.bz2 我有这个文件 zcat 2003.csv.bz2 | hdfs dfs -put - /user/$USER/workspace 这我
如何读取存储为一维数组的 hdf5 文件。并以图像形式查看它们？
我有一个以.hdf5格式存储的大型图像分类数据集。数据集的标签和图像存储在 .hdf5 文件中。我无法查看图像，因为它们以表单存储......
在 Hadoop 中运行 wordcount 示例时，我遇到以下错误。 说“JAR 不存在或不是普通文件： /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduceexamp...
这是我第一次搭建Hadoop伪分布式模式。我能够按照我的课程说明进行安装，没有任何问题，直到最后一步使用此 com 启动节点...
我担心从 MongoDB 中提取数据，我的应用程序处理 MongoDB 中的大部分数据。 我曾使用 sqoop 来提取数据，并发现 RDBMS 通过 sqoop 与 HDFS 结合在一起。