hdfs 相关问题

Hadoop分布式文件系统(HDFS)是Apache Hadoop使用的默认文件存储系统。 HDFS创建多个数据块副本,并将它们分布在整个集群中的数据节点上,以实现可靠的计算,并计算商用硬件上的大量数据。

以编程方式进行Hadoop HDFS写操作

我不久前问了一个类似的问题,但后来我不知道我在说什么。我发布此问题的详细信息和点查询。所以我设置了hadoop集群......

回答 1 投票 2

如何在hdfs web ui中禁用“只读模式”?

我是Hadoop的初学者。这些问题与Hadoop 2.8.3版本的Web UI有关。如何禁用/更改WEB UI上的READ ONLY MODE(http:// localhost:50070)。我试着收到信息......

回答 1 投票 0

无法找到org.apache.hadoop.conf.Configuration

我正在进行java-maven项目。它将文件从本地复制到HDFS。我在我的pom.xml中有hadoop-common。仍然,它失败了以下错误:线程“main”java.lang中的异常....

回答 1 投票 0

没有这样的文件或目录与hdfs

当我执行$ ls时,我找到一个名为file_name.csv的文件但是,当我尝试执行$ hdfs dfs -put /home/user_name/file_name.csv tempfolder时(/ home / user_name /是file_name.csv所在的位置) ...

回答 2 投票 0

运行Terasort时获取失败太多

我有一个8节点的Hadoop集群,每个节点有24个具有超线程的物理内核,因此,48个vCPU和256GB内存。我正在尝试运行6TB Terasort工作。问题:Terasort没有运行......

回答 1 投票 0

HDFS未检测到数据节点容量增加

我有一个由4个虚拟机(1个主服务器和3个从服务器)组成的虚拟hadoop集群,最近为集群中的数据节点增加了100GB容量。问题是HDFS没有检测到这个......

回答 1 投票 0

水槽hdfs水槽的滚动设置

下面是我在flume.conf中的设置:agent.sources = srcpv agent.channels = chlpv agent.sinks = hdfsSink agent.sources.srcpv.type = exec ag ent.sources.srcpv.command = tail -F / var / log / collector /网络/ PV ....

回答 1 投票 0

如何在Spark中将大量文件加载到一个RDD中

我使用saveAsTextFile方法来保存RDD,但它不在文件中,而是有许多部分文件如下图所示。所以,我的问题是如何将这些文件重新加载到一个RDD中。

回答 2 投票 0

你如何检查dfs中的目录

我在dfs中创建了一个名为/ foodir的目录来测试,如下所示:hadoop dfs -mkdir / foodir有人能告诉我这个/ foodir在哪里保存了吗?我该如何查看路径?我需要确定,它是......

回答 1 投票 0

在hdfs(namenode)中使用的命名空间和元数据的含义是什么

作为hadoop的初学者,我对这些单词命名空间和元数据感到困惑。这两者之间有什么关系吗?

回答 2 投票 7

Hive:从文本文件创建表。处理特殊字符

我有txt格式的数据文件,我需要加载到一个hive表我创建了一个表来从这个文件加载数据,然后LOAD命令插入数据,如下所示CREATE TABLE dev.table(...

回答 1 投票 -1

sqoop导入的数据但是有空的part-m-00000文件?

使用Apache sqoop将数据从oracle数据库导入HDFS时。它是导入但空文件。 sqoop import --connect jdbc:oracle:thin:@ 192.168.0.15:1521:XE --username system --password ...

回答 1 投票 0

Hive在哪里存储HDFS中的文件?

我想知道如何找到Hive表与它们所代表的实际HDFS文件(或更确切地说,目录)之间的映射。我需要直接访问表文件。 Hive在哪里存储......

回答 11 投票 63

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.