Hadoop分布式文件系统(HDFS)是Apache Hadoop使用的默认文件存储系统。 HDFS创建多个数据块副本,并将它们分布在整个集群中的数据节点上,以实现可靠的计算,并计算商用硬件上的大量数据。
我不久前问了一个类似的问题,但后来我不知道我在说什么。我发布此问题的详细信息和点查询。所以我设置了hadoop集群......
我是Hadoop的初学者。这些问题与Hadoop 2.8.3版本的Web UI有关。如何禁用/更改WEB UI上的READ ONLY MODE(http:// localhost:50070)。我试着收到信息......
无法找到org.apache.hadoop.conf.Configuration
我正在进行java-maven项目。它将文件从本地复制到HDFS。我在我的pom.xml中有hadoop-common。仍然,它失败了以下错误:线程“main”java.lang中的异常....
当我执行$ ls时,我找到一个名为file_name.csv的文件但是,当我尝试执行$ hdfs dfs -put /home/user_name/file_name.csv tempfolder时(/ home / user_name /是file_name.csv所在的位置) ...
我有一个8节点的Hadoop集群,每个节点有24个具有超线程的物理内核,因此,48个vCPU和256GB内存。我正在尝试运行6TB Terasort工作。问题:Terasort没有运行......
我有一个由4个虚拟机(1个主服务器和3个从服务器)组成的虚拟hadoop集群,最近为集群中的数据节点增加了100GB容量。问题是HDFS没有检测到这个......
下面是我在flume.conf中的设置:agent.sources = srcpv agent.channels = chlpv agent.sinks = hdfsSink agent.sources.srcpv.type = exec ag ent.sources.srcpv.command = tail -F / var / log / collector /网络/ PV ....
我使用saveAsTextFile方法来保存RDD,但它不在文件中,而是有许多部分文件如下图所示。所以,我的问题是如何将这些文件重新加载到一个RDD中。
我在dfs中创建了一个名为/ foodir的目录来测试,如下所示:hadoop dfs -mkdir / foodir有人能告诉我这个/ foodir在哪里保存了吗?我该如何查看路径?我需要确定,它是......
在hdfs(namenode)中使用的命名空间和元数据的含义是什么
作为hadoop的初学者,我对这些单词命名空间和元数据感到困惑。这两者之间有什么关系吗?
我有txt格式的数据文件,我需要加载到一个hive表我创建了一个表来从这个文件加载数据,然后LOAD命令插入数据,如下所示CREATE TABLE dev.table(...
sqoop导入的数据但是有空的part-m-00000文件?
使用Apache sqoop将数据从oracle数据库导入HDFS时。它是导入但空文件。 sqoop import --connect jdbc:oracle:thin:@ 192.168.0.15:1521:XE --username system --password ...
我想知道如何找到Hive表与它们所代表的实际HDFS文件(或更确切地说,目录)之间的映射。我需要直接访问表文件。 Hive在哪里存储......