Hadoop是一个Apache开源项目，为可靠和可扩展的分布式计算提供软件。核心由分布式文件系统（HDFS）和资源管理器（YARN）组成。各种其他开源项目，例如Apache Hive，使用Apache Hadoop作为持久层。
我正在使用uhopper / hadoop docker image来创建纱线簇。我有3个节点，每个节点有64GB RAM。我添加了配置。我已经给了纱线32GB。总簇内存为96GB。 - ......
如何在Hortonworks沙箱Hadoop平台中运行mapreduce作业
我是Hadoop的新手。我已经安装了oracle虚拟盒并在虚拟机中安装了hortonworks沙箱的图像。此外，我已经在eclipse中编写了wordcount程序并尝试...
我有一个由4个虚拟机（1个主服务器和3个从服务器）组成的虚拟hadoop集群，最近为集群中的数据节点增加了100GB容量。问题是HDFS没有检测到这个......
无法将窗口调用分解为组。错误：org.apache.hadoop.hive.ql.parse
我正在尝试从两个表连接两列，以生成一列的唯一id.Max列值，其中包含另一个表的行号。从MPPO S中选择（MAX（S.m_id））;选择row_number（）OVER（ORDER ...
Apache Spark错误使用hadoop将数据卸载到AWS S3
我正在使用Apache Spark v2.3.1并尝试在处理之后将数据卸载到AWS S3。像这样：data.write（）。parquet（“s3a：//”+ bucketName +“/”+ location）;配置似乎是......
我已经配置了HDFS，Datanode和namenode以及hbase。我在HDFS中存储了一个CDR csv文件。那么如何将其与Hbase映射并准备好进行处理呢？
Spark＆Scala：saveAsTextFile（）异常
我是Spark＆Scala的新手，在调用saveAsTextFile（）后我得到了异常。希望有人可以帮忙...这是我的input.txt：Hello World，我是程序员Hello World，我是程序员这是......
我有一个火花程序，涉及大型Hive表的连接操作（数百万行，数百列）。在这些连接期间使用的内存非常高。我想了解......
我在dfs中创建了一个名为/ foodir的目录来测试，如下所示：hadoop dfs -mkdir / foodir有人能告诉我这个/ foodir在哪里保存了吗？我该如何查看路径？我需要确定，它是......
我希望在我的一个项目场景中对Hadoop等大数据平台的使用有一些专家意见。虽然我理解像......这样的数据库，但我是这项技术的新手。
在hdfs（namenode）中使用的命名空间和元数据的含义是什么
作为hadoop的初学者，我对这些单词命名空间和元数据感到困惑。这两者之间有什么关系吗？
我试图使用sqoop将oracle表导出到hive表：sqoop import --connect jdbc：oracle：thin：@ ：1521： - 用户名 - 密码 - 表
我正在尝试使用我上传到HDFS目录的CSV在Impala中创建一个表。 CSV包含用引号括起来的逗号的值。示例：1.66.96.0 / 19，“NTT Docomo，INC。”，“......
我在文本文件的顶部创建了一个临时的hive表，如下所示：CREATE EXTERNAL TABLE tc（fc String，cno String，cs String，tr String，at String，act String，wa String，dn String，pnm String，rsk String，ttp ...
如何在Spark提交中使用s3a和Apache spark 2.2（hadoop 2.8）？
我正在尝试使用使用hadoop 2.8版本构建的spark 2.2.0从spark访问S3数据，我使用的是/jars/hadoop-aws-2.8.3.jar,/ jars / aws-java-sdk-s3- 1.10.6.jar和/ jars / aws-java-sdk -...
我有3台服务器Centos 7（防火墙和selinux禁用）chadoop1（主机），chadoop2（从机）和chadoop3（从机）当我开始服务，节点没有，我在jps上看到，不显示DataNode和NodeManager ... 。
如果我们使用Hadoop处理大数据，那么数据会存储在哪里因为hadoop数据库HBase存储结构化数据而大数据是非结构化数据
Hadoop用于处理大数据，hadoop使用HBase作为其数据库，但BigData可能80％是非结构化的，HBase仅存储结构化数据。非结构化数据存储在哪里？要么 ...
使用cloudera中sqoop命令中的lastmodified和--merget-key选项进行表导入。它在执行命令时抛出缺少的参数异常。这是我的命令[cloudera @ quickstart~] ...
我们如何仅从hdfs联合中的一个名称空间中排除某些数据节点？
我正在检查hadoop联合会。这里的数据节点很常见，只有命名空间才不同。我们如何只从一个命名空间中排除某些数据节点。