Hadoop 2代表了非常流行的开源分布式平台Apache Hadoop的第二代。
我有一个外部ORC表，其中包含大量小文件，这些文件每天都来自源代码。我需要将这些文件合并为更大的文件。我试图将ORC文件加载到...
在数据帧中重新分配5000万条记录数据是否是个好主意？如果是，那么有人请告诉我这样做的适当方法
我们将在我们的组织中处理大数据（约5000万条记录）。我们基于日期和其他一些参数来划分数据，但数据不是平均分区的。我们能做......
我的群集（HDP）正在使用YARN容量调度程序。 nameNode UI显示版本2.7.1.2.4.3.30。我试图在我的hive脚本中将作业优先级设置为HIGH：set mapreduce.job.priority = HIGH; ...
不支持的子查询表达式''Fashion''：SubQuery表达式仅指外部查询表达式
我正在使用以下查询：从customer_data中选择UserId，Category（在（'Fashion'，'Electronics'）中的类别）和（'Click'，'AddToCart'，'Purchase'）中的操作）和customer_data.UserId不在（...
当我在纱线群集上运行spark作业时，应用程序正在队列中运行。那么如何在并行数量的应用程序中运行？
我们有一个带有三个不同ID的Hive表，都是可选的。在每行中，必须提供三个ID中的至少一个。如果提供了多个ID，则建立了...之间的等价
我通过我研究的大学提供的VNC软件（远程访问）使用IBM的大量见解，但我无法通过该桌面访问Internet。要使用互联网上的一些数据样本，我...
Hadoop 2.7.3，Spark 2.1.0和Hive 2.1.1。我试图将spark设置为hive的默认执行引擎。我将$ SPARK_HOME / jars中的所有jar上传到hdfs文件夹并复制了scala-library，spark-core，...
我正在设置一个用于学习目的的hadoop集群。为此我尝试安装java并在安装之前通过运行java -version来检查以前安装的java ...
当Hadoop运行时，它有几个组件，如datanode，namenode，scheduler，container等等。我可以运行java 1.8中的datanode，namenode，scheduler和一些修改后的mapreduce容器...
我用这样的命令运行构建：./ mkdistro.sh -DskipTests和这个：./ mkdistro.sh -DskipTests -D hadoop.version = 2.3.0 -P uber -P hadoop-2但是所有都失败并显示错误消息： [错误] ......
我刚刚开始学习hadoop，我对分裂的工作方式有疑问。例如，我有一个像下面的文件与键值 - 2 1121291290r5405454 1 2192949495959454454 2 ...
hadoop集的类路径在哪里？当我运行下面的命令时，它给了我类路径。类路径设置在哪里？ bin / hadoop classpath我正在使用hadoop 2.6.0
当我在mapreduce模式下运行pig时，我收到ConnectionRefused错误。详细信息：我已经从tarball（pig-0.14）安装了Pig，并在bashrc中导出了类路径。我有所有的Hadoop（...
我正在尝试使用beeline cli查询hive表并将输出结果存储为变量。使用beeline命令：beeline -u connection_string -n user_name -w password_file \ -e“从db中选择count（*）....
在apache配置文件中增量数据加载的最佳方法，其中sqoop未将数据加载到HDFS中
我有一个场景 - 使用实用程序数据文件[每次都有相同的名称 - 先删除旧文件然后加载更新/最新文件]从源系统推送到定义的HDFS ...
带有Window功能的Spark 12 GB数据加载性能问题
我正在使用sparksql来转换12 GB数据。我的转换是在一个字段上应用行号和分区，然后将数据分成两组第一组，其中行号为1和第二...
无法实例化org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
Hive shell正在开始，但每当我点击shell中的任何命令时，请说hive> show databases;我收到以下错误：FAILED：SemanticException org.apache.hadoop.hive.ql.metadata ....
将从AWS控制台手动调整正在运行的群集的大小，以及退役和调试
从AWS控制台手动调整正在运行的集群的大小会在内部使用调用和撤销过程吗？我们正在开发EMR集群，我们从aws控制台手动调整集群大小...