cloudera-cdh 相关问题

有关Cloudera的Apache Hadoop(CDH)分布的具体问题。在发布问题之前,请先查看https://community.cloudera.com/。

如何在纱线客户端上运行jupyter的火花

我在安装了cloudera manager和spark parcel的情况下部署了一个集群,在shell中输入pyspark时,它可以正常运行jupyter下面的代码抛出异常代码导入系统...

回答 1 投票 0

如何在Hue Cloudera上获取Hive中的下n行

实际上Hive不支持OFFSET(不确定),我将查询结果限制为10行。我想在网络上一次只能查看10行输出,因此在第1页上,将看到10行,接着是下一行......

回答 1 投票 0

在计划程序池上提交Spark作业

我在集群模式下运行火花流工作,我创建了一个内存为200GB(CDH)的池。我想在那个游泳池上运行我的火花流工作,我尝试设置sc.setLocalProperty(“spark ....

回答 2 投票 2

Spark - 找不到异常org.apache.spark.Logging

我们正在使用Spark 2.3.0创建基于Spark的应用程序。我们的Spark工作与HBase交互。在创建JAR时,我们遇到了以下编译时异常异常:[ERROR]类文件...

回答 1 投票 0

Namenode HA(UnknownHostException:nameservice1)

我们通过Cloudera Manager启用Namenode High Availability,使用Cloudera Manager >> HDFS >> Action> Enable High Availability >> Selected Stand By Namenode&Journal Nodes然后......

回答 4 投票 7

Cloudera Hue Web UI默认密码

我最近下载了Cloudera CDH 5.3,现在我需要访问HUE Web UI门户。当我提供属于Cloudera admin / admin的默认用户名和密码时,它无效。 ...

回答 4 投票 2

400 Bad Request执行oozie工作

我正在尝试通过它的Web服务API(Oozie 4.1.0-cdh5.15.2)执行Oozie作业。以前这个工作是通过Oozie命令行API成功执行的,大多数参数都是......

回答 1 投票 0

为什么impala没有显示Hive创建的所有表

我已经使用sqoop将所有表导入到Hive数据库“sqoop_import”中,能够看到所有表成功导入,如下所示: - hive> use sqoop_import; OK时间:0.026秒蜂巢> ...

回答 1 投票 0

将部署模式设置为来自jupyter的pyspark的集群

我在7个主机上安装了带有spark2的cloudera CDH集群(2个匹配器,4个工作器和1个边缘)我在边缘节点上安装了一个Jupyter服务器,我想设置pyspark在集群模式下运行,我运行这个...

回答 2 投票 -1

在kerberos authrication下使用JDBC连接到impala时出错

我创建了一个扩展DriverManagerDataSource的类SecureImpalaDataSource,并使用UserGroupInformation.doAs()来获取与keytab文件的impala连接。但我得到的错误如下:......

回答 3 投票 1

在一个Spark作业中运行两个操作时“超出GC开销限制”;单独运行没问题

我有以下Spark SQL代码检查大表中某些日期的缺失(几十亿行):spark = SparkSession.builder \ .master(“yarn”)\ .appName(“minimal_example”...

回答 1 投票 0

无法使用Spark从HDFS读取文件

我已经使用cloudera manager安装了cloudera CDH 5。我可以很容易地做hadoop fs -ls /input/war-and-peace.txt hadoop fs -cat /input/war-and-peace.txt这个上面的命令将打印整个txt ...

回答 9 投票 29

从视图创建存储为Textfile的表时出错

我正在尝试将视图中的信息加载到存储为文本文件的Hive表中,文本文件配置如下:CREATE TABLE table1(field1 BIGINT,field2 STRING,email STRING,field3 BIGINT,field4 STRING)...

回答 1 投票 0

HBase:如何更改表的memstore?

我们要求在第0天我们将运行历史火花作业以将批量数据加载到HBase中。每天发布,我们只会将结束日数据添加到HBase。要处理这个......

回答 1 投票 0

java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO $ Windows.createDirectoryWithMode0

我无法解决这个异常,我已经阅读了hadoop文档以及我能找到的所有相关的stackoverflow问题。我的fileSystem.mkdirs(***)抛出:线程“main”java.lang中的异常....

回答 3 投票 1

无法使用密钥dfs.encryption.key.provider.uri找到uri来为CDH 5.4创建HDFS加密的keyProvider

CDH版本:CDH5.4.5问题:使用Hadoop CDH 5.4中提供的KMS启用HDFS加密时,将文件放入加密区时会出错。步骤:加密Hadoop的步骤为...

回答 1 投票 8

Spark History Server无法启动

我在3节点集群上安装了CDH 5.4.7。在Spark上运行第一个作业后,我检查了应用程序历史记录页面。它被写成以下事件日志目录:hdfs:// ****:8020 / user / ...

回答 1 投票 1

Spark 2.x + Tika:java.lang.NoSuchMethodError:org.apache.commons.compress.archivers.ArchiveStreamFactory.detect

我正在尝试解决Apache Tika(> v 1.14)解析作业的spark-submit类路径运行时问题。问题似乎涉及spark-submit classpath vs my uber-jar。平台:CDH 5.15(...

回答 1 投票 4

如何查看Spark版本

如何命名,我怎么知道CentOS中安装了哪个版本的火花?当前系统已安装cdh5.1.0。

回答 9 投票 38

在cloudera安装apache hadoop-tools

我有cloudera 5.14开发环境。我想在cloudera发行版中安装apache hadoop-tools(link)。具体来说,我需要hadoop-resourceestimator(链接)。没有......

回答 1 投票 1

© www.soinside.com 2019 - 2024. All rights reserved.