有关Cloudera的Apache Hadoop(CDH)分布的具体问题。在发布问题之前,请先查看https://community.cloudera.com/。
我在安装了cloudera manager和spark parcel的情况下部署了一个集群,在shell中输入pyspark时,它可以正常运行jupyter下面的代码抛出异常代码导入系统...
实际上Hive不支持OFFSET(不确定),我将查询结果限制为10行。我想在网络上一次只能查看10行输出,因此在第1页上,将看到10行,接着是下一行......
我在集群模式下运行火花流工作,我创建了一个内存为200GB(CDH)的池。我想在那个游泳池上运行我的火花流工作,我尝试设置sc.setLocalProperty(“spark ....
Spark - 找不到异常org.apache.spark.Logging
我们正在使用Spark 2.3.0创建基于Spark的应用程序。我们的Spark工作与HBase交互。在创建JAR时,我们遇到了以下编译时异常异常:[ERROR]类文件...
Namenode HA(UnknownHostException:nameservice1)
我们通过Cloudera Manager启用Namenode High Availability,使用Cloudera Manager >> HDFS >> Action> Enable High Availability >> Selected Stand By Namenode&Journal Nodes然后......
我最近下载了Cloudera CDH 5.3,现在我需要访问HUE Web UI门户。当我提供属于Cloudera admin / admin的默认用户名和密码时,它无效。 ...
我正在尝试通过它的Web服务API(Oozie 4.1.0-cdh5.15.2)执行Oozie作业。以前这个工作是通过Oozie命令行API成功执行的,大多数参数都是......
我已经使用sqoop将所有表导入到Hive数据库“sqoop_import”中,能够看到所有表成功导入,如下所示: - hive> use sqoop_import; OK时间:0.026秒蜂巢> ...
我在7个主机上安装了带有spark2的cloudera CDH集群(2个匹配器,4个工作器和1个边缘)我在边缘节点上安装了一个Jupyter服务器,我想设置pyspark在集群模式下运行,我运行这个...
在kerberos authrication下使用JDBC连接到impala时出错
我创建了一个扩展DriverManagerDataSource的类SecureImpalaDataSource,并使用UserGroupInformation.doAs()来获取与keytab文件的impala连接。但我得到的错误如下:......
在一个Spark作业中运行两个操作时“超出GC开销限制”;单独运行没问题
我有以下Spark SQL代码检查大表中某些日期的缺失(几十亿行):spark = SparkSession.builder \ .master(“yarn”)\ .appName(“minimal_example”...
我已经使用cloudera manager安装了cloudera CDH 5。我可以很容易地做hadoop fs -ls /input/war-and-peace.txt hadoop fs -cat /input/war-and-peace.txt这个上面的命令将打印整个txt ...
我正在尝试将视图中的信息加载到存储为文本文件的Hive表中,文本文件配置如下:CREATE TABLE table1(field1 BIGINT,field2 STRING,email STRING,field3 BIGINT,field4 STRING)...
我们要求在第0天我们将运行历史火花作业以将批量数据加载到HBase中。每天发布,我们只会将结束日数据添加到HBase。要处理这个......
我无法解决这个异常,我已经阅读了hadoop文档以及我能找到的所有相关的stackoverflow问题。我的fileSystem.mkdirs(***)抛出:线程“main”java.lang中的异常....
无法使用密钥dfs.encryption.key.provider.uri找到uri来为CDH 5.4创建HDFS加密的keyProvider
CDH版本:CDH5.4.5问题:使用Hadoop CDH 5.4中提供的KMS启用HDFS加密时,将文件放入加密区时会出错。步骤:加密Hadoop的步骤为...
我在3节点集群上安装了CDH 5.4.7。在Spark上运行第一个作业后,我检查了应用程序历史记录页面。它被写成以下事件日志目录:hdfs:// ****:8020 / user / ...
我正在尝试解决Apache Tika(> v 1.14)解析作业的spark-submit类路径运行时问题。问题似乎涉及spark-submit classpath vs my uber-jar。平台:CDH 5.15(...
在cloudera安装apache hadoop-tools
我有cloudera 5.14开发环境。我想在cloudera发行版中安装apache hadoop-tools(link)。具体来说,我需要hadoop-resourceestimator(链接)。没有......