Hortonworks数据平台(HDP)是一个开源Apache Hadoop数据平台的发行版,其中包含一组位于HDFS和YARN之上的项目,作为Hadoop的核心层。
在Kerberos下为Kafka启动Spark-Submit作业
通过修补程序,我已经可以使用以下命令来部分启动spark提交作业,但是启动后不久它崩溃了,并给了我下面概述的异常:Spark-Submit ...
我正在使用HDP 2.6.4,并且看到了Spark SQL与TeZ上的Hive的巨大差异。这是一个对约95 M行表SELECT DT的简单查询,来自mydata GROUP BY DT的Sum(1)DT是分区列,一个...
使用Hortonworks Schema Registry在Java应用程序中读取Avro文件
我有一个应用程序正在以Avro格式写入文件(每个文件有多个记录),但是我无法在另一个Java应用程序中读取它。这是我尝试过的Map RegistryConfig = new ...
HiveAccessControlException权限被拒绝。 [关于pyhs2]
我正在尝试通过编写选择查询来通过pyhs2访问数据。使用pyhs2.connect(host ='localhost',port = 10000,authMechanism =“ PLAIN”,...
我正在尝试在Spark SQL中调试一个返回错误数据的简单查询。在这种情况下,查询是两个配置单元表之间的简单连接。.问题似乎与以下事实有关:...
Spark Streaming作业完全在HD Insights上7天后失败,没有错误日志
我们得到的唯一错误日志是:由于ApplicationMaster尝试使appattempt_1575912755011_0035_000005超时,因此应用程序application_1575912755011_0035失败了5次。申请失败。...
Kafka 2.0-KafkaConnect连接器中的多个Kerberos主体
我们目前正在使用捆绑Kafka 2.0.0的HDF(Hortonworks Dataflow)3.3.1。问题是在同一KafkaConnect上运行具有不同配置(Kerberos主体)的多个连接器...
我正在尝试进行序列化,然后将avro模式写入hortonworks模式注册表,但是在写操作期间出现以下错误消息。由以下原因引起:java.lang.RuntimeException:...
使用Sqoop 1.4.7.3.0.1.0-187 sqoop作业-D sqoop.metastore.client.record.password = true -D sqoop.metastore.client.enable.autoconnect = true \ --meta-connect jdbc:hsqldb :hsql:// $ {server}:$ {port} / ...
Horton Data Platform(HDP)仍可免费使用吗?如何下载其发行版?我正在尝试从此处下载它。
Mapreduce作业失败,并显示“ MAX_FAILED_UNIQUE_FETCHES;救助”
Map-reduce作业失败,并在化简器上出现以下错误:org.apache.hadoop.mapreduce.task.reduce.Shuffle $ ShuffleError:fetcher#5中的org.apache.hadoop.mapreduce中的混洗错误。 ...
通过Knox访问Hive JDBC并在Ranger中配置Hive的问题
我们已经配置了FreeIPA的HDP-2.2集群。但是,当我们尝试通过knox访问hive jdbc时,我们遇到了问题。下面是我们正在使用的JDBC URI:jdbc:hive2:// xxxxxxxxxxx:8443 /;。 ..
为什么这样输出,为什么第二行在第二列中给出NULL值,选择堆栈(2,'A',10,date'2015-01-01',1,'B',date'2015 -02-02',2)
为什么这样输出,为什么第二行在第二列中给出NULL值呢?选择stack(2,'A',10,date'2015-01-01',1,'B',date'2015-02-02 ',2):0:jdbc:hive2://sandbox-hdp.hortonworks.com:1> ...
我的hadoop服务器由于磁盘空间问题而关闭,然后我们增加了磁盘空间,然后HDFS,zookeeper,kafka开始工作,但HBase无法工作。 ...
我已经按照同伴的指示安装了HortonWorks Docker沙箱。当我键入以下命令时,它似乎正在运行:sudo docker ps显示沙盒正在运行:容器ID图像...
Cloudera到HDP SOLR(版本5.5.2)数据迁移|在solr云上还原后无法更新solr索引
SOLR版本-5.5.2我的项目要求是将solr云索引从cloudera集群传输到HDP集群。数据量巨大(生产中有10亿条索引记录,因此重新索引不是...
我想从Java生产者应用程序连接到架构注册表时发送一些自定义请求标头。每次使用该应用程序连接到注册表时,我都想发送带有...
我无法通过oozie的Hive2动作连接到Hive。 jdbcUrl已启用zooKeeper服务发现。我的数据平台是Hortonworks 2.6。最初我试图连接到beelne ...
将Hortonworks群集上的Spark日志集成到Azure Monitor
我在Azure上拥有我的Cloudbreak Hortonworks群集。我想将我的Spark应用程序日志从Hortonworks群集集成到Azure监视器以执行日志分析。任何建议或指向...
Spark-Application to Local Directory
由于Mkdirs创建失败而导致的Spark Spark Application错误。我正在使用spark 1.6.3无法在本地目录java.io.IOException上保存输出:Mkdirs无法创建文件:/ home / zooms / output / ...