cloudera-cdh 相关问题

Datanode 遇到 JVM 暂停问题

我使用的是 CDH 5.1.2，我经常看到此错误，其中一个数据节点经常暂停。我从日志中看到这一点。 警告 org.apache.hadoop.util.JvmPauseMonitor：检测到 JVM 或主机（例如 GC）暂停：...

Hive 托管表问题，从 CDP 中的 hdfs 位置创建 Hive 表

我有一个 CDP 7.3.1，使用 sqoop ，我已将 Postgres 数据库表中的数据加载到 HDFS 位置 /ts/gp/node 中。现在我正在尝试为此创建一个配置单元表。我收到以下错误。请...

NiFi 构建错误

我正在尝试从 https://github.com/apache/nifi 克隆 Apache NiFi 后构建它，但它在 nifi-standard-processors 项目的测试中一直失败。我在

元数据错误：org.apache.thrift.transport.TTransportException

这个错误是什么意思？ “元数据错误：org.apache.thrift.transport.TTransportException？” 在什么情况下会出现此错误？ 我在创建表时遇到此错误，为什么...

如何将单节点Kafka扩展到多节点集群？

我要安装 Kafka 用于公司消息传递。计划首先将 Kafka 安装在一台大型机器上，然后根据需要将其扩展到 4-5 台机器（一个集群）。 我的经验很少...

Hive 如何禁用语义检查“并集两侧的架构应该匹配”

两个相同的 Hive 2.1 我有两个hadoop集群： HDP 2.x 与 Hive 2.1.0 r6177e19d5af719688732bbffc2a7953295e62b0a（选择版本（）；） CDH 6.x 与 Hive 2.1.1-cdh6.3.2

使用带有 Kerberos 身份验证的 JDBC 连接到 Hive 时出现问题

我正在尝试编写一个程序来使用具有 Kerberos 身份验证的 Jdbc 驱动程序连接到 Hive。我的程序如下： 公共静态无效主（字符串a []） { ... 连接字符串_ =...

在Cloudera中使用serde加载JSON文件

我正在尝试使用具有此包结构的 JSON 文件： { “用户id”：“kim95”， “类型”：“书”， "title": "现代数据库系统：对象模型、互操作性及其他。", ”

配置错误：namenode地址dfs.namenode.rpc-address未配置

当我尝试启动 DataNode 时收到此错误。据我所知，RPC 参数仅用于 HA 配置，我没有设置（我认为）。 2014-05-18 18:05:00,589

Cloudrea 升级后 HIVE 中数据摄取的 Pyspark 错误

最近我们的组织将数据湖从 CLoudera CDH6 升级到 CDP7。升级前执行良好的 3-4 个脚本现在正在抛出错误。所有的错误都是因为...

cloudera datanode 文件备份

/etc/hadoop/ 位置中存在两个与 hadoop service_name conf.cloudera.hdfs 和 conf.cloudera.yarn 相关的目录，因此根据 cloudera 文档“HDFS_service_name”给出但...

升级到CDH 6.1时的Spark会话创建问题

目前我的spark应用在CDH.5.14中运行，没有任何问题。原因是：java.lang.IllegalArgumentException。Unrecognized Hadoop major version number: 3.0.0-cdh6.1.0 升级到6.1.0后，...

Cloudera Manager有什么替代品吗？(CDH)

正如Cloudera官方博客所说，从6.3.3开始，CDH就没有免费版本了，他们会将Cloudera Manager开源，但目前还没有。有没有其他类似Cloudera Manager的项目，这...

oozie时区如何工作，它没有选择正确的时区？

我在CDH集群上运行ozie工作。我有以下的协调器

正在读取HDFS小型分区？

我们的数据以日期作为分区列加载到hdfs中。问题是每个分区的小文件大小都小于50mb。因此，当我们从所有这些分区读取数据以将数据加载到...

无法在纱线簇模式下读取带有火花的Hbase数据

version：CDH-6.2.1，spark：2.4.0，hbase：2.0我的工作：通过spark读取hbase数据当我使用idea和本地模式时效果很好，但是当通过spark-submit --master yarn模式时，它将报告一个...

在Ansible中使用CDH的Hadoop

我想使用CDH docker映像中的Hadoop。 CDH映像已经安装在我的机器上，可以运行它。 docker ps -a容器ID图像命令...

Spark-sql在Hive中找不到数据？

我的Java应用程序代码是：SparkSession spark = SparkSession.builder（）.appName（topics）.config（“ hive.metastore.uris”，“ thrift：// device1：9083”）.config（“ spark.sql。 Warehouse.dir“，...

等待HiveServer2与远程Spark驱动程序之间的SASL协商完成时超时

我正在使用蜂巢和火花研究CDH 6.3.0，我正面临一个困扰我一周的问题。我已经从头开始安装了它，没有任何解决方法。当我尝试从...中选择时发生超时。

如何在CDH内核集群中查找特定kafka主题的最大偏移值

我有一个由41个节点组成的CDH内核集群，而Kafka已安装在28个节点中。我想找出特定Kafka主题的最大偏移值。我正在使用以下命令，但不是...