cloudera 相关问题

Cloudera Inc.是一家位于Palo Alto的企业软件公司,提供基于Apache Hadoop的软件和服务。

可用于创建数据管道的不同工具

我需要在hadoop中创建数据管道。我有数据导入、导出、清理数据设置的脚本,现在需要在管道中进行设置。 我一直在使用Oozie进行数据导入和导出方案...

回答 2 投票 0

如何获取Cloudera ML平台上作业中使用的脚本名称

我想以编程方式检索在 Cloudera ML 平台上运行 python 脚本的当前作业中使用的脚本的名称。 __file__ 魔法变量在后台不起作用...

回答 1 投票 0

SQL 计算每个状态花费的时间

我在SQL中有下表: ID 创建日期 旧值 新价值 1 2024年11月18日 13:05:10 打开 升级 1 2024年11月18日 14:05:10 升级 与客户 1 2024年11月18日 16:05:10 与客户 关闭...

回答 1 投票 0

如何在本地Windows机器上使用python将csv文件加载到hive表中

我们在我们组织的 Linux 服务器上安装了企业 hadoop 集群。我正在尝试将 csv 文件插入到我们的配置单元表之一中。我的本地 Windows 机器中有 csv 文件。我正在使用

回答 1 投票 0

从 HDP 非安全集群迁移到 CDP 安全集群

我们正在将 HDFS 数据从 HDP 非安全集群迁移到 CDP 安全集群,当我阅读 Cloudera 文档时,他们提到“distcp”作为处理

回答 2 投票 0

捕获气流运行持续时间

我需要收集特定气流作业过去 3 个月的运行持续时间(时间)。 在我们的 CDE 环境中,我们使用气流来调用 Spark DBT 作业,最近作业的运行持续时间...

回答 1 投票 0

Kafka 主题未创建

我使用以下链接在 Quickstart Cloudera VM 中安装 kafka 但是当我运行下面的命令时 kafka-topics --zookeeper faststart.cloudera:2181 --create --topic test --partitions 1 --

回答 2 投票 0

无法从 Cloudera Manager 连接到 Hue Web UI

我已使用 Cloudera Manager 在 Google 云平台虚拟机实例上安装了 Cloudera Express。所有 Web 服务都在运行,但所有服务(Hue、Hbase、Spark 等)的 Web UI 链接均未加载...

回答 2 投票 0

Hive - 创建表 - 在 ')' 附近的 'SORT' 处缺少 EOF

当我尝试执行下面的查询(CREATE)时出现此错误。 有什么建议吗? 错误: - - - - - - - - - - - - - - - - - - - - - - - - ------------------------ [sshexec] 2022-08-22 11:48:36: >>

回答 1 投票 0

nifi FlowFile 尚未关闭(Groovy 脚本)警告

nifi 术语和流文件处理的新内容。 找到了一种处理传入 xml 并使用 XmlSlurper 解析它的便捷方法,但收到以下针对传入流文件的 GroovyScript 的警告...

回答 2 投票 0

为什么start-all.sh从根本原因“无法启动org.apache.spark.deploy.master.Master:JAVA_HOME未设置”?

我正在尝试通过在cloudera Quickstart VM 5.3.0上运行的独立Spark服务来执行通过Scala IDE构建的Spark应用程序。 我的cloudera帐户JAVA_HOME是/usr/java/default

回答 3 投票 0

SSIS 从插入脚本到 ADO NET 目标中删除引用

我尝试使用SSIS将数据插入到Cloudera/Hive。我使用ODBC从SSIS到Cloudera的连接。 我在执行任务时遇到问题,为插入生成的脚本包括双配额...

回答 2 投票 0

SQLAlchemy 通过 cloudera ODBC DSN 访问 Impala 数据库时出现问题

我正在尝试通过 SQLAlchemy 访问 Impala DB - 我已经配置了一个 DSN,允许我在直接使用 pyodbc 时连接到数据库。 但是,当使用 SQLAlchemy 时,我收到错误: 当使用...

回答 2 投票 0

杀死协调器后如何让oozie工作流程运行?

我已经使用oozie有一段时间了,我想杀死一个协调员,但我不想杀死由协调员启动的工作流程。 我为什么要这么做?我有一个场景

回答 2 投票 0

HDFS 到 HDFS 完全强制移动文件

据我所知,在从一个 HDFS 位置移动到另一个位置时,没有直接的选项可以覆盖 HDFS 中的文件,复制 cp 可以选择强制。我正在尝试寻找是否有...

回答 3 投票 0

Spark java.io.EOFException:过早的 EOF:没有可用的长度前缀

我正在尝试读取 parquet 文件并对其执行一些操作,并将结果作为 parquet 保存在 HDFS 上。我正在使用 Spark 进行此操作。这样做时我遇到了以下异常。 java.io.

回答 1 投票 0

从 jupyter 笔记本运行 impala-shell

我正在尝试从 jupyter-notebook 运行 impala,如下所示-- 从 impala.dbapi 导入连接 conn = 连接(主机='xx-xx-xx.xx.com', 端口=21000, auth_mechanism =“...

回答 1 投票 0

Windows MIT Kerberos,错误 1765328190,krb5_cc_set_flags

在测试与 HIVE 的 ODBC 连接期间,我遇到了 MIT Kerberos 错误 凭据缓存权限不正确(Kerberos 错误 -1765328190) krb5_cc_set_flags 失败 你如何解决这个问题? ...

回答 2 投票 0

对我的 Hadoop 集群进行监控和可观察性

我正在尝试在我的 Hadoop 集群上创建一个监控和可观察性基础设施。 我的集群是通过cloudera manager管理的,因此我有一些问题,也许你们中的一些人会...

回答 1 投票 0

在 Hadoop HDFS 中,删除几个早于 x 天且名称中有空格的文件(不像 UNIX)

我在一个hadoop目录下有几十万个文件,我需要调试它们。我想删除超过 3 个月的文件,我正在尝试批量删除一千个文件...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.