Cloudera Inc.是一家位于Palo Alto的企业软件公司,提供基于Apache Hadoop的软件和服务。
我需要在hadoop中创建数据管道。我有数据导入、导出、清理数据设置的脚本,现在需要在管道中进行设置。 我一直在使用Oozie进行数据导入和导出方案...
我想以编程方式检索在 Cloudera ML 平台上运行 python 脚本的当前作业中使用的脚本的名称。 __file__ 魔法变量在后台不起作用...
我在SQL中有下表: ID 创建日期 旧值 新价值 1 2024年11月18日 13:05:10 打开 升级 1 2024年11月18日 14:05:10 升级 与客户 1 2024年11月18日 16:05:10 与客户 关闭...
如何在本地Windows机器上使用python将csv文件加载到hive表中
我们在我们组织的 Linux 服务器上安装了企业 hadoop 集群。我正在尝试将 csv 文件插入到我们的配置单元表之一中。我的本地 Windows 机器中有 csv 文件。我正在使用
我们正在将 HDFS 数据从 HDP 非安全集群迁移到 CDP 安全集群,当我阅读 Cloudera 文档时,他们提到“distcp”作为处理
我需要收集特定气流作业过去 3 个月的运行持续时间(时间)。 在我们的 CDE 环境中,我们使用气流来调用 Spark DBT 作业,最近作业的运行持续时间...
我使用以下链接在 Quickstart Cloudera VM 中安装 kafka 但是当我运行下面的命令时 kafka-topics --zookeeper faststart.cloudera:2181 --create --topic test --partitions 1 --
无法从 Cloudera Manager 连接到 Hue Web UI
我已使用 Cloudera Manager 在 Google 云平台虚拟机实例上安装了 Cloudera Express。所有 Web 服务都在运行,但所有服务(Hue、Hbase、Spark 等)的 Web UI 链接均未加载...
Hive - 创建表 - 在 ')' 附近的 'SORT' 处缺少 EOF
当我尝试执行下面的查询(CREATE)时出现此错误。 有什么建议吗? 错误: - - - - - - - - - - - - - - - - - - - - - - - - ------------------------ [sshexec] 2022-08-22 11:48:36: >>
nifi FlowFile 尚未关闭(Groovy 脚本)警告
nifi 术语和流文件处理的新内容。 找到了一种处理传入 xml 并使用 XmlSlurper 解析它的便捷方法,但收到以下针对传入流文件的 GroovyScript 的警告...
为什么start-all.sh从根本原因“无法启动org.apache.spark.deploy.master.Master:JAVA_HOME未设置”?
我正在尝试通过在cloudera Quickstart VM 5.3.0上运行的独立Spark服务来执行通过Scala IDE构建的Spark应用程序。 我的cloudera帐户JAVA_HOME是/usr/java/default
我尝试使用SSIS将数据插入到Cloudera/Hive。我使用ODBC从SSIS到Cloudera的连接。 我在执行任务时遇到问题,为插入生成的脚本包括双配额...
SQLAlchemy 通过 cloudera ODBC DSN 访问 Impala 数据库时出现问题
我正在尝试通过 SQLAlchemy 访问 Impala DB - 我已经配置了一个 DSN,允许我在直接使用 pyodbc 时连接到数据库。 但是,当使用 SQLAlchemy 时,我收到错误: 当使用...
我已经使用oozie有一段时间了,我想杀死一个协调员,但我不想杀死由协调员启动的工作流程。 我为什么要这么做?我有一个场景
据我所知,在从一个 HDFS 位置移动到另一个位置时,没有直接的选项可以覆盖 HDFS 中的文件,复制 cp 可以选择强制。我正在尝试寻找是否有...
Spark java.io.EOFException:过早的 EOF:没有可用的长度前缀
我正在尝试读取 parquet 文件并对其执行一些操作,并将结果作为 parquet 保存在 HDFS 上。我正在使用 Spark 进行此操作。这样做时我遇到了以下异常。 java.io.
我正在尝试从 jupyter-notebook 运行 impala,如下所示-- 从 impala.dbapi 导入连接 conn = 连接(主机='xx-xx-xx.xx.com', 端口=21000, auth_mechanism =“...
Windows MIT Kerberos,错误 1765328190,krb5_cc_set_flags
在测试与 HIVE 的 ODBC 连接期间,我遇到了 MIT Kerberos 错误 凭据缓存权限不正确(Kerberos 错误 -1765328190) krb5_cc_set_flags 失败 你如何解决这个问题? ...
我正在尝试在我的 Hadoop 集群上创建一个监控和可观察性基础设施。 我的集群是通过cloudera manager管理的,因此我有一些问题,也许你们中的一些人会...
在 Hadoop HDFS 中,删除几个早于 x 天且名称中有空格的文件(不像 UNIX)
我在一个hadoop目录下有几十万个文件,我需要调试它们。我想删除超过 3 个月的文件,我正在尝试批量删除一千个文件...