hive 相关问题

Hive是Hadoop的数据仓库系统,可以简化数据汇总,即席查询以及分析存储在Hadoop兼容的分布式文件系统中的大型数据集。 Hive提供了一种机制,用于将结构投影到此数据上,并使用类似SQL的语言HiveQL查询数据。

Spark 看不到 Hive 表,具体取决于您的运行方式

问题是,根据您运行 Spark 的方式,您是否可以看到 Hive 数据库。我接下来会采取三项行动: 使用蜂巢 hive> 显示数据库; 好的 默认 数据库 火花数据库 花费时间:0.041秒...

回答 2 投票 0

尝试在配置单元中保存“评论”。有没有办法将数据转换为二进制内联?

:) 评级和组合对于 Hive 来说是一种未知类型。 我试图避免上课(尽管这很好,任何能让这项工作成功的事情......)。我只是想保存进度,然后开始加载它...

回答 1 投票 0

基于正则表达式更新 HIVE 上的查询

我有以下场景: 有一个 hive 表,其列如图所示 _ID CDN_URL abc123 https://jjffkk.cloudfront.net/images/img1.png XYZ234 https://jjffkk.cloudfront.net/images/img2.png ...

回答 1 投票 0

SQL中如何根据列条件获取下一个时间戳?

我有一张看起来像这样的桌子 事件_d 事件_lcl_ts 位置 ID 事件代码 容器ID 24/4/6 2024-04-06T10:19:32.133+00:00 1 收起来 asdjhdf-323 24/4/6 2024-04-06T21:52:35.019+00:00 1 记录...

回答 1 投票 0

如何将 sas7bdat 文件转换为 csv?

我想将 .sas7bdat 文件转换为 .csv/txt 格式,以便我可以将其上传到配置单元表中。 我从外部服务器接收 .sas7bdat 文件,但我的计算机上没有 SAS。

回答 6 投票 0

如何在iOS后台可靠地使用flutter上的加密数据库?

如何在flutter中加密数据库并在ios上使用它? 最初的工作是使用带有 flutter_secure_storage 密钥的 hive。这在 Android 上运行良好,但在 iOS 上我们似乎遇到了问题......

回答 1 投票 0

Python - 无法在同一 python 程序中连接到 2 个不同的数据库,例如 hive 和 iris

我正在尝试使用 python 中的 jaydebeapi 连接到 hive 数据库和 IRIS Intersystems 数据库。 我能够一次连接到一个数据库。在尝试连接到其他数据库时,我...

回答 1 投票 0

使用 pyspark 从 RDS MySQL 数据库提取数据

我第一次使用pyspark。我正在尝试使用以下代码从 RDS MySQL 数据库中提取数据。我参考了以下链接 pyspark mysql jdbc load 调用o23时发生错误...

回答 1 投票 0

Trino hive 到冰山表迁移,无需数据移动

我在 EMR 上进行了 trino 设置,其中配置了 hive 和iceberg,以使用 AWSglue 作为目录。有一个这样创建的hive表。 使用(位置 = 's3://bucket1/schem...

回答 1 投票 0

访问 Hive 中的框会引发错误

因此,我尝试通过创建一个新类型的“Empresario”对象或查找现有对象来访问 empresario 的个人资料来启动我的应用程序。 empresario 对象有一个列表“E...

回答 1 投票 0

SSIS 从插入脚本到 ADO NET 目标中删除引用

我尝试使用SSIS将数据插入到Cloudera/Hive。我使用ODBC从SSIS到Cloudera的连接。 我在执行任务时遇到问题,为插入生成的脚本包括双配额...

回答 2 投票 0

使用 Apache Spark 配置 apache Iceberg

我正在尝试使用 Apache Iceberg 配置 Apache Spark。 但得到这个错误: 线程“main”中的异常java.lang.NoSuchMethodError: 'org.apache.hadoop.hive.metastore.IMetaStoreClient 组织。

回答 1 投票 0

ESRI Hive ST_Contains 无法正常工作

尝试使用我能找到的 JAR(不确定它们是最佳选择,我需要使用 ESRI 并在 Hive 中执行此操作): 添加 JAR /home/user/lib/esri-geometry-api-1.2.1.jar; 添加 JAR /home/user/...

回答 2 投票 0

Hive 不显示表格

我是 Hadoop 和 Hive 世界的新手。 我有一个奇怪的问题。当我在 hive 提示符上工作时。我创建了一些表,并且配置单元正在显示这些表。 当我退出 Hive 会话后...

回答 3 投票 0

从包含空格的路径加载hdfs文件到hive表

我正在尝试从带有分区的镶木地板文件创建一个配置单元表。 创建外部表 a(col1 string, col2 string),由 (col3 string) 分区,存储为镶木地板位置 '/qa/app/project/'; 微软

回答 1 投票 0

如何克服spark java.lang.OutOfMemoryError:Java堆空间和java.lang.OutOfMemoryError:GC开销限制超出问题?

我正在尝试联接操作,这里表1有3GB的数据,表2有120GB的数据。为了避免随机播放表 1。 执行时我收到这些错误: 原因是:...

回答 1 投票 0

用于 hive flutter 中偏移的类型适配器

我有一个名为 DrawLine 的类,并且我已经生成了适配器类 导入 'dart:ui'; 导入'包:hive/hive.dart'; 'draw_line.g.dart' 部分; @HiveType(类型ID:0) DrawLine 类扩展

回答 1 投票 0

如何增加 SQL 实验室和可视化的超集行限制和超时缓存

我有一个包含 10 亿行的数据集。数据存储在 Hive 中。另外,我将 Impala 作为 Hive 和 Superset 之间的一层。在 Superset 中运行的查询具有最大行限制。 100.000。我不...

回答 6 投票 0

如何在hive中创建一个空的struct数组?

我在Hive 1.1.0中有一个视图,根据条件,它应该返回一个空数组或一个struct数组 这是我的代码: 选择 当 ...

回答 1 投票 0

将值聚合到新列中,同时保留旧列

问题 假设您有一些有关某些购买的简单数据: 用户身份 订购日期 产品编号 001 周一 2e1 001 周一 44小时 001 周二 e6f 002 星期三 6g3 002 星期三 43m 003 星期三 k19 003 星期五 9d5 我需要

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.