hive 相关问题

Hive是Hadoop的数据仓库系统,可以简化数据汇总,即席查询以及分析存储在Hadoop兼容的分布式文件系统中的大型数据集。 Hive提供了一种机制,用于将结构投影到此数据上,并使用类似SQL的语言HiveQL查询数据。

使用JAVA SDK删除Hive表的所有分区

我需要删除配置单元表的所有当前分区。 我尝试搜索,但所有这些都在 Hive 查询中。 我的分区模式是(年=“2018”/月=“01”) 因此尝试表达年份&...

回答 1 投票 0

Hive 添加 JAR 不起作用

我正在尝试导入包含引用字段的文件。我发现了 csv-serde JAR 并尝试使用它,但取得了最小的成功。 我从以下位置下载了 JAR: https://github.com/ogrodn...

回答 4 投票 0

Hive表分区按年月日查询

嗨,我正在使用由 3 列(年、月和日)分区的 Hive 表。我有以下格式的数据。 /table1/年=2024/月=1/日=20/file1 /table1/年=2024/月=1/日=16/file1 /表1/是的...

回答 1 投票 0

将 Hive UDF Java 逻辑转换为 BigQuery SQL 的最佳实践

在从 Hive 迁移到 BigQuery 的过程中,人们经常面临将 Java 编写的 Hive UDF 转换为 BigQuery 的 SQL UDF 的问题。翻译内容的最佳实践或方法是什么...

回答 1 投票 0

(flutter)Hive 更新问题

我创建了一个基本应用程序,用于在 Flutter 中使用 hive 创建、删除、更新和读取员工详细信息,并且更新功能不起作用,我通过更新传递类的对象

回答 1 投票 0

从外部s3存储桶url链接将数据导入到hive表中

我需要从与我共享 url 的公共 s3 存储桶导入数据。如何将数据加载到hive表中? 我已经尝试过以下命令,但它不起作用: 创建外部表airlines_info ...

回答 2 投票 0

使用 hive sql 函数从单个单元格中提取单个字符串

我有一个单元格,其中包含多个以逗号分隔的字符串值。我只需要提取一个字符串。 例子: 单元格值:[{id=111,title=Arun.P,jobTitle=数据分析师}] 预期结果:

回答 1 投票 0

尝试在python中使用pyhs2连接到hive |错误:ModuleNotFoundError:没有名为“cloudera”的模块

我正在尝试使用 python 从 Windows 本地连接到 Hive:下面是我使用的代码: 将 pyhs2 导入为配置单元 DEFAULT_DB = '默认' DEFAULT_SERVER = '10.37.40.1' 默认端口 = 10000

回答 3 投票 0

在unix中将多行转换为单行

我的文件在一列中包含多行数据,我希望将多行转换为单行。 这是带有标题的示例 Final_date|注释|状态 2019/04/17|”- OB 团队 -

回答 2 投票 0

颤抖。如何监听 Hive 框中的特定值

我有一个存储 ChatRoom 对象的盒子 @HiveType(类型ID:2) 类聊天室{ @HiveField(1) 字符串名称; @HiveField(2) 列出聊天消息; 聊天室({ 需要这个....

回答 1 投票 0

impala 将列转置为行

如何在impala中将列数据转置为行数据 我尝试了一些在黑斑羚中不起作用但在蜂巢中工作的解决方案。 表名:测试 数据: 日期名称 工作完成 2017-03-25 x_user ...

回答 1 投票 0

Hive 如何禁用语义检查“并集两侧的架构应该匹配”

两个相同的 Hive 2.1 我有两个hadoop集群: HDP 2.x 与 Hive 2.1.0 r6177e19d5af719688732bbffc2a7953295e62b0a(选择版本();) CDH 6.x 与 Hive 2.1.1-cdh6.3.2

回答 1 投票 0

hive regexp_replace 删除多个字符串

在我的数据中,我有包含特殊字符的字符串 &#39,&", 有没有办法使用 regexp_replace 来替换多个字符串。更好的是有一种方法可以选择“

回答 1 投票 0

如何恢复误删除的Hive管理表?

我使用以下sql创建了一个托管表并向其中添加了数据 创建表 test.internal_table ( id 整数, 名称 STRING ); 插入表 test.internal_table 值 (1,“约翰”), (...

回答 1 投票 0

在 Hive 外部表上执行 INSERT INTO 是否也会将行插入底层 HDFS 数据集?

我有一个 Hive 外部表“customer_main”映射到基于 .orc 的 HDFS 数据集,该数据集的路径为“/dev/customer/customer_main/”。如果我运行 INSERT INTO customer_main VALUES() 来插入一行...

回答 1 投票 0

如何在Hadoop Hive中获取Substring?

我的问题是如何通过字符串中的指示获取 Hive 中的子字符串。我的列值格式如下: /国家/州/城市/郊区/街道 在这里我只需要获取国家/地区。 我有喜欢...

回答 2 投票 0

如何通过 pandas 的 parquet 创建 Athena 桌子?

我从 pandas Dataframe 开始并保存为 parquet 格式,如下所示: 将 pandas 导入为 pd df = pd.DataFrame([ {'abc': 1.231, 'xyz':2, 'jkl': False, 'idx': '第一行', '日期': '2023-12-01'}, ...

回答 1 投票 0

将最后一个非空值填充到下一个空行,直到 Hive 中下一个可用的非空值

我的输入数据如下,新的 MD_flag 是基于 md_flag 列 vaue 的输出列。 销售季节|商品|地点|每周|md_flag|新md_flag Q1-23|BP608WZ271812|LBDI|3 月 W5-23|正确|正确 ...

回答 1 投票 0

从 Hive 中的数组<String>中提取最大值

有没有办法从 Hive 中的字符串数组中提取最大值? 我需要在 select 语句中执行此操作,因此不能选择爆炸和连接。 ch = ["4", "9", "1"];

回答 1 投票 0

如何清除Hive并重新初始化它

在我的应用程序中,我使用 Hive 来处理多个对象,并为它们使用多个盒子。 我想知道有没有办法一次性清除所有这些,然后重新初始化蜂巢? 我需要这个来注销我的应用程序...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.