hive 相关问题

Hive是Hadoop的数据仓库系统,可以简化数据汇总,即席查询以及分析存储在Hadoop兼容的分布式文件系统中的大型数据集。 Hive提供了一种机制,用于将结构投影到此数据上,并使用类似SQL的语言HiveQL查询数据。

合并到更新/插入

我在合并到databricks笔记本中的大量数据集时遇到问题。 如何将合并转换为脚本来更新/插入? 目标表 = f""" 合并到 {

回答 1 投票 0

使用 HIVE 查询解析 json 数组

我将 json 数组存储在表(jt)中,如下所示: [{"col": 1, "row": 1, "code": "INVESTMENT_PERIOD", "name": "Thời gian đầu tư&...

回答 1 投票 0

无法使用 Airflow 2.1.2 DAG 中的 HiveOperator 连接到 Hive

我一直在努力从 HiveOperator 任务运行 Hive 查询。 Hive 和 Airflow 安装在 docker 容器中,我可以从 Airflow 容器中的 python 代码查询 Hive 表...

回答 2 投票 0

看不到 Hive 上的表

我是新人,我正在学习教程,所以我可能会提供一些不必要的信息。我使用 beeline 连接到 hive。然后我使用以下命令创建了一个名为“adv_sales_gt_20”的表...

回答 1 投票 0

Hive 窗口按日期回顾

我有下表 日期 姓名 2024-02-01 卢克 2024-02-01 爱丽丝 2024-02-01 约翰 2024-02-01 约翰 2024-02-02 标记 2024-02-02 爱丽丝 2024-02-02 标记 2024-02-03 约翰 2024-02-03 约翰 2024-...

回答 1 投票 0

如何向现有的 Hive 外部表添加列?

创建外部表可降级( 第 1 列字符串, 第 2 列字符串, 第 3 列字符串) 行格式分隔字段以“|”结尾 位置“/数据/可降级”; 我创建外部表“可降级”并且...

回答 2 投票 0

在 hive 上读取 zst 文件时出现未知的帧描述符?

我有一个文件a.csv.zst并且我创建了文本文件表。 当我在 hive 上选择时,我看到前 100 行没有错误,但是当我选择 count(*) 时,它给出错误未知帧描述符 我可以装饰...

回答 1 投票 0

如何在hql文件中传递/读取hiveconfs变量

使用 hive 操作符并传递 hql 文件在气流中运行 hql 文件 hive_task = HiveOperator( task_id='run_hql', hql='/path/to/your_query.hql', hive_conn_id='your_hive_connection_id',

回答 1 投票 0

覆盖 sprint hive jdbc 中的 hive 属性

我想覆盖我的一些配置单元属性值。我正在使用 spring 上下文连接到配置单元。基本上我想执行语句 SET hive.auto.convert.join=false;模板.执行(splitQuery)...

回答 2 投票 0

失败:访问 Hive 视图时执行错误,从 org.apache.hadoop.hive.ql.exec.mr.MapRedTask 异常返回代码 2

我正在尝试访问 Hive 中的视图,出现以下异常: 获取日志线程被中断,因为查询已完成! 错误:处理语句时出错:FAILED:执行错误,返回

回答 1 投票 0

如何检查sql hive中某一列的值是否存在于另一列的列表值中

我有表A如下: ID 十一月_产品 十二月产品 123 A 甲、丙、丁 123 乙 甲、丙、丁 第456章 C E、F、G December_product 是列表值,每个值以逗号分隔。我想检查是否值...

回答 0 投票 0

如何使用 Hive 获取任意年份 11 月第 4 个星期五的日期

如何在 Hive 中获取任意年份 11 月第四个星期五的日期?月份始终为 11,日期为第四个星期五。 需要获取黑色星期五分析的日期,我需要在其中找到

回答 0 投票 0

Hive 收集集查询

我在配置单元中有一个下表 创建表订单( 客户 ID INT, 日期日期, 产品 ID INT ); 插入订单值 (1, '2024-02-18', 101), (1, '2024-02-18', 10...

回答 1 投票 0

元数据错误:org.apache.thrift.transport.TTransportException

这个错误是什么意思? “元数据错误:org.apache.thrift.transport.TTransportException?” 在什么情况下会出现此错误? 我在创建表时遇到此错误,为什么...

回答 2 投票 0

有没有一种有效的方法来合并镶木地板文件?

上下文: 据我所知,大约 4 年前有人提出过一个与此相关的问题: 有效合并大镶木地板文件 问题: 不过我想知道有没有什么好的解决方案...

回答 2 投票 0

是否有任何在线 Apache Hive 0.14 编辑器以及带有表格的示例数据库?

我想练习Hive 14 sql查询。 是否有任何带有示例数据库和表格的在线 Apache Hive 0.14 编辑器?

回答 3 投票 0

Hive Sql/Python 根据源列和目标列将所有连接的项目分组在一起

我有一个像这样的用户连接表: 源代码 目的地 1 2 1 3 2 4 4 5 6 7 我希望连接到同一组中的 src 和 dst 进行上诉,如下所示: 源代码 目的地 组 1 2 1 1 3 1 2 4 1 4 ...

回答 1 投票 0

SQL 错误:无关的输入 ')' 期望 AS 接近 '<EOF>'

当我尝试获取month_diff时收到以下错误 外部输入 ')' 期望 AS 接近 '' 这是SQL代码 Months_ Between((cast(min(bs.cpd_dt)) as date),cast(bs.first_prd_cp...

回答 1 投票 0

PySpark 通过 Hive 元存储读取 Iceberg 表到 S3

我正在尝试通过部署的 hive 元数据存储服务与存储在 S3 上的 Iceberg 表进行交互。目的是能够推拉存储为 Iceberg 数据湖(在 S3 上)的大量数据。

回答 2 投票 0

将具有不合规字段名称的 Parquet 文件导入 AWS Athena

我需要从 Parquet 文件设置 Athena 表,其中某些列的名称不符合 Athena 的 SQL 方言,例如: 长度超过 128 个字符 多个列的名称仅...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.