amazon-athena 相关问题

Amazon Athena是一种针对存储在Amazon S3上的数据运行SQL查询的服务。 Amazon Athena是Amazon Web Services(AWS)的一部分。

Athena 查询查找直到下一个值

我有以下记录 逻辑是索引将相同,直到找到下一个价格,计数只是行号 我正在尝试编写查询,但甚至无法开始我应该如何继续,我...

回答 1 投票 0

如何加载整个文本文件作为 AWS Athena 中的记录

我有一堆小文本文件,其中包含多行非结构化数据,存储在 S3 中。 由于这些文件没有常规格式,我想创建一个 Athena 表,其中每个文件都被解析为

回答 1 投票 0

Athena DynamoDB 连接器超时

由于 Athena DynamoDB 连接器 (https://docs.aws.amazon.com/athena/latest/ug/connectors-dynamodb.html) 基于 Lambda,Lambda 时间限制是否会影响执行查询? 怎么回事...

回答 1 投票 0

单日运行 dag 时气流 dag 出现错误:HIVE_TOO_MANY_OPEN_PARTITIONS

我正在使用 DBT 管道和气流 DAG。 SQL查询运行流畅,无需任何DBT代码。然而,当我执行一天的 DAG 时,它会抛出一个标记为

回答 1 投票 0

AWS athena 解析 JSON 数组

我之前曾问过一个问题,并且得到了回答(AWS Athena Parse array of JSON object to rows),关于使用 Athena 解析 JSON 数组,但遇到了一个变体。 使用示例: ...

回答 1 投票 0

如何确定 Athena 中 Iceberg 表的“表类型”

我有一些 Athena 数据库,其中包含许多表,我知道其中一些表使用 Iceberg 格式。对我来说,知道哪些是 Iceberg 表很重要,因为这些表会允许...

回答 1 投票 0

AWS athena 将行转换为列

我有以下疑问 选择 “钥匙”, sum(coalesce(try_cast (sre as double),0)) as sre, sum(coalesce(try_cast ("lacy" as double),0)) as "lacy", 总和(合并(try_cast(&quo...

回答 1 投票 0

get_query_execution 完成后如何执行 get_query_results?

我的 lambda 中有我的代码: 导入 json 导入boto3 导入时间 def lambda_handler(事件,上下文): 客户端 = boto3.client('雅典娜') #执行查询以检索 athena 元数据

回答 1 投票 0

Athena - 创建字段名称与镶木地板列名称不同的外部表

我正在尝试使用 Athena 创建外部表。正在读取的数据格式为镶木地板,我的外部表脚本是: 如果不存在则创建外部表 my_table ( 一个字符串, ...

回答 1 投票 0

AWS Athena 将 JSON 对象数组解析为行

使用 AWS Athena 并尝试解析具有定义的数组数据类型的列中的数据,以便将数组中的每个 JSON 对象分解为单独的行。 当我运行这个查询时: ...

回答 1 投票 0

AWS athena 正则表达式替换除第一次出现之外的情况

我在列中有一些字符串值,如下所示 hel_some_data h_some_data_more_data 你好_一些_更多_数据_数据 我需要如下输出 hel_一些数据 h_some数据 更多数据 你好_更多...

回答 1 投票 0

AWS athena 正则表达式替换(第一次出现除外)

我在列中有一些字符串值,如下所示 hel_some_data h_some_data_more_data 你好_一些_更多_数据_数据 我需要如下输出 hel_一些数据 h_some数据 更多数据 你好_更多...

回答 1 投票 0

Trino 字符串拆分 > 每个字符

我想对在字段中看到的字符进行一些分析,其前身是将字符串值拆分为其组成字符。 有了 SQL Server,我就会求助于 dar...

回答 1 投票 0

在 presto/trino/aws athena 中以编程方式从多个列创建 json 对象

我有一个有 300 列的源表,列数可能会增加,所以我试图构建一个查询,我想在目标表中仅插入几列,其他数据...

回答 1 投票 0

AWS Athena 从通过 GLUE Crawler 输入来自 S3 的 csv 创建的表返回零记录

第一部分: 我尝试在 s3 中加载的虚拟 csv 上运行胶水爬虫,它创建了一个表,但是当我尝试在 athena 中查看表并查询它时,它显示返回了零记录。 但是At中ELB的demo数据...

回答 10 投票 0

Athena - 案例陈述计数

尝试在 AWS Athena 中执行以下操作。对我来说这似乎是标准 SQL: 选择 count(当性别='男性'时则1结束) asmale_count 计数(当性别='女性'时则1结束)为

回答 2 投票 0

Amazon s3:获取 Athena/AWS Glue 目录中分区的上次更新日期

我正在尝试找到一种方法来获取每个分区的最后更新日期和时间。例如,如果 15-04-23 分区是在 3 月 15 日创建的,并且一个新文件添加到该分区...

回答 1 投票 0

为什么Athena在插入Iceberg表时会报“指定的键不存在”?

我正在 Athena 中创建一个 Iceberg 表,如下所示: 如果不存在则创建表 table1(`col1` 字符串,`col2` 字符串) 位置 's3://my-bucket/path/table1/' TBLPROPERTIES ('table_type'='ICEBERG', 'f...

回答 1 投票 0

AWS Athena:不允许从没有列的关系中选择 *

尝试访问某些表时遇到以下错误,但某些表工作正常,这可能是什么原因。 询问: 从 icbs_cup00901_d LIMIT 1 选择 * 相同的查询适用于其他表,所以...

回答 4 投票 0

根帐户上的 AWS Athena S3 日志权限被拒绝

我有一个 S3 存储桶 mybucketlogs,它是通过另一个存储桶的 S3 日志记录功能创建的。我的根帐户是两个存储桶以及两个存储桶中所有对象的所有者。 我跟着...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.