amazon-athena 相关问题

Amazon Athena是一种针对存储在Amazon S3上的数据运行SQL查询的服务。 Amazon Athena是Amazon Web Services(AWS)的一部分。

触发 AWS Glue 表压缩

我在胶水桌上无法压实。 我创建了一个 Glue 数据库和一个 Glue 表。 我有一个 S3 存储桶设置。 我已在 Glue 仪表板中启用了表优化

回答 1 投票 0

如何使用 athena 表正确配置时间戳格式列

这是我正在 Athena 中处理的盗版表配置。数据以 json gzip 文件形式存储在存储桶中。 该列是时间戳,格式为 yyyyMMddTHH:mm:ss 创建外部表 json_ta...

回答 1 投票 0

如何查询包含数组数据类型的属性?

我有这个数据类型为数组的值> [ {id=gid://test/1234, name=尺寸, 值=[L, M, S, XS]}, {id=gid://test/12345,名称...

回答 1 投票 0

使用数组数据类型查询属性

我有数据类型数组的值> [{id=gid://test/1234, name=尺寸, 值=[L, M, S, XS]}, {id=gid://test/12345, name=颜色, v...

回答 1 投票 0

AWS Athena:使用命中数组数据类型查询属性

我有这个数据类型为数组的值> [{id=gid://test/1234, name=尺寸, 值=[L, M, S, XS]}, {id=gid://test/12345, name=颜色, v...

回答 1 投票 0

如何使用 python 从 Lambda 函数在单个查询中查询多个 AWS Athena 数据库?

我正在尝试构建一个 Python Lambda 函数,该函数使用 AWS Wrangler Python 库从多个 Athena 数据库中提取数据。 wr.athena.read_sql_query('跨数据库sql查询', '其中一个

回答 1 投票 0

在 AWS Athena 中使用 FILTER WHERE 与 WHERE 时的不同结果

我有一个简单的查询,我正在尝试调试它,因为它给了我不正确的结果: 与一个AS( 选择 ID, 参考日期, 日期, COALESCE(failed_sum, 0) AS 失败...

回答 1 投票 0

Amazon s3 文件夹结构和爬虫设置以创建带分区的表

我有 s3 文件夹,它是使用 Python shell 脚本手动创建的 我的 s3 文件夹如下所示 s3://my_bucket/landing_zone/year=2024/month=10/day=01/sales/file.csv s3://my_bucket/landing_zone/是...

回答 1 投票 0

将 1 小时内出现的重复记录设置为 True

对于较早记录的 1 小时窗口内发生的记录,我想将 is_duplicate 设置为 TRUE。 规则是每条记录都应与最近的先前记录进行检查,其中 is_dupl...

回答 1 投票 0

AWS Athena DynamoDB Connector 是否无法扫描名称中包含大写字母的 DynamoDB 表?

我在使用 AWS Athena DynamoDB Connector 时遇到奇怪的行为。 在我看来,连接器不会读取/扫描以大写字母命名的 DynamoDB 表(例如 MY_CARS)。 听我说哦...

回答 1 投票 0

如何根据列的值复制同一行X次?

我有一个数据集,如下所示: 链接号 胡班德 时间 平均速度 样品编号 链接1 8 8:00 52 2 链接1 8 8:30 55 5 链接2 9 9:00 20 3 链接2 9 9:30 40 4 我需要复制每一行 X

回答 1 投票 0

HIVE_PARTITION_SCHEMA_MISMATCH:表和分区架构之间不匹配

我在 AWS 中实现了一个管道,其中我的数据存储在名为“input-bucket”的存储桶中。在这个存储桶中,有一个包含各种压缩文件的文件。我写了一个 Glue j...

回答 1 投票 0

s3 分区 - aws 胶水爬虫 - athena

在s3中我使用脚本(python脚本)创建了文件夹(分区) 文件夹看起来像这样 my_bucket/dev_zone/merchant_id=1/年=2025/月=01/日期=01/ 我正在从我的 AWS 胶水脚本写入数据...

回答 1 投票 0

Athena 无法使用 OpenCSVSerde 解析日期

我在 S3 上有一个非常简单的 csv 文件 “我”,“d”,“f”,“s” "1","2018-01-01","1.001","很棒的东西!" "2","2018-01-02","2.002","可怕的事情!" "3","2018-01-03","3.003","我是石油人" 我正在努力...

回答 3 投票 0

在 Athena 上查询 json 数据时出错

我在 S3 中存储了 JSON 数据,我想使用 Athena 查询它。我使用 AWS Glue 爬网程序来检索已正确获取的元数据和列,但我仍然无法查询...

回答 1 投票 0

保留 UNLOAD 生成的 Parquet 中的列名称大小写

默认情况下,在 Athena(可能更普遍的是 Presto/Trino)中 SELECT * 小写列名称。 我找到了一种解决方法,通过在适当的情况下显式指定列名称 SELECT SomeColumn,

回答 1 投票 0

如何在 athena 视图定义中添加条件以修改列值?

我在 s3 中有一个数据仓库,具有铜牌、银牌和金牌层,其中数据以增量格式保存。我需要从银桌创建金桌,并决定最好的方法

回答 1 投票 0

`lag()` 与 `over` 和 `range Between` 会在前一条记录超出范围时返回一个值

我想在使用 RANGE BETWEEN 定义的分区上使用 lag() 获取先前的值。我按照文档中的示例进行操作: 带订单(custkey、订单日期、总价) 作为 ( ...

回答 1 投票 0

使用 ODBC 将 powerBI Desktop 连接到 AWS Athena 错误

我正在尝试使用 ODBC 连接测试将 powerBI Desktop 连接到 AWS Athena:https://docs.aws.amazon.com/athena/latest/ug/odbc-v2-driver.html 我已经安装了驱动程序(Windows 2.x Amazon

回答 1 投票 0

查询 athena aws 的正确方法

我用 athena 查询 https://commoncrawl.org/overview 数据时超时...如果成功,每次查询将花费我 1000 美元...每 TB 5 美元,200 TB(?) ……其实太多了 这是……

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.