amazon-athena 相关问题

Amazon Athena是一种针对存储在Amazon S3上的数据运行SQL查询的服务。 Amazon Athena是Amazon Web Services(AWS)的一部分。

Unnest 和 split 函数在 pyspark SQL 中返回错误

我有一个在 Presto 格式下运行良好的查询(在 Athena 中执行时)。但是,当我在 AWS Glue 中运行相同的查询(通过 Python Spark.SQL 数据帧)时,我收到一条错误消息“

回答 1 投票 0

Athena 数据源可以通过 Cloudormation 或 CDK 配置吗?

我需要配置 Athena 以连接到几个数据源 - MySQL RDS、Postgres RDS 和自定义联合 Lambda。 理想情况下,我想通过 Cloudformation 配置这些,以便我可以提交...

回答 1 投票 0

Athena CloudWatch Metrics Connector 仅返回过去 15 天的数据

我已经设置了 Athena CloudWatch Metrics 连接器:https://docs.aws.amazon.com/athena/latest/ug/connectors-cwmetrics.html,但是当我从 Athena UI 查询 metric_samples 表中的数据时夫...

回答 1 投票 0

AWS Glue 作业有时无法解析给定输入列的“xxx”

当我执行awsglue作业时,在Athena中运行成功的sql查询语句会在这里报错,通过日志看来是他们的单引号有问题。 D...

回答 3 投票 0

在 AWS Athena 中添加具有唯一值的列

所以,我正在寻找一种对 athena 表的行进行排序的方法。我已经尝试过: ROW_NUMBER() 超过 () 但这会导致在此比例因子错误下查询耗尽资源。它有...

回答 2 投票 0

Athena 计算从日期到当前时间戳的每月计数

我有下表: 孩子ID 孩子_dob 父 ID 家长出生日期 1 2021-01-04 1 2021-01-01 2 2021-01-30 1 2021-01-01 3 2021-03-10 2 2021-01-15 4 2021-04-13 2 2021-01-15 我正在努力争取

回答 1 投票 0

如果 Athena 表中只有 1 个分区,但用户不按该分区查询,会扫描多少数据?

假设我有一个 Athena 表 mytable,由 A、B 和 C 列分区。 我们将通过卸载查询将数据插入到 s3 存储桶中。数据将按 A/B/C 分区。会有不同...

回答 1 投票 0

如何停止将完整 JSON 对象加载到 AWS Athena 中的单个字段中

我正在尝试将 JSON 数据从 S3 加载到 Athena 中的表中。 我的 JSON 数据如下所示; [{“a”:“a_value”,“b”:“b_value”,“my_data”:{“c&...

回答 1 投票 0

在 Athena 中创建具有自动加载分区的表

我创建了这样的表: 如果不存在则创建外部表 my_table ( `id` 字符串注释 '', `source` 字符串 COMMENT '', `os` 字符串注释 '') 划分为 ( `日期` 字符串

回答 1 投票 0

Athena 卸载带有 null 的 TEXTFILE

我目前正在使用 AWS Athena 中的 UNLOAD 功能,我在其中查询如下内容: UNLOAD (SELECT * FROM sometable) TO 's3://' WITH (format = 'TEXTFILE', field_delimeter = ',')

回答 1 投票 0

如何在 SQL 中执行每小时平均计数计算?

我的表格的简化版本如下所示: ID 小时 1 3 1 3 1 3 1 4 2 12 2 12 2 14 小时列表示凌晨 3 点、凌晨 4 点、中午 12 点等。我希望能够做什么(在 Amazon Athena 中工作)...

回答 2 投票 0

来自 S3 的请求的 AWS Athena 成本

如果我在 S3 中有 1000000 个项目,并且我想通过 Athena 查询所有这些项目,我是否需要支付 1000000 次 GET Item S3 操作的费用(当然还有扫描数据量的成本)? 或者雅典娜会对待...

回答 1 投票 0

在 AWS athena 表中指定时间戳或日期格式

我有一个 ISO-8601 格式的时间戳,并希望在 Athena 中创建表时将其指定为时间戳或日期时间格式。有关如何执行此操作的任何线索? 谢谢!

回答 1 投票 0

如何在 Athena 中创建 DELTA 表

我尝试在AWS(Athena)中创建DELTA表,但出现错误。 参考:https://docs.aws.amazon.com/athena/latest/ug/delta-lake-tables.html#delta-lake-tables-getting-started 创建扩展...

回答 1 投票 0

Pandas pandas.util.hash_pandas_object 的 SQL 等效项

我需要编写为每一行生成唯一值的逻辑,我知道我可以使用MD5哈希,但我有一个限制,在过去我们使用pandas dataframe方式通过使用生成唯一值...

回答 1 投票 0

使用 AWS Athena 从字符串列中的 JSON 列表中提取数据时获取空白值

我有一个包含以下列和数据类型的表格。 id字符串 名称字符串 标题字符串 列表项字符串 购买列表表: ID 姓名 标题 列表项 123 彼得 采购清单 [{“manufacture_dat...

回答 1 投票 0

Presto SQL 中的唯一行标识符

我处理没有唯一行标识符的 Presto SQL 表。识别特定记录的唯一方法是查询其所有字段。 Presto 中是否存在某种隐藏字段,例如

回答 3 投票 0

在 DBT 中,我无法从“dbt.exceptions”导入名称“RuntimeException”

我尝试在 EC2 实例上设置 dbt,创建 conda 环境: conda 创建 --name dbt-athena python=3.10 conda 激活 dbt-athena conda 安装-c conda-forge dbt-athena-适配器 那我...

回答 1 投票 0

ORDER BY 对于 Aws Athena Presto 中的性能重要吗?

当您使用CTAS查询创建新表时,您可以添加ORDER BY。当你将它与bucket_by结合时你必须这样做。如果您不进行存储,ORDER BY 对您的性能仍然重要吗...

回答 1 投票 0

Athena“不支持给定的相关子查询”

此查询在 Athena 外部(在 DB2 中)运行。在大多数情况下,当我注释掉“having max(column1) > 3”行时,它在 Athena 中工作。但是,当我 &...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.