amazon-athena 相关问题

Amazon Athena是一种针对存储在Amazon S3上的数据运行SQL查询的服务。 Amazon Athena是Amazon Web Services(AWS)的一部分。

如何获取特定schema下所有表的详细信息

我通过以下查询在 Hive 中获取表的详细信息,但在 Athena 中没有找到相应的信息。 使用模式名称; 显示扩展如“*”的表 作为上面输出的一部分

回答 2 投票 0

从 Pandas DataFrame 创建 AWS Athena 表

是否可以直接从 Python 中的 Pandas DataFrame 在 AWS Athena 中创建表,而无需先将 DataFrame 写入 S3 存储桶?如果可以,如何实施?我正在努力避免

回答 1 投票 0

如何在 AWS Glue/Athena 上使用 AVRO 格式

我在 Kafka 中有一些主题正在将 AVRO 文件写入 S3 存储桶,我想使用 AWS Athena 对存储桶执行一些查询。 我正在尝试创建一个表,但 AWS Glue 爬网程序运行并且

回答 3 投票 0

需要根据常见分组将一些值替换为新值

我有A桌 有 9 条记录 文本、值、dt 1, 1, 2024-01-01 1, 2, 2024-02-01 1, 3, 2024-03-01 1+1, 4, 2024-04-01 1+1, 5, 2024-05-01 2, 6, 2024-05-01 2+1, 7, 2024-06-01 3, 8, 2024-01-01 3、9、202...

回答 0 投票 0

融合的 Kafka 到 S3 接收器自定义 s3 命名以方便分区

我正在使用 Confluence 的 kafka-connect-s3 https://www.confluence.io/hub/confluenceinc/kafka-connect-s3 将我的 kafka 主题备份到 s3。我希望能够使用 Athena 轻松查询这些数据并...

回答 1 投票 0

如何在 SQL AWS Athena 中使用动态偏移进行滞后?

我有一个表格,其中有一列数字,然后其他列包含其他数据。我创建了“floor10”列,其中这些数字的下限为 10 的倍数(例如 8 -> 0、17 -&g...

回答 1 投票 0

AWS Athena 与 python - 是否可以在测试 sql 的同时使用 moto 进行模拟?

我的代码使用 boto3 在 Athena 上执行 sql 查询。 我希望能够测试整个功能,但避免实际访问 athena。我需要根据查询st获取数据...

回答 1 投票 0

PrestoSQL/Trino - 如何在子查询中没有显式 where 子句的情况下查询所有情况

我正在尝试在 Athena 中编写一个查询,其中我得到了 unique_usage_ids 列表,其中 unique_usage_start_date 至少早于contract_sign_date 1 个月 我知道如何编写查询来查找...

回答 1 投票 0

HiveIgnoreKeyTextOutputFormat 的athena 插入和配置单元格式错误

在提出问题/问题之前,先进行以下设置: 表1 创建外部表 `table1`( `mac_address` 字符串, `节点` 字符串, `wave_found` 字符串, `wave_data` 字符串, `calc_dt` 字符串, `

回答 1 投票 0

展平 Athena 表中的 JSON 列

有一个 Athena 表,其中 2 列包含 json 数据形式的值。 要求是使柱变平。 我目前正在按照手动方法来压平数据。 选择

回答 1 投票 0

如何仅当列存在时才执行查询?

我正在向 Athena 表添加一个新列,并且我想仅在新列存在时才对新列执行新查询,否则对现有列使用当前实现的查询,以便 ...

回答 1 投票 0

SQL 查询将审核表汇总为新的聚合表

我有一个ticket_audit表,用于记录每个ticket_id记录票证的状态以及每个状态的持续时间。 每个ticket_id最多可以有三种状态,(等待、响应和有效......

回答 1 投票 0

Amazon Athena:SQL 查询将审核表汇总到新的聚合表中

我有一个ticket_audit表,用于记录每个ticket_id记录票证的状态以及每个状态的持续时间。 每个ticket_id最多可以有三种状态,(等待、响应和有效......

回答 1 投票 0

如何在 AWS Athena 联合查询传递中使用完全限定的表函数?

几天前,AWS 推出了 AWS Athena Federated Query 直通查询,允许查询直接传递到底层数据存储。 https://aws.amazon.com/about-aws/

回答 1 投票 0

Trino SQL 中 WHERE 子句中的顺序重要吗?

Trino 引擎如何解析 WHERE 子句中的顺序? 例如我们有查询 1: 选择 * 来自 some_schema.some_table 其中partition_column = 'yyyy-MM-dd' - 这是某个日期,表分区...

回答 1 投票 0

Sagemaker / Athena -- urllib3.exceptions.SSLError:[Errno 24] 打开文件太多

我需要为大型数据集(15 亿交易)设计特征,并批量处理它。批量大小由时间窗口(例如 100,000 秒)决定。一切都很顺利...

回答 1 投票 0

无法使用 Athena 查询 JSON:HIVE_METASTORE_ERROR:错误:在“ARRAY <STRING>”的位置 0 处应输入类型,但找到了“ARRAY”

当我尝试通过 Athena 使用粘合表查询 JSON 文件时,出现以下错误: HIVE_METASTORE_ERROR:错误:应在“ARRAY ”的位置 0 处键入,但“ARRAY”是...

回答 2 投票 0

如何验证“IN”语句的每个值是否存在于 SQL 查询结果中?

我有一套tableA 姓名 城市 保罗 罗马 鲁迪 新加坡 明 新加坡 武 东京 朱迪 雅加达 由希 东京 史蒂夫 新加坡 我想确定那个人来自柏林、新加坡……

回答 1 投票 0

如何替换 PowerBI DirectQuery 结构中的 AWS Athena?

我构建了 14 个 AWS Glue 作业(使用 Pyspark),这些作业从多个源检索数据,按“uuid”字段对数据进行分区,并将它们写入 S3 中的 parquet 文件中,以便通过 AWS 使用...

回答 1 投票 0

在 Athena 中获取前一个月的 SQL 查询

我想获取上个月的数据(每月第一天到每月最后一天)。我的数据采用 UT(通用时间),需要提取 ET(七月)。我需要计算购买的数量(通过计算

回答 1 投票 0

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.