amazon-athena 相关问题

Amazon Athena是一种针对存储在Amazon S3上的数据运行SQL查询的服务。 Amazon Athena是Amazon Web Services(AWS)的一部分。

从 SQL 中嵌套的 JSON 中提取

我在表中有一个 json col 和一个 id: ID json_col abc123 json_文本 json值如下: [ { “类型”:0, “isPro”:正确, “附加组件”:[ { ...

回答 1 投票 0

无法从 JSON 文件创建 Athena 表

我有一个如下所示的 JSON 文件存储在 S3 中: { “工作流程”:{ “要求”:{ “美联社”:{ “身份证”:799330, “reqname”:“咪咪”,...

回答 1 投票 0

在 SQL presto 中使用 contains 数组函数的问题

尝试让以下 SQL Presto 代码正常工作,以便我可以执行工作日计算。如果我写“d -> day_of_week(d) not in (6,7)”,它会起作用,但我还需要过滤掉

回答 1 投票 0

设置选择结果中某一列的值

我正在尝试将 SELECT 结果中的一列的值替换为 0。通常我可以这样做: 选择 0 作为要设置的列, 其他_col_1, 其他_col_2, ... 从表格 然而,那里...

回答 1 投票 0

无法从 json 文件创建 athena 表

我有一个如下所示的json文件存储在S3中: { “工作流程”:{ “要求”:{ “美联社”:{ “身份证”:799330, “要求...

回答 1 投票 0

如何从 S3 中存储的整数 JSON 数据在 Athena 表中显示小数点后 3 位的小数值?

我将 JSON 数据存储在 S3 存储桶中,并且我正在创建一个 Athena 表来查询此数据。 JSON 中的一列表示存储为整数的货币值(例如,1000 表示 10 美元...

回答 1 投票 0

将数字日期/时间转换为 Athena 中人类可读的日期/时间

我使用 Hudi MoR 将数据存储在 AWS S3 Lake 中,并使用 Athena 进行查询。我的数据来自 kafka 流。 我在源数据库中有一个日期列和时间列,如下例所示

回答 1 投票 0

在 SQL Athena 中,如何获取 CSV 的创建日期和时间?

根据每个 CSV 文件的创建日期和时间,我想构建一个表格来显示数据的新鲜程度。在 SQL Athena 中,如何获取 CSV 的创建日期和时间?

回答 1 投票 0

如何从 Athena 请求大型数据集而不限制一次 1000 行

我正在开发的一个解决方案要求我在 Spring api 中向 Athena 请求 100k 以上的数据行。我相信默认情况下一次只提供 1000 行。想知道有没有人有

回答 1 投票 0

使用 Athena 视图中的粘合上下文目录创建动态框架

我在 Athena 中创建了一个视图,我正在尝试在 Glue 作业中执行以下操作: 从 awsglue.context 导入 GlueContext 数据帧 =glueContext.create_dynamic_frame.from_catalog( ...

回答 1 投票 0

AWS Glue 无法从爬网程序创建数据库:权限被拒绝

我正在尝试在 S3 存储桶上使用 AWS Glue 爬网程序来填充 Glue 数据库。我运行创建爬网程序向导,选择我的数据源(带有 avro 文件的 S3 存储桶),让它创建 IAM...

回答 5 投票 0

如何在 Amazon Athena 中分离 JSON 键和值对?

我需要有关分离 JSON 键和值对的帮助。我花了几个小时的谷歌搜索,但还没有真正找到一种方法来做到这一点。我希望能在这里找到一些答案。 所以,我这里有一个数据集

回答 1 投票 0

从典型的 s3 日志(Athena、Glue 或任何替代方案)生成报告

我有一个启用了静态网站托管的典型 S3 存储桶: 使用默认设置激活服务器访问日志记录(见图): 日志存储桶:s3://s3-access-logs-x-prod-us-east-1 日志对象...

回答 1 投票 0

AWS 爬网程序为分区列创建 Null 值

我在 s3 中有一些国家/地区级别的分区数据,爬虫正在爬行此根文件夹并创建一个表。国家/地区代码不存在空值。但是当看雅典娜时,...

回答 1 投票 0

AWS Athena SQL - 将常数与现有数据相乘

我正在尝试将现有值乘以某个常数值o.1876。数据的输出看起来像 销售_聚合 0.01314717 1.46E-04 0.00236974 0.02031013 0.01421709 0.25651208 0.1014686...

回答 1 投票 0

更新 Athena 中的表

我在 Athena 中有一个从 S3 创建的表。我想使用更新表命令更新列值。 Athena 不支持 UPDATE Table 命令吗? 还有其他方法可以更新吗...

回答 2 投票 0

AWS Athena SQL 查询 - 将日期转换为字符串

我有一个 Athena SQL 查询,我正在计算一些交货日期,如下所示。 事件时间不为空时的情况 AND eventtime != '' 那么 date_format(from_iso8601_timestamp (事件时间), '%Y-...

回答 1 投票 0

apache-iceberg 修复发现的冲突文件,这些文件可能包含与 true 匹配的记录

运行合并到查询时出现错误 org.apache.iceberg.exceptions.ValidationException:发现可能包含匹配 true 的记录的冲突文件:[file_1、file_2、file_3] 弹出。 我想要...

回答 1 投票 0

过滤值作为函数中的参数

如何使用 Amazon Athena 对多维数据集进行建模并查询以筛选包含数组列中的值的行? 选择 * 来自我的表 其中包含(my_array_column,'foobar') 所以我可以写一个过滤器,例如:...

回答 1 投票 0

MAP 根据键排序

我们如何根据 Aws Athena SQL 中的键对 MAP 进行排序 选择map_from_entries(array_agg(行(a,b))) 从 ( 选择a、b FROM unnest(map(ARRAY['z', 'a', 'b', 'c'], ARRAY[1, 2, 3, 4])) AS t(a, b) 订购...

回答 1 投票 0

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.