AWS Glue是一种完全托管的ETL（提取，转换和加载）服务，可以对数据进行分类，清理，丰富数据，并在各种数据存储之间移动数据。 AWS Glue包含一个称为AWS Glue Data Catalog的中央数据存储库，一个自动生成Python代码的ETL引擎，以及一个处理依赖项解析，作业监控和重试的调度程序。 AWS Glue无服务器，因此无需管理基础架构。
我有具有以下结构的 JSON 文件： { “ID_001”： { 'attr_a': 'bla', 'attr_b': 'blub' }, “ID_002”： { 'attr_a': 'foo', 'attr_b': '酒吧' }, ... } 我想翻译
我在 AWS 上遇到了错误，而 oogle 到目前为止还没有提供太多帮助。 这是我遇到的问题。 我已在 Glue 中设置了与 Oracle RDS 的连接。 当我测试连接时它通过了。 当...
我正在使用 Glue 书签来处理数据。我的工作是每天安排的，但也可以“手动”启动。由于我使用书签，有时粘合作业可以在没有新书签的情况下开始...
使用 AWSglue 连接到“本地”postgresql 数据库
我有一个 PostgreSQL 数据库，它实际上是“本地”的，但我有凭据和 JDBC 连接字符串。我想阅读 AWSglue 上的表格并将其在工作中用作源，然后写信给...
从本地 Spark 会话访问 AWS 数据目录 Iceberg 和 Non-iceberg 表
我想从本地环境中的pyspark代码中读取AWS数据目录表（Iceberg和Non-Iceberg）中的数据。 我已经相应地配置了 SparkSession。虽然我能够进入冰山
Glue PySpark 作业：调用 o100.pyWriteDynamicFrame 时发生错误
我正在构建数据管道，通过在 AWS Glue 中创建自定义连接器，通过 AWS Glue 将数据从 S3 存储桶迁移到 Snowflake。 运行胶水作业时出现以下错误： **发生错误...
AWS Redshift Spectrum 无法返回数据类型为时间戳的外部表的数据
我尝试使用 Glue 目录中的外部架构通过 Redshift Spectrum 查询数据，但遇到具有时间戳数据类型的列的问题。当我运行查询 SELECT *
我试图列出启用 Iceberg 的目录中的所有表。 回到 Spark-Sql 工作 Spark.sql(s"使用 ${catalogName}.${databaseName}") val 表 = Spark.sql("显示表...
我面临 AWS Glue 日志问题。我在脚本中使用以下代码来获取记录器并执行日志，但所有日志都打印在错误日志上而不是输出日志组上。 sc = SparkContext() 胶水C...
使用 Glue 适配器在 AWS 中运行 DBT 时出现 AccessDeniedException：Lake Formation 权限不足
我是 dbt 和 AWS 的新手，我正在按照教程学习如何将 dbt 与 AWS Glue 结合使用。 我在尝试运行以下 dbt 命令时遇到了问题： dbt run -m silver --profiles-dir 配置文件...
我正在尝试在本地 docker 环境中运行 awsglue 脚本 导入系统 从 awsglue.transforms 导入 * 从 awsglue.utils 导入 getResolvedOptions 从 pyspark.context 导入 SparkContext 来自
如何将 AWS EventBridge 事件参数传递到 Glue 工作流程
我已经设置了一个管道，当新文件添加到 S3 存储桶时，该管道使用 EventBridge 触发 Glue 工作流程。我已经测试了管道并验证了当我将新文件添加到 S3 时，EventBridge
无法创建与 RedShift Serverless 的 AWS Glue 连接
我正在尝试在 Glue 中创建 AWS Glue 和 Redshift 数据库之间的连接。目前，我收到错误： 连接创建失败。 验证期间创建连接失败
如何将复杂的 json 结构转换为数据框或 parquet 文件
我需要帮助。 我有下一个 json 示例 json_样本 我需要使用 pyspark 将 json 输入转换为数据帧，以便稍后保存到镶木地板文件中。 我尝试： json_path = 's3://df-julio-poc/
我使用 DynamoDB 连接器 https://github.com/awslabs/aws-athena-query-federation/tree/master/athena-dynamodb 在 Athena 中显示表。连接器将 DynamoDb 中的所有表添加到
在CloudFormation中创建Glue Connection（MONGODB连接类型）时，Required SSL的关键是什么
我正在尝试使用云形成创建胶水连接。连接类型为 MONGODB。我无法在此处设置 ssl 详细信息。尝试过 MONGODB_ENFORCE_SSL 但它不起作用，即使......
我正在 CSV 文件上运行 AWS Glue 爬网程序。此 CSV 文件有一个字符串列，其中包含字母数字值。爬网程序正在将此列的数据类型设置为 INT（而不是字符串）。这...
如何使用数据目录表检索在 AWS Glue Visual ETL 中读取的 CSV 文件的文件名并处理单个文件的验证错误？
我正在使用 AWS Glue Visual Studio ETL 处理存储在 S3 存储桶中的 CSV 文件。这些文件在 Glue 数据目录中注册，并在 ETL 作业期间作为单个 DynamicFrame 读取。我想要： -
我正在尝试在glue脚本内设置代理以连接到外部源-snowflake。 但以下均无效 方法 1：向 env 变量添加代理 os.environ['USE_PROXY'] = '...
我需要帮助来做一些与数据框相关的事情 我需要保存一个 csv 文件，其中所有列在值的开头和结尾都包含双引号。 该数据框是在 r...