Redshift 中的 S3 自动复制功能

Question

对于S3 AUTO COPY，以下情况如何处理？

1.自动复制作业失败时自动通知

2.因

原因失败时重新尝试

 a) Structural errors- Column size issue/table permission issues/New column in file 
    which is not there in table.
b) Table not exists.
c) Target DB connection error.

在这种情况下，是否需要手动干预才能重试特定文件？

自动复制将如何处理这个问题？它是否会自动重试相同的错误文件“x”次（或）在某个特定持续时间内重试（或）直接跳过，并且必须有人手动要求使用命令来执行此操作。 任何帮助将不胜感激。
请提供更多相关信息。

Answer 1

因此，为了监控 AUTO COPY：Redshift AUTO COPY 与 Amazon EventBridge 集成以捕获摄取事件，包括失败。您可以设置 EventBridge 规则来检测故障事件并发送 SNS 或触发 Lambda。您只需确保为 Redshift 集群启用日志记录，并将参数

enable_user_activity_logging

设置为 true。

文件中的列大小问题或新列 - 这需要手动干预：

1 - Update schemas in the target database.

2 - Adjust data file formatting or transformations.

您可以使用 Redshift AUTO 架构演变来消除架构错误，但如果不支持某些类型，您还需要手动更新架构。当此步骤中出现问题时，Redshift 会记录错误并跳过有问题的文件。因此，当您修复文件架构时，您需要使用 COPY 命令手动重试该作业。

权限问题 - 您可以在解决问题后重试并添加错过的权限。

表不存在 - 这需要手动干预：

1 - Create the target table.

2 - Map the incoming file schema to the table.

为此，您可以集成一个 Lambda 函数来在 AUTO COPY 作业之前检查该表是否存在，如果不存在，则 Lambda 将使用某种预定义架构创建它，并在之后触发 AUTO COPY 作业。

目标数据库连接错误 - Redshift 自动重试暂时性问题，直至达到默认阈值。您还可以实现具有指数退避的重试机制。如果它仍然存在，您还需要手动修复它并重试该作业。