AWS Glue 作业日志仍会输出和错误日志

Question

我配置了一个 AWS Glue 作业，其中启用了连续日志记录，然后在作业参数中定义了连续日志记录。

参数：

1. --启用连续-cloudwatch-log - true
2. --启用连续日志过滤器 - false
3. --连续日志-logStreamPrefix - 测试
4. --continuous-log-logGroupName 或 --Continous-log-logGroup - custom_log_group

但我的 Glue Job 日志组仍然指向“/aws-glue/jobs”以及 Cloudwatch 日志下的链接

1. “所有日志”打开默认日志组 - /aws-glue/jobs/logs-v2。 虽然链接打开了错误的位置，但它实际上写入了我的 custom_log_group。但它只包含粘合上下文日志。不是我的 java 库日志，它在胶水作业中被引用。
2. “输出日志”转到 - /aws-glue/jobs/output
3. “错误日志”转到 - /aws-glue/jobs/error - 这显示了我所有的 Java 库日志。

我希望所有这些日志都进入我的custom_log_group。我在这里缺少什么。

Answer 1

您的设置看起来正确。我尝试实现相同的设置并观察到相同的行为。

所有日志：

• 将您引导至自定义日志组
• 包括来自 GlueContext 记录器的日志以及 Glue 作业生成的其他日志

输出日志 |错误日志：

• 始终直接访问 AWS 管理的日志组 (/aws-glue/jobs/)

未提及的一个关键步骤是使用 GlueContext 提供的记录器来确保您的日志显示在自定义 CloudWatch 日志组中。

记录器设置：

from awsglue.context import GlueContext
from pyspark.context import SparkContext

sc = SparkContext()
glueContext = GlueContext(sc)
logger = glueContext.get_logger()
logger.info("info message")
logger.warn("warn message")
logger.error("error message")

参考：https://docs.aws.amazon.com/glue/latest/dg/monitor-continuous-logging-enable.html#monitor-continuous-logging-script