有人问我如何从 Oozie 中作为 Java 操作运行的 Spring Boot 应用程序捕获日志输出。
我最初的想法是可以编辑一些 log4j 属性来捕获 YARN 或 Oozie 内的应用程序日志。然后我想到,对于在各种集群节点上运行的特定应用程序来说,Kafka 将是一种更简单的捕获和聚合日志消息的方法。通过订阅主题来监控分布式系统比通过日志文件钓鱼要容易得多。
我注意到 Kafka 有一个 log4j 附加程序,因此我尝试创建一个最小的可重现示例(发布在 github 上:https://github.com/alexwoolford/spring-boot-log-to-kafka-example)。这是
pom.xml
的片段:
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>1.4.4.RELEASE</version>
</parent>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
<exclusions>
<exclusion>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-logging</artifactId>
</exclusion>
<exclusion>
<groupId>org.springframework.boot</groupId>
<artifactId>logback-classic</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-log4j</artifactId>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-log4j-appender</artifactId>
<version>0.10.0.0</version>
</dependency>
<dependency>
<groupId>net.logstash.log4j</groupId>
<artifactId>jsonevent-layout</artifactId>
<version>1.7</version>
</dependency>
<dependency>
<groupId>commons-logging</groupId>
<artifactId>commons-logging</artifactId>
<version>1.2</version>
</dependency>
</dependencies>
我的 log4j.properties 文件如下所示:
log4j.rootLogger=INFO
log4j.appender.KAFKA=org.apache.kafka.log4jappender.KafkaLog4jAppender
log4j.appender.KAFKA.layout=net.logstash.log4j.JSONEventLayoutV1
log4j.appender.KAFKA.topic=logs
log4j.appender.KAFKA.brokerList=hdp-single-node:6667
log4j.appender.KAFKA.syncSend=true
log4j.appender.KAFKA.producer.type=async
log4j.logger.io.woolford=INFO, KAFKA
这有效,只是它会生成警告:
log4j:WARN No appenders could be found for logger (org.apache.kafka.clients.producer.ProducerConfig).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
尽管此应用程序运行并执行我需要的操作,但警告表明我配置错误。你能看出需要改变什么吗?
此外,我注意到 Spring Boot 默认情况下使用 Logback,并且我注意到有一个开源项目 logback-kafka-appender,它允许 Logback 附加到 Kafka。 Kafka log4j 附加程序是 Spring Boot 登录 Kafka 的最佳方式吗?
对于 Spring 2.4.4 和响应式 kafka,在 application.properties 中添加以下内容,减少了大量控制台消息
logging.level.org.apache.kafka=OFF
Log4j2 有一个 Kafka 附加器。有必要将
spring-boot-starter-log4j2
和 jackson-databind
工件添加到 pom.xml
:
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter</artifactId>
<exclusions>
<exclusion>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-logging</artifactId>
</exclusion>
<exclusion>
<groupId>org.springframework.boot</groupId>
<artifactId>logback-classic</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-log4j2</artifactId>
</dependency>
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-log4j-appender</artifactId>
<version>0.10.0.0</version>
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-databind</artifactId>
<version>2.8.6</version>
</dependency>
</dependencies>
然后我创建了一个 XML 格式的
log4j2.xml
文件:
<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="info" name="spring-boot-log-to-kafka-example" packages="io.woolford">
<Appenders>
<Kafka name="kafkaAppender" topic="logs">
<JSONLayout />
<Property name="bootstrap.servers">hdp-single-node:6667</Property>
</Kafka>
</Appenders>
<Loggers>
<Root level="INFO">
<AppenderRef ref="kafkaAppender"/>
</Root>
<Logger name="org.apache.kafka" level="WARN" />
</Loggers>
</Configuration>
日志消息以 JSON 格式发送到 Kafka,例如
{
"timeMillis": 1485736022854,
"thread": "Thread-1",
"level": "INFO",
"loggerName": "org.springframework.context.annotation.AnnotationConfigApplicationContext",
"message": "Closing org.springframework.context.annotation.AnnotationConfigApplicationContext@20140db9: startup date [Sun Jan 29 17:26:52 MST 2017]; root of context hierarchy",
"endOfBatch": false,
"loggerFqcn": "org.apache.commons.logging.impl.SLF4JLocationAwareLog",
"threadId": 19,
"threadPriority": 5
}
如果你想禁用 Kafka 日志,你可以像这样配置你的
application.yml
:
logging:
level:
org.apache.kafka: OFF
kafka: OFF
kafka.consumer: OFF
kafka.producer: OFF
此配置将关闭所有 Kafka 相关日志,包括生产者、消费者和所有其他 Kafka 组件。
在我们的例子中,额外的日志是由
TracingProducerInterceptor
写入的,它已在 ReactiveKafkaProducerTemplate
的 bean 中注册
@Bean
public ReactiveKafkaProducerTemplate<YourModelEventKey, YourModelEvent> reactiveKafkaProducerTemplate(
final KafkaProperties properties) {
var props = properties.buildProducerProperties();
props.put(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG, Collections.singletonList(TracingProducerInterceptor.class));
return new ReactiveKafkaProducerTemplate<>(SenderOptions.create(props));
}
解决方案:
logging.level.brave.Tracer=warn
用于 application.properties
对于 application.yaml 使用如下
logging.level
brave.Tracer: warn
注意:我们只对警告或错误感兴趣。如果需要,您可以通过设置
OFF
来完全禁用