使用 ELK 实现 Kafka

Question

我目前正在使用：

• filebeat 8.1.3（安装在 Windows 上），
• Elasticsearch 版本 7.17.1
• logstash 8.1.3
• 卡夫卡 elk、kafka 位于 1 台服务器上

关于架构，我首先在Windows上安装了filebeat以从那里获取日志。然后我想用它输出日志到kafka，并从kafka输出到logstash。最后从logstash到elasticsearch。 就像下图一样

但是，我在 Kibana 上看不到来自 kafka/logstash（来自 Windows filebeat）的日志时遇到问题。 我在 Windows 上的 filebeat 配置 (filebeat.yml)：

• 类型：日志 路径：
  • “E：/QwikCilver/Applogs/AppLog/zeus/zeus.log” 忽略旧版本：5m 扫描频率：1m close_inactive: 10s close_removed：真 clean_removed：真 关闭重命名：true 多行类型：模式 multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}' 多行否定：true 多行匹配：之后 标签：[“性能”、“zeus.log”]

输出.kafka： 主机：[“内部-a6a50c1cf23db4fa582d77b7a28d2fc9-485248067.ap-south-1.elb.amazonaws.com:9092”] 启用：真 主题：“我的主题” 分区.round_robin： 仅可达：假

所需确认：1 压缩：gzip 最大消息字节数：1000000

我的logstash配置：

input {
  kafka {
    bootstrap_servers => "kafka-broker.kafka.svc.cluster.local:9092"
    topics => ["my_topic"]
    codec => json
  }
}
filter {
 }
output {
  elasticsearch {
        index => "others-%{+YYYY.MM.dd}"
        hosts => ["elasticsearch:9200"]
        user => elastic
        password => *********
        }
}

我不知道该怎么办，Windows 上的主题设置是否有问题？或者我应该怎么做才能通过kafka和logstash从Windows上的filebeat获取日志到Elasticsearch？

我对这个卡夫卡设置很陌生。 Kafka 已使用设置 https://github.com/meniem/kafka-helm/tree/main

尝试进入 kafka cli 容器并能够创建和发送主题并在 kibana 上获取数据。

Answer 1

首先，您应该使用 Elasticsearch 8.x 和相同版本的 Filebeat / Logstash。

其次，Kafka和Logstash都是必需的，因为Filebeat可以直接输出到Elasticsearch。

或者 Filebeat 可以将 TCP 事件发送到 Logstash，同样无需 Kafka。

Kafka 已使用...设置

1. 该存储库未维护。
2. 您已将 Filebeat 指向某个 AWS 服务器，该服务器与您的 Logstash 引导服务器不匹配