解析 Filebeat 日志以发送到 Elasticsearch

Question

是否有任何现有的方法或工具可以在将 Filebeat 日志发送到 Elastisearch 之前对其进行解析（

var/log/filebeat/filebeat-<date>.ndjson

）？我对 Filebeat 和 ES 使用 8.8.0 版本。

我尝试将 JSON 格式的 Filebeat 日志（每个文件多行 JSON 对象）发送到 ES，但每个 JSON 对象只是存储为单个

message

字段，而不是分解为键 -可搜索的值对。

具体来说，我实际上只对 JSON 日志中的几个键值对感兴趣，所以如果我可以将这些字段发送到 ES 而不是存储所有内容，那就更好了。

Answer 1

您可以使用 filebeat 解析器 将

filebeat-<date>.ndjson

filebeat 日志索引到 Elasticsearch 中。

filebeat.inputs:
- type: filestream
  ...
  parsers:
    - ndjson:
        target: ""
        message_key: msg
    - multiline:
        type: count
        count_lines: 3

---

ndjson

是一种将数据索引到 Elasticsearch 的绝佳格式。检查以下讨论是否有类似案例。 https://discuss.elastic.co/t/in-filebeat-processing-json-log-files-that-does-not-need-processing/344146