如何删除logstash不需要的字段（ELK）

Question

如何删除不必要的字段？类型： agent.ephemeral_id agent.id winlog.provider_guid

我尝试过，但 Kibana 根本停止显示日志

- drop_fields:
      fields: ["date_created", "ecs.version", "agent.version", "agent.type", "agent.id"]

在logstash中我有这些配置：filter.conf，input.conf，output.conf

过滤器：

filter {
    if "winsrvad" in [tags] {
    if [winlog][event_id] != "5136" and [winlog][event_id] !=ent_id] != "4729" and id] != "4734" {
    drop { }
    }
    }
}

Answer 1

我建议在满足条件时使用 prune 将“不必要的字段”列入黑名单。

请参阅文档：https://www.elastic.co/guide/en/logstash/current/plugins-filters-prune.html

Answer 2

您可以使用 mutate；如下所示

  mutate {
    remove_field => [ "date_created", "ecs.version", "agent.version", "agent.type", "agent.id"]
  }

Answer 3

drop

选项将忽略整个日志，您可以在

remove_field

插件中使用

mutate

选项。

例如：

mutate {
  remove_field => [
    "date_created",
    "[ecs][version]",
    "[agent][version]",
    "[agent][type]",
    "[agent][id]"
  ]
}

查看本教程以了解更多信息：如何在 Logstash 中删除字段。