logstash 相关问题

将 JSON 文件更改从 Azure BLOB 存储提取到 Logstash 的最常见方法是什么？

我需要集成 Logstash 数据摄取以包含存储在 Azure BLOB 存储容器中的 JSON 文件。这些 JSON 文件不断被附加，Logstash 是预期的......

如何检查logstash是否从suricata接收/解析数据到elasticsearch？

尝试在 Mac OS X 10.10.3 Yosemite 上使用 ElasticSearch(v1.5.2)-Logstash(v1.4.2)-Kibana(v4.0.2) 配置 suricata v2.0.8。 苏里卡塔.yaml： # 可扩展事件格式（绰号 EVE）事件登录...

Logstash 多输入多输出

我正在尝试使用 Logstash 在 MySQL 和 Elasticsearch 之间同步数据。 我将多个 jdbc 输入和多个输出设置为不同的 elasticsearch 索引......而我做错了，因为

Logstash 忽略 CSV 中的新行

我正在尝试通过 Logstash 将 CSV 文件上传到 ElasticSearch，Logstash 似乎忽略了 CSV 文件的新行。 root@debian:~# cat jmeter-localhost-dummy.csv

Logstash udp 输入不起作用

我对logstash很陌生，但我花了相当长的时间试图解决这个问题，但没有成功。我正在通过 udp 从不同服务器上的多个应用程序发送日志以进行记录...

如何使用 Log stash 从 UNIX 机器发布经常变化的不同 .log 文件？

我可以在网址https://www.elastic.co/guide/en/logstash/current/installing-logstash.html中发现Log stash需要java 8。这是否意味着log stash不支持所有java版本< java 8 ?. Please l...

导入所有数据后自动停止Logstash进程

情况： 我每天中午 12 点通过 Logstash 手动将数据导入 Elasticsearch。 我知道 Logstash 上没有“关闭”，因为理想情况下，您希望不断地将数据发送到

logstash管道工作后如何关闭docker容器？

我的 Logstash docker 容器中有两个管道。第一个管道运行 mysql 数据库查询并将其写入 Elasticsearch。其他将日志从日志文件写入elasticsearch。 我想关闭...

Python - 如何将日志写入已经存在的 Kibana？

嗯，我被要求将日志写入现有的 Kibana。 我得到了一个主机和一个端口，我想这就是日志存储的主机和端口。 有人告诉我搜索如何将日志发送到该主机。那是...

如何匹配grok中出现0次或1次的数据？

如果有人能帮助我解决 Logstash frok 问题，我将不胜感激。 我正在尝试为下面的示例创建一个单一的 grok 定义。我的目标是将主题解析为一个字段。 t1='t1', t2='t2', 子...

如何制作 filebeat 配置以从文件中收集特定行

有oracle的文件日志aud，我需要收集整个块而不是整个文件。该块是从 ACTION 字段到 ACTION NUMBER 日志文件如下 2023 年 11 月 9 日星期四 10:20:24 +01:00 长度...

jdbc 的未知设置“jdbc_user”

这是我的conf文件，我想将我的数据从mysql传输到postgres或者你可以考虑作为多个数据库实例 输入 { jdbc { jdbc_driver_library =>“C:/Users/pc/Desktop/mysql...

实时监控弹性指数变化

我正在解决一个问题，我应该实时监控对弹性索引所做的任何更改。 例如 如果有人更新文档 { “核心价值” } 到 { &...

是否可以在logstash输出配置中提及分区id？

是否可以在logstash输出配置中提及分区ID？ Logstash.conf: | 输入 { 卡夫卡{ group_id =>“测试组”

Kibana 仪表板未渲染

我正在AWS实例上运行一个由3个主节点和3个数据节点组成的dockerized弹性集群，使用rsyslog和logstash，我在elasticsearch索引上收集和存储系统日志事件。 到现在为止每...

Logstash运行出现异常

当我运行它时，我在logstash日志中得到了这个异常。 [2018-01-14T15:42:00,912] [错误][logstash.outputs.elasticsearch] Elasticsearch 的未知设置“主机” [2018-01-14T15:42:00,921][

Logstash 添加日期类型的字段

我的日志包含以下格式的时间：20231030 09:41:20.179021。我想将它们解析为logstash中的Date类型。 这是我当前的过滤器 筛选{ 领悟{ 匹配 => {...

如何生成每日重置的单调递增数字

所以我正在开发一个项目，它将非结构化日志转换为结构化日志，该日志以 2 秒的微批次的近实时流形式接收。 应用程序写入事件日志。每根日志都有...

来自 ElasticSearch 的数据作为 http_poller 的输入

我正在尝试执行以下操作： 从elasticsearch中获取一些数据（比如说单个浮点值），并通过Logstash管道将它们添加到对某些Rest API的http_poller调用的主体中......

是否可以直接在logstash elasticsearch输入插件中添加聚合或者在logstash中使用aggregation_fields过滤器进行聚合？

您能否帮助我了解如何使用logstash elasticsearch 输入插件来获取聚合数据，如下面的查询所示？我需要使用aggregation_fields过滤器{如下所示}，发布