Logstash是用于管理事件和日志的工具。您可以使用它来收集日志,解析它们并将它们发送到存储器以供以后使用(例如搜索)。
当使用logstash的XML过滤器解析XML文件时,logstash有没有办法根据XML内容自动定义字段? 例如,假设我有以下 XML(复制到...
Log4J JsonTemplateLayout 替换消息内容
我用于记录Log4J 我的附加程序配置 我用于记录 Log4J 我的附加程序配置 <RollingFile name="FILE-LOGSTASH" fileName="C:\Users\p.bohomaz\IdeaProjects\o2-lcm\log4j-logstash.log" filePattern="C:\Users\p.bohomaz\IdeaProjects\o2-lcm\log4j-logstash-%d{yyyy-MM-dd-HH}.log.gz"> <LogStashJsonLayout/> <Policies> <TimeBasedTriggeringPolicy interval="1" modulate="true"/> </Policies> </RollingFile> 我的问题是,有时在日志中我会收到普通的电话号码 我想将其替换为 3********9 我发现 LogStashJsonLayout 已弃用,没有此选项,我需要使用 JsonTemplateLayout 所以我将我的配置更改为这个 <RollingFile name="FILE-LOGSTASH" fileName="C:\Users\p.bohomaz\IdeaProjects\o2-lcm\log4j-logstash.log" filePattern="C:\Users\p.bohomaz\IdeaProjects\o2-lcm\log4j-logstash-%d{yyyy-MM-dd-HH}.log.gz"> <JsonTemplateLayout eventTemplateUri="classpath:EcsLayout.json"/> <Policies> <TimeBasedTriggeringPolicy interval="1" modulate="true"/> </Policies> </RollingFile> 和我的 json 模板文件 { "@version": "1", "@timestamp": { "$resolver": "timestamp", "pattern": { "format": "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'", "timeZone": "UTC" } }, "logger": { "$resolver": "logger", "field": "name" }, "priority": { "$resolver": "level", "field": "name" }, "thread": { "$resolver": "thread", "field": "name" }, "message": { "$resolver": "message", "replace": { "regex": "(\\d{2})(\\d{7,11})(\\d{2})", "replacement": "$1********$3" } } } 但我仍然在日志中看到普通数字 我检查了文档,发现我需要使用 pattern.replace(regex,replacement) 但它也不起作用 有人可以帮忙吗? 是否可以在模板中执行此操作还是我需要为其创建过滤器? JSON 模板布局的 message 解析器没有 replace 配置 - 请参阅其文档。您可以使用 pattern 解析器 回退到模式布局并使用 其 replace 转换器: { "message": { "$resolver": "pattern", "pattern": "%replace{%msg}{(\\d{2})(\\d{7,11})(\\d{2})}{$1********$3}" } }
logstash 错误:java.net.SocketException:连接重置
我正在尝试安装和设置 Elk,但在 Logstash 中遇到问题: [logstash.inputs.tcp][main]/172.16.12.208:56356:初始化通道 [logstash.instrument.periodicpoller.jvm] 收集器名称 {:...
我有一项服务能够将事件日志发送到第三方,在本例中是logstash。它不能多次发送数据。我的问题是,它发送的事件是工作事件数据...
我想将错误从我的node.js 服务器记录到另一台服务器。我正在考虑使用 elasticsearch、logstash 和 kibana。我想知道如何使用我的节点服务器设置 ELK。
我一直在为logstash的elasticsearch输出插件使用以下代码,但它创建了名为mt-raw-00001的索引 输出 { 弹性搜索{ 主机=...
我正在使用 NXLog 读取日志文件并将其发送到 Logstash。 这工作正常,但一些日志项是重复的。 它们位于不同的行中,但内容完全相同。 我不能
使用 ELK 堆栈版本 7.3.2 Linux RedHat 6.9(圣地亚哥) 卡夫卡客户端2.1 将 kafka-input-plugin 与 Logstash 结合使用。 Kibana 已启动并正在运行。 Elasticsearch 配置为与 Kibana 一起运行。 基巴纳是
Logstash Elasticsearch 输出插件在 Elasticsearch 中创建单个文档索引
我是 ELK 新手,我的 LOGSTASH 7.8.x 无限循环并在 Elasticsearch 中仅插入一行! 这是我的示例: 样本日志 2021-07-18 09:15:30,000 INFO 示例日志消息 01 2022-07-1...
我是 ELK 新手,我的 LOGSTASH 7.8.x 无限循环并在 Elasticsearch 中仅插入一行! 这是我的示例: 样本日志 2021-07-18 09:15:30,000 INFO 示例日志消息 01 2022-07-1...
Logstash - 如何在 Docker Compose 中指定备用设置目录
在 Docker Compose yaml 环境中,我们可以覆盖: 路径日志 日志格式 但 PATH_SETTINGS 似乎被忽略了。 背景:我们正在尝试创建一个 Docker 镜像,但指出有所不同......
我有一个logstash输出配置如下。这工作正常。 输出 { 卡夫卡{ topic_id =>“主题1” bootstrap_servers =>“172.172.172.172:1722” 代码...
我刚刚将 Kibana 和 ElasticSearch 作为 Windows 服务启动并运行,现在我想构建一个非常基本的 Logstash 管道来弄清楚它将如何执行将结果发送到 ElasticSearc...
Logstash 由于错误而停止处理:(SystemExit) exit org.jruby.exceptions.SystemExit
我正在尝试在Windows 上运行logstash。 刚刚安装了Java。然后按照此处所述运行logstash。 还按照同一页面中的描述验证了 java 安装。 然后当我手动运行logstash时...
logstash 的 Cassandra JDBC 连接字符串
我们最近为 cassandra 数据库启用了 mtls。更改后,我们的 Logstash 连接断开,现在我们想使用最新的 cassandra 驱动程序进行测试,但我没有找到 cassandra ssl
如何使用Filebeat ELK堆栈将数据加载到logstash
我有一台服务器A,其中安装了elasticsearch、logstash和kibana,并安装了docker compose文件,另一台服务器B安装了filebeat来发送日志。我尝试过将数据发送到
Spring boot应用程序控制台日志到elasticsearch
我有一个 Spring Boot 应用程序,它在控制台中生成 JSON 格式的日志。我希望 Logstash 直接从控制台读取日志并提供给 ELK。 Spring Boot应用程序日志...
Logstash OpenSearch 中的嵌套字段未作为数组的
我在这里失去了理智,OpenSearch 的文档完全没有帮助,因为一切都是硬编码值。 不管怎样,我有一个嵌套字段应该被展平成一个数组......
Filebeat:为每个输入设置elasticsearch索引名称
我正在尝试设置filebeat,以便我有两个日志源,最终位于目标logstash的不同索引中。所有涉及的服务(filebeat、logstash、elastic)版本均为 8.12.0。 我已经...
如何使用Python日志记录将结构化日志发送到带有自定义字段的ELK Stack?
我正在开发一个Python应用程序,我想将日志发送到ELK堆栈。但是,我正在努力将自定义字段添加到日志条目,以便它们在 Kibana 中显示为单独的字段,而不是......