logstash 相关问题

Logstash是用于管理事件和日志的工具。您可以使用它来收集日志,解析它们并将它们发送到存储器以供以后使用(例如搜索)。


MQTT 到 Logstash 配置的问题 - 未知设置错误

我正在使用以下 Logstash 配置: 输入 { MQTT{ client_id =>“logstash” 主机=>“127.0.0.1” 端口 => 1883 主题 => ["/应用...

回答 1 投票 0

如何使用Logstash将json数组输入解析为基本json,并可以发送到Loki作为可视化的输入

输入- [{“id”:23232,“user_name__v”:“bacd@gmail.com”,“data_type__v”:“full__v”,“token_id__v”:43434,“last_login__v”:“...

回答 2 投票 0

如何在Logstash中输入JSON文件(数组形式)?

我尝试了很多方法来输入我的JSON文件(数组形式),到目前为止我没有任何结果 输入{ 文件{ 路径=>“/usr/share/logs/Docs.json” #编解码器=>“...

回答 2 投票 0

如何检查过滤器插件中Logstash管道中的空值?

我有一个通过 Logstash http 插件将数据发送到我的 Logstash 管道的源。 发送的数据模型如下: { “我的数组”:[ { “我的杂货店”:{ “我……

回答 1 投票 0

使用logstash解析XML时自动定义字段

当使用logstash的XML过滤器解析XML文件时,logstash有没有办法根据XML内容自动定义字段? 例如,假设我有以下 XML(复制到...

回答 2 投票 0

Log4J JsonTemplateLayout 替换消息内容

我用于记录Log4J 我的附加程序配置 我用于记录 Log4J 我的附加程序配置 <RollingFile name="FILE-LOGSTASH" fileName="C:\Users\p.bohomaz\IdeaProjects\o2-lcm\log4j-logstash.log" filePattern="C:\Users\p.bohomaz\IdeaProjects\o2-lcm\log4j-logstash-%d{yyyy-MM-dd-HH}.log.gz"> <LogStashJsonLayout/> <Policies> <TimeBasedTriggeringPolicy interval="1" modulate="true"/> </Policies> </RollingFile> 我的问题是,有时在日志中我会收到普通的电话号码 我想将其替换为 3********9 我发现 LogStashJsonLayout 已弃用,没有此选项,我需要使用 JsonTemplateLayout 所以我将我的配置更改为这个 <RollingFile name="FILE-LOGSTASH" fileName="C:\Users\p.bohomaz\IdeaProjects\o2-lcm\log4j-logstash.log" filePattern="C:\Users\p.bohomaz\IdeaProjects\o2-lcm\log4j-logstash-%d{yyyy-MM-dd-HH}.log.gz"> <JsonTemplateLayout eventTemplateUri="classpath:EcsLayout.json"/> <Policies> <TimeBasedTriggeringPolicy interval="1" modulate="true"/> </Policies> </RollingFile> 和我的 json 模板文件 { "@version": "1", "@timestamp": { "$resolver": "timestamp", "pattern": { "format": "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'", "timeZone": "UTC" } }, "logger": { "$resolver": "logger", "field": "name" }, "priority": { "$resolver": "level", "field": "name" }, "thread": { "$resolver": "thread", "field": "name" }, "message": { "$resolver": "message", "replace": { "regex": "(\\d{2})(\\d{7,11})(\\d{2})", "replacement": "$1********$3" } } } 但我仍然在日志中看到普通数字 我检查了文档,发现我需要使用 pattern.replace(regex,replacement) 但它也不起作用 有人可以帮忙吗? 是否可以在模板中执行此操作还是我需要为其创建过滤器? JSON 模板布局的 message 解析器没有 replace 配置 - 请参阅其文档。您可以使用 pattern 解析器 回退到模式布局并使用 其 replace 转换器: { "message": { "$resolver": "pattern", "pattern": "%replace{%msg}{(\\d{2})(\\d{7,11})(\\d{2})}{$1********$3}" } }

回答 1 投票 0

logstash 错误:java.net.SocketException:连接重置

我正在尝试安装和设置 Elk,但在 Logstash 中遇到问题: [logstash.inputs.tcp][main]/172.16.12.208:56356:初始化通道 [logstash.instrument.periodicpoller.jvm] 收集器名称 {:...

回答 1 投票 0

logstash 保留原始数据和聚合数据

我有一项服务能够将事件日志发送到第三方,在本例中是logstash。它不能多次发送数据。我的问题是,它发送的事件是工作事件数据...

回答 1 投票 0

如何使用node.js设置ELK

我想将错误从我的node.js 服务器记录到另一台服务器。我正在考虑使用 elasticsearch、logstash 和 kibana。我想知道如何使用我的节点服务器设置 ELK。

回答 3 投票 0

在elasticsearch索引名称中添加日期不起作用

我一直在为logstash的elasticsearch输出插件使用以下代码,但它创建了名为mt-raw-00001的索引 输出 { 弹性搜索{ 主机=...

回答 1 投票 0

使用 NXLog 删除重复行

我正在使用 NXLog 读取日志文件并将其发送到 Logstash。 这工作正常,但一些日志项是重复的。 它们位于不同的行中,但内容完全相同。 我不能

回答 2 投票 0

Kibana 管理中未显示索引模式

使用 ELK 堆栈版本 7.3.2 Linux RedHat 6.9(圣地亚哥) 卡夫卡客户端2.1 将 kafka-input-plugin 与 Logstash 结合使用。 Kibana 已启动并正在运行。 Elasticsearch 配置为与 Kibana 一起运行。 基巴纳是

回答 2 投票 0

Logstash Elasticsearch 输出插件在 Elasticsearch 中创建单个文档索引

我是 ELK 新手,我的 LOGSTASH 7.8.x 无限循环并在 Elasticsearch 中仅插入一行! 这是我的示例: 样本日志 2021-07-18 09:15:30,000 INFO 示例日志消息 01 2022-07-1...

回答 1 投票 0

LOGSTASH无限循环

我是 ELK 新手,我的 LOGSTASH 7.8.x 无限循环并在 Elasticsearch 中仅插入一行! 这是我的示例: 样本日志 2021-07-18 09:15:30,000 INFO 示例日志消息 01 2022-07-1...

回答 1 投票 0

Logstash - 如何在 Docker Compose 中指定备用设置目录

在 Docker Compose yaml 环境中,我们可以覆盖: 路径日志 日志格式 但 PATH_SETTINGS 似乎被忽略了。 背景:我们正在尝试创建一个 Docker 镜像,但指出有所不同......

回答 1 投票 0

基于logstash中消息值的多个Kafka主题

我有一个logstash输出配置如下。这工作正常。 输出 { 卡夫卡{ topic_id =>“主题1” bootstrap_servers =>“172.172.172.172:1722” 代码...

回答 1 投票 0

Logstash 错误:(NameError)无法初始化 Java 类 org.logstash.plugins.AliasRegistry(java.lang.ExceptionInInitializerError)

我刚刚将 Kibana 和 ElasticSearch 作为 Windows 服务启动并运行,现在我想构建一个非常基本的 Logstash 管道来弄清楚它将如何执行将结果发送到 ElasticSearc...

回答 1 投票 0

Logstash 由于错误而停止处理:(SystemExit) exit org.jruby.exceptions.SystemExit

我正在尝试在Windows 上运行logstash。 刚刚安装了Java。然后按照此处所述运行logstash。 还按照同一页面中的描述验证了 java 安装。 然后当我手动运行logstash时...

回答 3 投票 0

logstash 的 Cassandra JDBC 连接字符串

我们最近为 cassandra 数据库启用了 mtls。更改后,我们的 Logstash 连接断开,现在我们想使用最新的 cassandra 驱动程序进行测试,但我没有找到 cassandra ssl

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.