fluentd 相关问题

我可以使用单个 AWS Firelens sidecar 容器从集群中运行的多个容器中获取日志吗？

我在 EC2 实例上配置了 ECS 集群，其中运行着一组服务。我已配置 AWS Firelens sidecar 容器以将 ECS 容器日志路由到 AWS Data firehose。 根据...

mysql通用日志产生大量数据从而给服务器带来负担

我的IT团队最近激活了MySQL通用日志以满足法规要求。然而，我们遇到了重大的性能问题： 激活20+小时后，一般日志生成...

如何处理 Kubernetes 中的日志密集型 Pod？

大家好， 目前，我们的 AWS EKS 集群中的一个 Pod 存在问题。 Pod 日志记录相当多，并且会定期被驱逐，因为它超出了临时存储空间......

K8s 中 Docker + Fluentd 进行日志轮转：Docker 需要知道 Fluentd 的存在吗？

我试图了解K8s集群中Docker和Fluentd之间的交互。我见过需要配置 Docker 以输出到日志驱动程序的地方，Fluentd 可以用作

将自定义 Docker 日志转换为 Fluentd 到 Elastic Search

我将发布一些包含通用日志框架（用 golang 编写）的 Docker 容器。日志记录格式为 JSON 格式。 这种自定义 json 日志记录格式中有不同的数据......

无法使用 Fluentd 捕获多行日志

我正在尝试使用 EFL 创建一个集中式日志系统。为了从 kubernetes 节点收集日志，我将 fluidd 作为守护进程运行。有了这个，我可以获得单行日志，但不能......

用于创建elasticsearch索引的Fluentd配置

我正在尝试在 AWS EKS 集群上设置 EFK 堆栈。我已经部署了 EFK Pod/服务，在此处输入图像描述，在 Elasticsearch 上创建的索引的格式为 Logstash-202...

如何使用 Fluentd 从服务收集数据

我是 fluidd 的新手。 我有一个在 Docker 环境中运行的 Java-DropWizard.io 服务。 我可以通过curl http://ip:PORT/admin/metrics 向该服务请求一堆json 格式的指标数据。 难道是……

由于缓冲区溢出操作无法将数据写入缓冲区=:throw_exception

我已将 fluidd 部署为 kubernetes pod，以将 kubernetes 日志上传到 AWS OpenSearch。 最初几天它工作正常（将日志发送到 AWS OpenSearch），几天后......

在 Kibana 仪表板中，如何转换包含 JSON 的字段值（在 fluidd 数据视图中）？

版本： 弹性搜索/基巴纳：8.6.0 AWS EKS k8s：1.24 k8s 日志操作符：ghcr.io/banzaicloud/logging-operator:3.17.10 我们的日志堆栈是 Elasticsearch => Fluentd => Kibana。 我们我们...

如何将docker主机传递到Fluentd日志

我使用 Fluentd 日志驱动程序来收集 docker swarm 集群中的日志。 我创建了 fluidd 服务： docker service create --name fluidd --network my-network \ --mount type=bind,src=/data/flue...

Fluentd 无法将 json 格式化为自定义输出

下面是我们在 Fluentd 中从 OTEL Collector 收到的 json 输出 “标签”：[ { "key": "otel.library.name", “vStr”：“co...

Windows 上的 Fluentd 1.16.3：如何丰富某些日志条目而不过滤掉其余日志条目？

我需要向包含字符串“myapp.database - Statement returned”的所有日志条目添加自定义字段。不包含此字符串的所有其他日志不应被丢弃/过滤...

如何正确地将 `time` 从 Fluentd 事件传递到 Elasticsearch 和 Kibana？

tl；博士； fluidd 如何将事件的时间添加到 Elasticsearch（因此它可以用作 Kibana 数据视图中的“时间戳字段”）？ 我可以像这样添加时间和标签： tl；博士； 如何在 fluidd 中将事件中的 time 添加到 Elasticsearch（这样它就可以在 Kibana 的数据视图中用作“时间戳字段”）？ 我可以像这样添加 time 和 tag： <filter grabt.listener.**> @type record_transformer <record> tag ${tag} time ${time} </record> </filter> 但是time是字符串格式（2022-04-17T17:17:31+00:00），不能用作时间戳字段。 完整问题 我正在使用 --log-driver=fluentd 在 Docker 容器内运行 Python 脚本。 我有基本的 Fluentd、Elasticsearch、Kibana 设置（官方文档几乎是一对一的）：https://github.com/jkulak/efk-stack. 我的 Python 脚本正在使用 structlog 进行日志记录，并且我按预期在标准输出中看到了 json 日志。 我的所有日志都会发送到 Elasticsearch，我可以在 Kibana 中看到它们。到目前为止一切顺利。 在 Kibana 中，定义新数据视图时，我无法选择时间戳字段，因为它被禁用（请参阅下面的屏幕）。 我的 fluidd 配置是这样的： <source> @type forward port 24224 </source> <filter grabt.listener.**> @type parser key_name "$.log" hash_value_field "log" reserve_data true <parse> @type json time_key time keep_time_key true </parse> </filter> <filter grabt.listener.**> @type record_transformer <record> tag ${tag} time ${time} # <---- what to do here? </record> </filter> 如何在记录中包含存储在 Elasticsearch 中的任何格式的时间，然后由 Kibana 考虑正确的日期/时间、时间戳值，以便我可以按时间对记录进行排序？ 更新 按照下面评论中的建议，您可以找到我看到的日志以及我想看到的日志。 我的 Python 脚本将 JSON 记录到标准输出： {"logger": "get_albums.py", "name": "Heiken & Kenshin", "spotify_id": "3bIU4wnnl3J1J0w2dCciL5", "object": "artist", "event": "Processing artist"} 当 Fluentd 将其保存到文件中时 @type file 然后我看到 time 和 tag 与我的日志数据（事件）一起保存 - 正如它应该的那样（fluentd 事件结构）： 2022-04-17T17:17:31+00:00 grabt.listener {"container_name":"/get-albums","source":"stdout","log":"{\"logger\": \"get_albums.py\", \"name\": \"Heiken & Kenshin\", \"spotify_id\": \"3bIU4wnnl3J1J0w2dCciL5\", \"object\": \"artist\", \"event\": \"\\ud83d\\udc68\\ud83c\\udffd\\u200d\\ud83c\\udfa4 Processing\"}\r","container_id":"f16ff942df2bb20dcf5dd7f338fd245dcfbc3b5ba1d15c89306074d2befdadae"} 但是当保存到 Elasticsearch（并在 Kibana 中显示）时，它会丢失时间字段： log.event:Processing artist log.object artist container_id:f16ff942df2bb20dcf5dd7f338fd245dcfbc3b5ba1d15c89306074d2befdadae container_name:/get-albums log.logger:get_albums.py log.name:Heiken & Kenshin log.spotify_id:0tCtGc5vt29zFZp6KXzN50 source:stdout tag:grabt.listener _id:3bIU4wnnl3J1J0w2dCciL5 _index:grabtracksp-listeners _score:5.855 缺少可用于对 Kibana 中的事件进行时间安排的 time 字段（或任何类型的时间/时间戳字段）。 我可以将 Python 中的时间添加到日志中。我可以使用 fluentd-plugin-elascticsearch 添加时间戳字段。但我想知道如何在 Fluentd 中使用它的插件来做到这一点。谢谢你。 每个 Fluentd 事件都会打印出时间戳、标签和 record（通过 record_transformer 管理） 您可以使用 time ${time} 参考时间，并使用 tag ${tag} 参考标签，或将这些添加到您的记录中 此外你还可以使用 <parse> @type json </parse> 里面<match>仅显示记录

在正则表达式解析上过滤日志流利位

我正在运行一个 Fluentbit，它可以从目录中抓取 json 日志： [解析器] 名称 json 格式化json 时间_关键时间 # 时间_格式 %llu 时间_继续 [解析器] 姓名

Fluentd 启动服务器时出现错误：日志文件不可写

这是我的 td-agent.conf 文件 @类型http 端口8888 @类型文件 路径 /var/log/what.txt 但是当我尝试启动...

docker 构建时权限被拒绝

我知道有很多标题相似的问题，但没有一个与我的问题相似。我的问题很简单，我正在尝试使用命令

fluidd 输出到 s3 失败

我尝试使用 fluidd 将 docker-compose 上的应用程序生成的日志放入我的 s3 存储桶，但出现以下错误 流利 | 2024-07-04 09:01:48 +0000 [错误]: #0 /usr/lib/...

Fluentd 向 cloudwatch 发送错误时间

在 Fluentd 中，源是 syslog，目标是 Fluent-plugin-cloudwatch-logs 插件。一切正常，只是时间不对。 @类型系统日志 在 fluidd 中，源是 syslog，目标是 Fluent-plugin-cloudwatch-logs 插件。一切正常，只是时间不对。 <source> @type syslog <transport tcp> </transport> <parse> message_format auto parser_type string </parse> tag isam </source> <match mysyslog> @type copy <store> @type cloudwatch_logs log_group_name /aws/mysyslog log_stream_name all auto_create_stream true region eu-west-1 include_time_key true localtime true </store> <store> @type http http_method put <format> @type single_value </format> raise_on_error true </store> </match> cloudwatch 中的时间戳在未来 2 小时内是正确的，但摄取时间是正确的。 例如，如果我将cloudwatch设置为当地时间： ingestion time: 1719208787499 = June 24, 2024, 05:57:26 AM (UTC). timestamp: 1719215985000 = June 24, 2024, 07:57:25 AM time extracted from message: 2024-06-24T07:59:45+00:00 time in message 2024-06-24T07:59:45+00:00 唯一看起来正确的时间是摄入时间。我怎样才能正确地操纵时间，也就是过去的 2 小时？ 您在发送日志的主机上设置了正确的时间和时区吗？ 尝试在源>解析部分设置utc true。 https://docs. Fluentd.org/configuration/parse-section#time-parameters

fluidd 根据键值创建标签

将日志从 Kubernetes 发送到 Fluentd 聚合器。 有没有办法将其中一个键值转换为标签值？ 例如，application_name 有一个键值。如果这可以是