fluentd 相关问题

Fluentd是开源和分布式数据收集器,它接收JSON格式的日志,缓冲它们,并将它们发送到其他系统,如Amazon S3,MongoDB,Hadoop或其他Fluentd。


有没有办法在Fluentd s3插件中实现zstd压缩?

我们有使用zstd压缩来压缩并发送文件到S3的需求。我正在尝试使用 fluidd s3 插件实现 zstandard 压缩插件,以便使用

回答 1 投票 0

使用Fluentd进行docker日志记录时如何获取容器和镜像名称?

我正在使用一个 fluidd 容器,它安装 /var/lib/docker/containers 目录并跟踪每个容器的所有日志。日志存储在 /var/lib/docker/containers/$container_id/$contai...

回答 3 投票 0

如何对 Fluentd 的默认端口进行健康检查?

我正在查看 docker hub 等,通常我可以找到一种机制来查找不同容器的运行状况检查。 不过我没有看到 FluentD 的任何内容。 我基本上想做一个 c...

回答 1 投票 0

在 syslog 开始之前,fluidd 输入 syslog 的所有内容

我在 ubuntu 上配置了 rsyslog 以将所有内容发送到 Fluentd,并且工作正常,但是 /var/log/syslog 中存在 syslog.service 启动之前的日志消息,并且这些日志消息不是...

回答 1 投票 0

流利 |如何在 Fluentd 中使用“massage”和“args”字段动态处理“%s”占位符?

我正在尝试基于两个字段在 Fluentd 中创建一个 full_message 字段: msg,其中包含一个带有 %s 等占位符的字符串(可以多个) args,其中包含要替换的值

回答 1 投票 0

FluentD 中如何仅发送满足某些条件的记录

有什么问题吗? 我想向 ElasticSearch 发送一些基于条件的记录。 这是我的主要会议。 绑定0.0.0.0 表情//...

回答 1 投票 0

我可以使用单个 AWS Firelens sidecar 容器从集群中运行的多个容器中获取日志吗?

我在 EC2 实例上配置了 ECS 集群,其中运行着一组服务。我已配置 AWS Firelens sidecar 容器以将 ECS 容器日志路由到 AWS Data firehose。 根据...

回答 1 投票 0

mysql通用日志产生大量数据从而给服务器带来负担

我的IT团队最近激活了MySQL通用日志以满足法规要求。然而,我们遇到了重大的性能问题: 激活20+小时后,一般日志生成...

回答 1 投票 0

如何处理 Kubernetes 中的日志密集型 Pod?

大家好, 目前,我们的 AWS EKS 集群中的一个 Pod 存在问题。 Pod 日志记录相当多,并且会定期被驱逐,因为它超出了临时存储空间......

回答 1 投票 0

K8s 中 Docker + Fluentd 进行日志轮转:Docker 需要知道 Fluentd 的存在吗?

我试图了解K8s集群中Docker和Fluentd之间的交互。我见过需要配置 Docker 以输出到日志驱动程序的地方,Fluentd 可以用作

回答 2 投票 0

将自定义 Docker 日志转换为 Fluentd 到 Elastic Search

我将发布一些包含通用日志框架(用 golang 编写)的 Docker 容器。日志记录格式为 JSON 格式。 这种自定义 json 日志记录格式中有不同的数据......

回答 1 投票 0

无法使用 Fluentd 捕获多行日志

我正在尝试使用 EFL 创建一个集中式日志系统。为了从 kubernetes 节点收集日志,我将 fluidd 作为守护进程运行。有了这个,我可以获得单行日志,但不能......

回答 1 投票 0

用于创建elasticsearch索引的Fluentd配置

我正在尝试在 AWS EKS 集群上设置 EFK 堆栈。我已经部署了 EFK Pod/服务,在此处输入图像描述,在 Elasticsearch 上创建的索引的格式为 Logstash-202...

回答 1 投票 0

如何使用 Fluentd 从服务收集数据

我是 fluidd 的新手。 我有一个在 Docker 环境中运行的 Java-DropWizard.io 服务。 我可以通过curl http://ip:PORT/admin/metrics 向该服务请求一堆json 格式的指标数据。 难道是……

回答 1 投票 0

由于缓冲区溢出操作无法将数据写入缓冲区=:throw_exception

我已将 fluidd 部署为 kubernetes pod,以将 kubernetes 日志上传到 AWS OpenSearch。 最初几天它工作正常(将日志发送到 AWS OpenSearch),几天后......

回答 1 投票 0

在 Kibana 仪表板中,如何转换包含 JSON 的字段值(在 fluidd 数据视图中)?

版本: 弹性搜索/基巴纳:8.6.0 AWS EKS k8s:1.24 k8s 日志操作符:ghcr.io/banzaicloud/logging-operator:3.17.10 我们的日志堆栈是 Elasticsearch => Fluentd => Kibana。 我们我们...

回答 1 投票 0

如何将docker主机传递到Fluentd日志

我使用 Fluentd 日志驱动程序来收集 docker swarm 集群中的日志。 我创建了 fluidd 服务: docker service create --name fluidd --network my-network \ --mount type=bind,src=/data/flue...

回答 1 投票 0

Fluentd 无法将 json 格式化为自定义输出

下面是我们在 Fluentd 中从 OTEL Collector 收到的 json 输出 “标签”:[ { "key": "otel.library.name", “vStr”:“co...

回答 1 投票 0

Windows 上的 Fluentd 1.16.3:如何丰富某些日志条目而不过滤掉其余日志条目?

我需要向包含字符串“myapp.database - Statement returned”的所有日志条目添加自定义字段。不包含此字符串的所有其他日志不应被丢弃/过滤...

回答 1 投票 0

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.