我是流利/弹性搜索堆栈的新手,我正在尝试将其部署在kubernetes上。虽然我已经设法做到这一点,但我遇到的问题是并非所有pod /容器日志都出现在elasticsearch上(我正在使用Kibana进行数据可视化)。换句话说,我能够看到来自“默认”kubernetes pod的日志,如weave-net和elasticsearch相关的pod日志(es-data,es-master ......等),但不能从“自定义”pod中查看日志我试图部署。
作为一个简单的测试,我已将redis部署在fluentd / elasticsearch所在的同一个kube命名空间中,redis服务/部署如下所示:
---
apiVersion: v1
kind: Service
metadata:
name: redis-master
labels:
app: redis
role: master
tier: backend
spec:
ports:
- port: 6379
targetPort: 6379
selector:
app: redis
role: master
tier: backend
---
apiVersion: apps/v1 # for k8s versions before 1.9.0 use apps/v1beta2 and before 1.8.0 use extensions/v1beta1
kind: Deployment
metadata:
name: redis-master
spec:
selector:
matchLabels:
app: redis
role: master
tier: backend
replicas: 1
template:
metadata:
labels:
app: redis
role: master
tier: backend
spec:
containers:
- name: master
image: k8s.gcr.io/redis:e2e # or just image: redis
resources:
requests:
cpu: 100m
memory: 100Mi
ports:
- containerPort: 6379
当我从流利的daemonpods检查日志时,我看到以下内容:
2018-07-03 11:17:05 +0000 [info]: following tail of /var/log/containers/redis-master-585798d8ff-b5p5g_default_master-4c934d19a8e2b2d6143b662425fd8fc238df98433d1c0c32bf328c281ef593ad.log
哪,如果我是正确的,应该给我一个流利的信息,拿起redis容器日志。但是,我无法看到存储在elasticsearch中的任何redis相关文档。
这就是流畅的部分配置(kubernetes.conf):
<source>
@type tail
@id in_tail_container_logs
path /var/log/containers/*.log
pos_file /var/log/fluentd-containers.log.pos
tag kubernetes.*
read_from_head true
format json
time_format %Y-%m-%dT%H:%M:%S.%NZ
</source>
和fluent.conf:
<match **>
@type elasticsearch
@id out_es
log_level info
include_tag_key true
host "#{ENV['FLUENT_ELASTICSEARCH_HOST']}"
port "#{ENV['FLUENT_ELASTICSEARCH_PORT']}"
scheme "#{ENV['FLUENT_ELASTICSEARCH_SCHEME'] || 'http'}"
ssl_verify "#{ENV['FLUENT_ELASTICSEARCH_SSL_VERIFY'] || 'true'}"
user "#{ENV['FLUENT_ELASTICSEARCH_USER']}"
password "#{ENV['FLUENT_ELASTICSEARCH_PASSWORD']}"
reload_connections "#{ENV['FLUENT_ELASTICSEARCH_RELOAD_CONNECTIONS'] || 'true'}"
logstash_prefix "#{ENV['FLUENT_ELASTICSEARCH_LOGSTASH_PREFIX'] || 'logstash'}"
logstash_format true
buffer_chunk_limit 2M
buffer_queue_limit 32
flush_interval 5s
max_retry_wait 30
disable_retry_limit
num_threads 8
</match>
任何提示都会非常有用。提前致谢。
我为了同样的目的使用流利的比特,几天前我遇到了完全相同的问题。流利的是一个轻量级的流利的版本,对我有用的东西也可能适合你。
我的流利位有什么问题是输入配置。对于尾部插入大型日志文件的尾部插件,日志轮换存在一些问题。所以我将refresh_interval降低到5秒(更新监视文件列表的时间段)。然后我将mem_buf_limit降低到5MB(日志流量位的总大小进入内存,然后将其刷新到输出插件)。
通过这些变化,我能够获得更多的日志,这些日志早先没有收集,因为上帝知道原因。
我问过这个问题。如果我知道原因,将更新我的答案。
无论如何,希望这会有所帮助。主要是我建议您调整输入配置,然后查看更改。