在 Linux 中高效处理大型日志文件

Question

我正在管理一个生成大量大型日志文件的 Linux 服务器，你知道。而且它们可以是千兆字节。我想要一种先进的技术来管理所有这些。

查看日志一直是个问题，搜索日志很慢，故障排除很困难，logrotate 性能不佳，消耗大量磁盘空间。

/var/log/myapp/*.log {

    daily

    rotate 7

    compress

    delaycompress

    missingok

    notifempty

    create 0640 myuser mygroup

    sharedscripts

    postrotate

        /usr/bin/systemctl reload myapp > /dev/null

    endscript

}

在这里帮我解决这个问题

我需要一个高效的查看工具软件，快速的搜索方法，改进的日志轮换方法和更好的磁盘空间管理之类的东西。

请帮助我解决这个问题。

Answer 1

高效的查看工具：只需使用

less +F

即可查看大文件，

glogg

可用于大型GUI文件。

快速搜索方法： 对于大文件，使用

grep

和

--mmap

，或者使用像

rg (ripgrep)

或

ag

这样的工具，可以惊人地提高速度。

日志轮换解决方案： 配置

logrotate

使用大小等选项来触发轮换，并使用

copytruncate

来减少时间日志。

磁盘空间管理解决方案：日志压缩

xz

以获得更好的比率。如果您想要软件，我推荐

ELK

或

Graylog

。