filebeat如何处理mysql日志文件过大

Filebeat 是一个轻量级的日志收集工具，用于将各种来源的日志转发到 Elasticsearch 或其他输出

1. 配置 Filebeat：

在 Filebeat 的配置文件（通常为 filebeat.yml）中，您需要设置 input 部分以指定 MySQL 日志文件的路径。例如：

filebeat.inputs:
- type: log
  paths:
    - /var/log/mysql/mysql-slow.log

2. 使用日志旋转：

对于 MySQL，您可以使用日志旋转功能来管理日志文件的大小。这意味着当日志文件达到特定大小时，MySQL 会自动创建一个新的日志文件并关闭旧的日志文件。您可以在 MySQL 配置文件（通常为 my.cnf 或 my.ini）中设置日志旋转参数。例如：

[mysqld]
slow_query_log=1
slow_query_log_file=/var/log/mysql/mysql-slow.log
long_query_time=1
log_slow_rate_limit=1000
log_slow_verbosity=query_plan,innodb

# Log rotation settings
log_bin=mysql-bin
max_binlog_size=100M
binlog_expire_logs_seconds=86400

这里，我们设置了 max_binlog_size 为 100MB，当日志文件达到这个大小时，MySQL 会自动创建一个新的日志文件。binlog_expire_logs_seconds 设置了日志文件的保留时间，这里设置为 86400 秒（1 天）。

3. 清理旧日志文件：

您可以使用操作系统的定时任务（如 cron）来定期删除或压缩旧的日志文件。例如，您可以创建一个名为 cleanup_logs.sh 的脚本，内容如下：

#!/bin/bash
find /var/log/mysql/ -name "mysql-slow.*" -mtime +7 -exec gzip {} \;

这个脚本会查找 /var/log/mysql/ 目录下所有名为 mysql-slow.* 的文件，如果它们的修改时间超过 7 天，就会将它们压缩为 .gz 格式。然后，您可以在 crontab 中添加一个定时任务来运行此脚本：

0 0 * * * /path/to/cleanup_logs.sh

这将每天凌晨 0 点运行脚本。

通过上述方法，您可以有效地处理 MySQL 日志文件过大的问题，确保 Filebeat 能够正常收集和传输日志。