CentOS下Filebeat日志存储策略有哪些

在CentOS下，Filebeat的日志存储策略主要涉及配置文件filebeat.yml中的多个设置。以下是一些关键的存储策略和相关配置：

日志文件存储路径

• logging.files: 定义Filebeat日志文件的存储路径和文件名。例如：

  logging.files:
    path: /var/log/filebeat/filebeat.log
    name: filebeat
  

  keepfiles: 指定保留的日志文件数量，例如保留7个文件。

  keepfiles: 7
  

输出配置

Filebeat可以将日志数据发送到不同的存储目的地，如Elasticsearch、Logstash、Kafka等。以下是发送到Elasticsearch的配置示例：

• output.elasticsearch: 定义Elasticsearch的地址和索引模式。

  output.elasticsearch:
    hosts: ["http://elasticsearch:9200"]
    index: "filebeat-%{+YYYY.MM.dd}"
  

内部缓冲队列

• internal.queue.max_events: 设置内部缓冲队列的最大事件数。
• internal.queue.max_size: 设置内部缓冲队列的最大大小（以字节为单位）。

处理器

Filebeat可以使用处理器来对日志数据进行加工和过滤。例如，添加自定义字段：

• processors: 定义处理器列表。

  processors:
    - add_fields:
        target: log
        fields:
          app_id: my_app
  

文件监控和排除

• filebeat.inputs: 定义要监控的文件路径，可以使用paths和exclude_files选项。

  filebeat.inputs:
    - type: log
      enabled: true
      paths:
        - /var/log/*.log
      exclude_files: ['\.gz$']
  

多实例和负载均衡

如果需要将日志输出到多个地方，可以运行多个Filebeat实例，并通过配置实现负载均衡。例如，配置多个Elasticsearch输出：

output.elasticsearch:
  hosts: ["host1:9200", "host2:9200", "host3:9200"]
  load_balancing: round_robin

或者在Kubernetes环境中使用Filebeat DaemonSet进行多节点部署。

以上配置策略可以帮助您根据实际需求调整Filebeat的日志存储行为。