FreezeJ' Blog

ELK接入新日志流程

2022-06-29

本文使用较为简单的 filebeat-elasticsearch-kibana 架构,仅供参考

1. 创建索引模版

索引模版为new_log,匹配模式为new_log*,设置好映射(字段类型)

2. 创建索引生命周期

生命周期策略名称为new_log_lim,设置温热冷删策略,并且关联到索引模版new_log

3、设置处理pipeline

创建处理管道new_log_pipeline,用于grok匹配裁切字段(字段需要在索引模版中配置好映射)、类型转换、增加删除字段等。

4. filebeat添加采集配置

input.d中添加新的采集配置:

- type: log
  index: "new_log-%{+yyyy.MM.dd}"  # 使用上面定义好的索引模版
  pipeline: "new_log_pipeline"  # 使用上面创建好的处理pipeline
  paths:
    - "/PATH/error.log"  # 定义好需要采集的日志路径

5. 添加kibana索引模式

名称new_log*,用于在kibana中搜索多个索引。

Tags: ELK