本文使用较为简单的 filebeat-elasticsearch-kibana 架构,仅供参考
1. 创建索引模版
索引模版为new_log
,匹配模式为new_log*
,设置好映射(字段类型)
2. 创建索引生命周期
生命周期策略名称为new_log_lim
,设置温热冷删策略,并且关联到索引模版new_log
3、设置处理pipeline
创建处理管道new_log_pipeline
,用于grok匹配裁切字段(字段需要在索引模版中配置好映射)、类型转换、增加删除字段等。
4. filebeat添加采集配置
在input.d
中添加新的采集配置:
- type: log
index: "new_log-%{+yyyy.MM.dd}" # 使用上面定义好的索引模版
pipeline: "new_log_pipeline" # 使用上面创建好的处理pipeline
paths:
- "/PATH/error.log" # 定义好需要采集的日志路径
5. 添加kibana索引模式
名称new_log*
,用于在kibana中搜索多个索引。