ELKB日志流：日志分类思路

0、引言

日志已经可以收集了，那总不能将所有的日志都放在一个索引下吧？
那怎么对日志进行分类呢？

1、分类思路

我的分类思路主要是两个层级：日志类型、日志内容；

• 日志类型：即通过不同ES索引存储不同类型的日志；
• 日志内容：对日志内容，根据指定字段进行分类；

2、日志类型分类

2.1 系统日志

Filebeat读取各个服务的.log文件进行推送;
读取不同的日志文件，增加分类字段，logstash最终保存到ES不同的索引中。
比如：nginx访问日志，mysql错误日志，mysql慢查询日志；
命名方式 ：nginx-access-20200101；

2.2 业务日志

业务日志也可以分为两类 ： 行为日志、 错误日志；

各个应用将业务日志输出到Redis队列中，logstash最终保存到ES；
因为考虑的是，不同业务产生的日志，对应唯一队列，所以没有增加分类字段；

3、日志内容分类

业务日志内容输出时，指定日志格式，指定字段存储筛选条件
配置logstash过滤规则，将信息拆分，在kibana对应筛选过滤；

比如 ÿ