
kafka
Angus博客
知足长乐,助人为乐,自得其乐。
展开
-
EFLK海量日志实时分析检索系统应用实践-11.启动filebeat,分析,输入到kafka,redis和logstash
启动 启动日志 用157的服务器登陆,输入错误密码。156会产生一条日志 日志是json格式 包含了 时间 元数据 错误信息等等 登陆Kafka服务器,查看topic 列表 发现创建了 oslogs 消费Kafka数据 会发现数据很多,而我们只需要message数据 处理方式,修改filebeat 配置文件 放开processors drop_fields 就是删除指定字段,这样传递给Kafka 的时候 数据就只有自己需要的字段 重启原创 2021-09-07 21:33:27 · 290 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-9.Kafka集群的基本命令,生产和消费数据
显示列表 创建topic 查看状态 生产消息 消费消息 删除topic原创 2021-09-07 21:24:18 · 210 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-7.Kafka分布式集群构建部署过程
bin目录 包含了很多shell脚本 config 配置文件 主要掌握 server.peoperties logs 存储了本身的日志文件,还有消息文件 配置文件配置: brokerid 唯一 不能相同 listeners 监听器 配置 配置本身服务器ip和吗,默认监听端口 默认的消息存储路径,在logs下,,也可以自己修改。。 num.partitions = 6 partition配置 默认消息保存时间 segment 大小 一个G 超过自动创建新文...原创 2021-09-07 21:18:19 · 217 阅读 · 0 评论 -
EFLK海量日志实时分析检索系统应用实践-6.Kafka 的概念与角色术语
原创 2021-09-07 21:14:20 · 209 阅读 · 0 评论