ELK
关注
分享
扫一扫
冯佳兴
一名非常热爱计算机的 Boy，技术是一门哲学，愿意和我一起研究新的技术吗?
本人坚持自主学习，站在巨人肩膀上学习，善于分享。
我会经常分享系列基础博客，希望大家喜欢，有什么问题记得关注留言哦！
展开
-
Centos7 部署安装kibana6.3.0
目录1.基本操作2.kibana.yml配置文件介绍3.修改配置文件如下4.设置开机自启，执行vi /etc/init.d/kibana命令写脚本5.启动1.基本操作#下载wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.0-linux-x86_64.tar.gz#解压tar -z...原创 2020-01-09 11:18:38 · 461 阅读 · 0 评论 -
Centos7 搭建elasticsearch6.3.0集群
目录基本操作修改配置文件拷贝配置文件到其他服务器分别修改不同服务器elasticsearch.yml配置文件中节点的名字设置开机自启知识点扩展：查找jdk默认安装路径防火墙命令修改用户密码基本操作#前提：配置java环境变量#下载wget https://artifacts.elastic.co/downloads/elasticsearch...原创 2020-01-09 10:57:54 · 274 阅读 · 0 评论 -
Elasticsearch 原理——倒排索引
郑重声明：本文已获得原作者转载授权：转载来自公众号：互联网侦查，如果转载请联系作者授权。微信公众号看了一篇不错的文章，通俗易懂的讲解了Elasticsearch 的工作原理，漫画如下所示：...原创 2019-11-17 20:20:44 · 364 阅读 · 5 评论 -
初识Filebeat
一、简介 Filebeat是一个用于转发和集中日志数据的轻量级托运人。Filebeat作为代理安装在您的服务器上，它监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引. 我们可以将filebeat简单的作为一个搬运工的角色，既然是搬运工，则需要考虑三个问题，从哪里搬？已经搬了多少？搬到那里去？如下图所示二、原理...原创 2019-11-16 21:55:32 · 206 阅读 · 3 评论 -
logstash 切分日志
日志格式可以大致分为两部分，基本的头信息和json格式的数据，中间以‘|’进行了分割。2018-08-30 10:41:42,661 ERROR [http-apr-8080-exec-7] [com.intime.soa.framework.auth.AbstractAuthInterceptor 118] - Request <> GET_/favicon.ico|{...原创 2019-11-07 19:45:44 · 1865 阅读 · 3 评论 -
filebeat 7.4.0采集多行日志
filebeat采集日志本身是逐行采集的，如果采集多行，则需要配置，具体看官网，之所以写是因为给自己一个警告，正则匹配后面是不加单引号的。官网上写了单引号，两个星期就因为单引号，两周的时间没了。- type: log # Change to true to enable this input configuration. enabled: true #路径 paths...原创 2019-11-07 19:37:21 · 1282 阅读 · 5 评论 -
logstash 删除字段
问题 filebeat采集日志信息后，logstash打印信息，这个过程中，filebeat将自身的客户端信息也传送给了logstash，如果logstash不对这些字段进行过滤，导致es创建索引时，产生大量没有必要的字段。解决方案：在配置文件中进行过滤，删除没有必要的字段。input { beats { port => 5044 }}fi...原创 2019-10-27 15:37:32 · 11948 阅读 · 4 评论 -
filebeat采集json日志到logstash
在这里只讲配置，不讲作用，建议看官网（https://www.elastic.co/cn/）。filebeat①配置filebeat.yml文件 - type: log //开启监视，不开不采集 enable: true paths: # 采集日志的路径这里是容器内的path - /var/english.log #keys_under_root...原创 2019-10-27 09:18:33 · 2715 阅读 · 5 评论 -
Centos7 搭建单节点 ElasticSearch 7.3.2
先推荐几个链接，网上讲的ELK都非常的棒，自己就不介绍了，但是搭建问题上，网上前篇一律，几乎都不能搭建成功。说说ELK火热的原因ELK 下载地址nodejs下载地址（安装elasticsearch-head插件需要配置nodejs环境）ELK学习博客ELK问题集锦Bootstrap问题不能以root用户启动max file descriptors [65535] f...原创 2019-10-03 17:31:05 · 1184 阅读 · 2 评论 -
Filebeat 推送json数据到ES出现Error decoding JSON: json:
问题描述：filebeat推送一个json对象到es中，一个json对象被拆分了多个对象。在kibana中显示如下图所示：解决过程：① 首先判断自己的json对象是否有效（https://www.json.cn/）②查看filebeat的拿取json数据的格式（如果是下图多行的形式，在es中会将每一行都看成一个json对象，在kibana中显示的也将是多个json对象）...原创 2019-10-26 10:18:14 · 5697 阅读 · 2 评论