ELKF-分布式日志收集分析平台搭建 最小化 配置过程 - 查看收集日志(windows10下搭建)...

本文介绍如何使用Elasticsearch、Kibana和Filebeat(ElasticStack)进行日志收集、管理和可视化。涵盖在Windows环境下搭建环境、配置各组件、收集日志并使用Kibana进行数据查看。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

Elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成一个集成解决方案,称为“Elastic Stack”(以前称为“ELK stack”)

轻量型日志采集器Filebeat (https://www.elastic.co/cn/beats/filebeat)

当您要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时,请告别 SSH 吧。Filebeat 将为您提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。

Filebeat 让简单的事情简单化

Filebeat 内置有多种模块(Apache、Cisco ASA、Microsoft Azure、NGINX、MySQL 等等),可针对常见格式的日志大大简化收集、解析和可视化过程,只需一条命令即可。之所以能实现这一点,是因为它将自动默认路径(因操作系统而异)与 Elasticsearch 采集节点管道的定义和 Kibana 仪表板组合在一起。不仅如此,数个 Filebeat 模块还包括预配置的 Machine Learning 任务。

ELKF 版本号 及 下载 地址

    ElasticSearch 、Kibana、Filebeat、版本号 均为 7.7.0

    官方下地址 https://www.elastic.co/cn/  不推荐 在官网下载 速度太慢了,
    建议使用国内 开源镜像地址下 如 华为开源镜像、阿里 等 ,本人在 华为开源镜像下载 https://mirrors.huaweicloud.com/。速度很给力,建议收藏该网址

搭建环境

  • windows 10 专业版 2004
  • jdk 1.8 建议配置 JAVA_HOME 环境变量
  • 下载 完成 elasticsearch-7.7.0-windows-x86_64.zip ,kibana-7.7.0-windows-x86_64.zip,filebeat-7.7.0-windows-x86_64.zip

开始安装配置

安装elasticsearch-7.7.0 

基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口

  • 修改配置文件

解压zip包后 修改 config/elasticsearch.yml 文件

network.host: 127.0.0.1
http.port: 9200
  • 启动elasticsearch

在 cmd 中运行 bin/elasticsearch.bat

验证是否启动成功,

打开浏览器 访问 http://127.0.0.1:9200/ 如果 返回 json 字符,说明运行成功

 

安装kibana-7.7.0

  • 修改参数

解压zip包,修改 config/kibana.yml配置文件

# 配置IP 和端口号
server:
  port: 5601
  host: 127.0.0.1
# 配置 elasticsearch 地址
elasticsearch.hosts: ["http://127.0.0.1:9200"]
i18n.locale: "zh-CN"
  • 启动kibana

在cmd中 运行 bin/kibana.bat

 验证是否成功启动

打开浏览器 访问 http://127.0.0.1:5601/ 如果出现 kibana 可视化管理页面 ,说明成功启动

 

安装filebeat-7.7.0

  • 修改参数

解压zip包,修改 filebeat.yml 配置文件

# 输入
filebeat.inputs:
# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.
# 需要采集日志的地方
- type: log
  # Change to true to enable this input configuration.
  enabled: true
  #发送文件 编码  utf-8 解决中文日志乱码问题
  encoding: utf-8
  # Paths that should be crawled and fetched. Glob based paths.
  #需要收集的日志地址
  paths:
    - D:/log/*.log
    - D:/log2/*.log

name: myFileBeatTest

setup.kibana:
  host: "127.0.0.1:5601"

output.elasticsearch:
  hosts: ["127.0.0.1:9200"]
monitoring.enabled: true

修改  modules.d/elasticsearch.yml.enable , modules.d/logstash.yml.enable

  • 运行filebeat

在cmd 中

输入 filebeat modules enable elasticsearch (启动elasticsearcch 模块)

输入 filebeat.exe setup -e ,回车启动 filebeat 

搭建完成使用kibana可视化工具查看日志

  • 访问kibana 可视化 管理页面 

http://127.0.0.1:5601/app/kibana#/home

  • 添加日志数据

建立kibana索引、elasticseart索引

 

 

 

  •  查看收集到elastics文件数据库中的日志

添加筛选字段、通过仪表盘查看收集到的日志数据

总结:

本人在搭建过程遇到最大问题其实是不知道如何使用  kibana, 添加日志文件 建立索引和查看数据(如果有能力的情况下看官网文档)

到此你已经完成 了 日志收集 和 日志数据查看 查看 的简单 dmeo了

在linux 部署其实步骤 一样,只不过启动 linux 启动命令 不太一样,请自行学习 ,主要的是 配置文件的参数 修改 ,和 kibana 可视化工具的使用,建立索引,查看日志。

如需高级 文件 日志 过滤,指定 数据收集,请参考 filebeat 配置文件 参数详解,或 使用 logstash 工具 来实现。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值