Solutions：Elastic SIEM - 适用于家庭和企业的安全防护（一）

Elastic 中国社区官方博客

于 2020-03-13 14:33:22 发布

阅读量3.8k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Elastic Solutions Security 文章标签： elasticsearch 大数据

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/UbuntuTouch/article/details/104837035

Elastic 同时被 3 个专栏收录

1942 篇文章

订阅专栏

Security

50 篇文章

订阅专栏

Solutions

15 篇文章

订阅专栏

本文深入探讨ElasticSIEM，一种基于ElasticStack的安全信息和事件管理解决方案，旨在帮助企业应对网络安全挑战。涵盖ElasticSIEM的核心功能，包括速度、规模和相关性，以及其在威胁检测、调查和响应中的作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

很多人可能对 SIEM 这个单词很陌生。它是英文单词 Security Information and Event Management 的缩写。意思是安全信息及事件管理的意思。在今天的这篇文章中，我们来重点介绍 Elastic SIEM。利用 Elastic SIEM 的速度，规模和相关性来推动你的安全操作和威胁搜寻。自 Elastic Stack 7.2 版本以后，Elastic 开始提供 SIEM 解决方案。

随着网络攻击和数据泄露事件的增多，我们被告知要保持敏感数据的安全。但是，在网络安全方面，积极主动同样重要。了解我们的信息系统正在发生的事情有助于我们确定如何改善信息安全状况。这就是为什么安全分析很重要的原因。

对于大中型企业，网络安全需要预算，足够的人员和适当的工具来保护和防御网络攻击。这些工具包括安全信息和事件（SIEM）解决方案，用于分析其环境中设备的日志。但是对于小型企业和家庭而言，访问有效的安全分析可能会花费大量时间或金钱。

Elastic SIEM 是一种以有限的时间和资源为小型企业和家庭提供安全分析和监视功能的好方法。这对于大型企业来说也很棒，但是针对这个博客系列，我们将继续专注于较小的实现。

SIEM 简介

什么是 SIEM?

安全信息和事件管理（SIEM）是一种软件解决方案，可以汇总和分析整个IT基础架构中许多不同资源的活动。SIEM 从网络设备，服务器，域控制器等收集安全数据。 SIEM 对该数据进行存储，规范化，汇总和应用分析，以发现趋势，检测威胁并使组织能够调查任何警报。SIEM 的实现流程可以描述如下：

SIEM 是如何工作的？

SIEM 为事件响应团队提供了两项主要功能：

有关安全事件的报告和取证
基于与特定规则集匹配的分析的警报，表明存在安全问题

SIEM 的核心是数据聚合，搜索和报告系统。 SIEM 从整个网络环境中收集大量数据，进行合并并使其易于访问。借助唾手可得的数据分类和布局，你可以根据需要研究数据安全漏洞。

安全信息和事件管理功能

Gartner 确定了 SIEM 的三项关键功能（威胁检测，调查和响应时间）- 你在 SIEM 市场中通常会看到其他功能，包括：

基本安全监控
先进的威胁检测
事件取证和响应
日志收集
数据归一化
通知和警报
安全事件检测
威胁响应工作流程

为什么 Elastic Stack 适合做 SIEM?

Elasticsearch 的特点

Elasticsearch 是 Elastic 的核心组件。我们首先来了解一下 Elasticsearch 的特点：

Elastic Stack 以其 Speed，Scale 和 Relevance和其它的很多的产品区分开来：

1） Speed （速度）：Elasticsearch面对海量的数据可以提供毫秒级的搜索速度。这对 Elasticsearch 的速度使你的安全从业人员更加高效，更加有效，最终使他们能够在造成损害之前检测威胁的响应。

使用交互式仪表板监视你的环境。
通过快速连续的即席查询来寻找威胁。
随意提取并透视基础数据。

2）Scale （规模）。Elasticseach 集群极易扩容。面对不断增加的数据，Elasticsearch 集群可以添加更多的节点来存储更多的数据。针对有的安全数据的要求，需要保持至少6个月的数据。Elasticsearch 也能轻易满足这些需求，而且即使在不断增加的数据的情况下，Elasticsearch 的搜索速度丝毫不受影响，也能达到毫秒级的搜索速度。借助 Elastic 的水平可扩展性，大型分析团队可以临时方式探索大量机器数据。它的开放 API 支持与其他系统和应用程序的集成，并且其非专有文件格式可防止锁定。

如果你从事安全工作，那么我不必告诉你可扩展性是其他技术的一大挑战。无论你是15年前使用 Cisco Mars，10年前使用 ArcSight 还是本十年中的任何时候使用专有工具，都是如此。

如果你使用过旧技术，请考虑以下两个问题：

由于技术限制或许可证限制，你必须多久丢弃一次数据？
你可以保留多长时间（7天）？ 15天？也许30天？

Elastic 可以广泛收集数据，使数据保留更长的时间，并更快地进行搜索。

3）Relevance：Elastic 通过机器学习自动发现异常，并通过相关性自动检测已知威胁，而其强大的搜索和可视化功能可进行威胁监视和调查。

Elasticseach 可以轻松地从任何地方摄取数据

任何一个 SIEM 系统，采集数据是非常重要的一环。在上面我们已经讲了，Elasticsearch 提供了开放的 API 可以很轻易地和其它的应用系统进行对接，并进行数据的集成。它没有专有的文件格式。针对 Elasticseach 来说，目前它提供如下的三种方式来对数据进行对接:

正如上面所显示的那样，我们可以通过：

Beats：我们可以通过 Beats 把数据导入到 Elasticsearch 中
Logstash：我们可以 Logstash 把数据导入。Logstash 的数据来源也可以是 Beats
REST API：我们可以通过 Elastic 所提供的丰富的 API 来把数据导入到 Elasticsearch 中。我们可以通过 Java, Python, Go, Nodejs 等各种 Elasticsearch API 来完成我们的数据导入。

那么针对 Beats 来说，Beats 是如何和其它的 Elastic Stac k一起工作的呢？我们可以看如下的框图：

从上面我们可以看出来，Beats 的数据可以有如下的三种方式导入到 Elasticsearch 中：

Beats ==> Elasticsearch
Beats ==> Logstash ==> Elasticsearch
Beats ==> Kafka ==> Logstash ==> Elasticsearch

正如上面所显示的那样：

我们可以直接把 Beats 的数据传入到 Elasticsearch 中，甚至在现在的很多情况中，这也是一种比较受欢迎的一种方案。它甚至可以结合 Elasticsearch 所提供的 pipeline 一起完成更为强大的组合。
我们可以利用 Logstash 所提供的强大的 filter 组合对数据流进行处理：解析，丰富，转换，删除，添加等等。你可以参阅我之前的文章 “Data 转换，分析，提取，丰富及核心操作”
针对有些情况，如果我们的数据流具有不确定性，比如可能在某个时刻生产大量的数据，从而导致 Logstash 不能及时处理，我们可以通过 Kafka 来做一个缓存。你可以参考我的文章 “使用 Kafka 部署 Elastic Stack”。

借助预先构建的 Beats 集成，可以快速从端点，网络设备，应用程序-真正喜欢的任何源中提取数据。而且，如果你没有看到所需的集成，请与 Elastic 社区协作以查找或构建它。这些是都是开源的，也是对我们有利的一面。

Elastic SIEM 架构

SIEM 可以分析主机相关和网络相关的安全事件，作为警报调查或交互式威胁搜寻的一部分。

Elastic SIEM 的核心是新的SIEM应用程序，这是一个交互式的工作区，安全团队可以对事件进行分类并进行初步调查。其时间轴事件查看器使分析人员能够从 Kibana 内收集和存储攻击证据，固定和注释相关事件，并对结果进行评论和共享，从而使你可以轻松地处理遵循 ECS 格式的任何数据。

Kibana 一直是安全团队可视化，搜索和过滤其安全数据的绝佳场所。 Elastic SIEM 应用程序采用了安全团队对 Kibana 喜爱的所有方面（交互性，临时搜索和响应式向下钻取），并将其打包为直观的产品体验，可与典型的 SOC （Security Operations Center ）工作流程保持一致。

Kibana 中的 SIEM 应用程序为安全团队提供了一个交互式工作区，以对事件进行分类并进行初步调查。此外，机器学习异常检测作业和检测引擎规则提供了自动检测整个服务器和工作站机群中可疑活动的方法。

总结一下：

Elastic SIEM 能够分析与主机有关的事件和与网络有关的安全事件，作为以下部分的一部分：

警报调查
威胁搜寻
进行初步调查
事件分类

SIEM 组件

SIEM 需要以下 Elastic Stack 组件:

Elastic Endpoint Security 是提供预防，检测和响应功能的端点安全平台和代理。它将事件和安全警报直接发送到 Elasticsearch。

Beats 是作为代理安装在系统上的开源数据托运人。 Beats 将安全事件和其他数据发送到 Elasticsearch。

Elasticsearch 是一个实时的分布式存储，搜索和分析引擎。 Elasticsearch 擅长索引半结构化数据流，例如日志或指标。

Kibana 是一个旨在与 Elasticsearch 一起使用的开源分析和可视化平台。你可以使用 Kibana 搜索，查看和与 Elasticsearch 索引中存储的数据进行交互。你可以轻松地执行高级数据分析，并在各种图表，表格和地图中可视化数据。

Kibana 中的 SIEM 应用程序提供了专用的用户界面，用于分析和调查主机和网络安全事件。

附加的 Elastic 组件

你可以将 SIEM 与其他 Elastic 产品和功能一起使用，以帮助你识别和调查可疑活动：

机器学习
警示
Canvas - 可以帮我定制自己喜欢的面板

数据源

SIEM 可以从各种来源提取和分析数据，包括 Elastic Endpoint Security，Beats 和 Beats 模块，APM事务以及映射到 Elastic 通用数据定义（ECS）的第三方数据采集器。

Host 数据源

Auditbeat
- System module - Linux, macOS, Win
  - packages
  - processes
  - logins
  - sockets
  - users and groups
- Auditd module (Linux Kernel Audit info)
- File integrity module (FIM) - Linux, macOS, Win
Filebeat
- system logs (auth logs) - Linux
- Santa - macOS
Winlogbeat
- Windows event logs - Windows

Network 数据源

数据类型

从上面的 Host 及 Network 数据源中，SIEM 帮我提炼出如下的四类的数据类型：

1） Audit 事件：使用 Auditbeat 收集 Linux audit 框架数据，以监视系统和文件完整性的详细信息。运送到 Elasticsearch 以在 SIEM 应用中进行分析。

2）Authentication 日志：使用 Auditbeat 和 Filebeat 系统模块收集的身份验证数据调查尝试的登录和相关活动。

3）DNS 流量：借助 Packetbeat 收集的 DNS 数据，查看网络上发生的一切：用户访问模式，域活动，查询趋势等。

4）Netflow：通过分析流数据（由 Filebeat NetFlow 模块收集和解析）来建立环境的广阔视野。

建立整体观点

收集数据是一回事。统一检查它的能力是另一个。借助 Elastic Common Schema（ECS），你可以集中分析整个环境中的信息，例如日志，流和上下文数据，无论数据源有多分散。在 Kibana 中有一个专用应用程序叫做 SIEM，可让安全从业人员以更简化的方式调查和分类常见的主机和网络安全工作流。

Ops 和威胁搜寻是团队协作

Elastic SIEM 应用程序是一个交互式的工作区，安全团队可以对事件进行分类并执行初步调查。监控威胁，在时间轴上收集证据，固定并注释相关事件，并将潜在事件转发到票务和 SOAR 平台。

Elastic SIEM 客户

过去的几年中，Elastic Stack 已成为安全从业人员的首选，可以保护他们的系统和数据免受网络威胁。 Bell Canada 和 Slack 使用 Elastic Stack 进行安全性分析。思科Talos 将Elasticsearch 作为其威胁搜寻程序的核心。由十大学术联盟建立的共享网络安全运营中心 OmniSOC 和 Oak Ridge国家实验室选择使用弹性堆栈作为SIEM解决方案的核心。而且我们已经看到诸如 RockNSM，HELK 之类的开源项目围绕 Elastic Stack 形成，以支持安全运营商。

Elastic SIEM 社区生态：