liuwenqiang1314的博客

上文我们说到了聚合的三类聚合，其中包括指标聚合。Metric aggregations：指标聚合是根据字段值计算量度(如总和或平均值)的量度聚合。此系列中的聚合基于以某种方式从正在聚合的文档中提取的值来计算度量。这些值通常从文档的字段中提取（使用字段数据），但也可以使用脚本生成。数值指标聚合是一种特殊类型的指标聚合，用于输出数值。一些聚合输出单个数值指标（例如 avg），称为单值数值指标聚合，其他聚合生成多个指标（例如统计数据），称为多值数值指标聚合。

基本上我们可以看出来，他是一种聚合分析，类似于做报表那样的一个功能。既然是报表分析的话那就离不开一些常见的概念，什么平均值，最大值，什么按照什么分组之后统计每个组里面的数据量这样的功能。在es中支持了三种聚合来实现这些功能。聚合区别于检索，检索是使用一系列条件把文档从es中搜索回来。但是聚合则是在搜索回来的文档的基础上进一步进行处理。简单来说聚合就是将数据汇总为指标、统计数据或其他分析。此时我们就构建好我们的数据了，后面我们再根据需要做修改等等操作。好了，此时我们就准备好了，下面我们来进行操作。

实际上这个其实不常用，因为当我们已经完成了视图的学习之后，这个画布的操作其实可以在视图那里完成，这个功能有点冗余。而且它需要你有es sql的基础知识。但是我们还是来看一下。首先我们来到kibana的界面来查看画布模块。我们看到在我们内置的三类数据之后，kibana为我们创建了三个默认的画布。我们来查看电商数据的那个画布，你能看到他其实还是一个统计展示的功能，我们完全可以以图表的方式使用视图来展示，只不过这个可能更直观，给那些不懂统计图的人看更有吸引力。

Maps:这里指的就是地图，你可以通过导入es对应的地理信息来支持geo方面的业务，而且基于这些数据我们可以在kibana上绘制关于地图，地理等信息的图。那你可能会问，有啥用。1、分析热点，我们可以用于分析哪些位置的数据分布比较集中进而采取对应的行为。2、事后恢复，当你的哪个位置的机房，服务器被摧毁(雷电)，此时事后你可以分析这个区域的人群分布，进而针对性用户去做补偿。3、地图业务，你可以做一些地图业务，比如送外卖等等吧。

我们经常会用es来实现一些关于检索，关于分析的业务。但是es本身并没有UI,我们只能通过调用api来完成一些能力。而kibana就是他的一个外置UI，你完全可以这么理解。当我们进入kibana的主页的时候你可以看到这样的布局。他展示了四大模块，分别是：1、Enterprise Search 企业级搜索，这个不难理解，他本身就是和es密切配合的，当然可以做搜索。2、Observability 可观测性，kibana可以用来监控应用的性能指标等一系列能力，因为他可以和APM整合使用。

我们在搭建ELK环境的时候，一般有三种选择。1、本地安装，你可以到官网把安装包下载下来然后解压，修改配置文件，然后启动，这样比较麻烦，比较考验操作。那有的玩家就要问了，这种操作太吃手感了，有没有比较容易上手的玩法。有的有的，这样的玩法还有两种。2、容器启动，这就很简单了，拉取镜像，启动容器，都是一键操作的。3、Elastic cloud，es的官网提供了云服务，你可以注册账号上去直接用，但是免费时间只有14天，后面就得花钱了。当然你可以再找个新账号。这种是最方便的，但是有时间限制。

而父熔断器没有被放到这个map中，他是被保存在了这个变量中，之所以加volatile是因为可能多个并发用api在修改他的动态配置。好了，我们继续往下走。我们现在得到一点就是。

我们已经知道了分词器的三个组成，其实es中是支持你自己组合这三个部分，进而形成一个自定义的分词器。我们来编一个需求，我们从源端过来的数据，可能长这样，I' am sohappy!我很开心，并且你给了我一个礼物，所以你能说一句去你的java吗。这就是本句话的意思，1、我们看到有很多html标签，我们要去掉。(char_filter用html_strip)2、但是html标签我们要保留p标签，因为后面要分段落。

我们最后编了一个需求，需求中有一个内容是去除一个tags数组中的一个词汇，我们用了script processor的操作来移除的。但是我们这次换个操作，那种用的还是ES自己内置的管道，感觉没逼格，我们作为开发，要弄就弄自己的管道。于是这篇文章，我就会教你如何自己制作一个管道。我们这次来制作一个管道名字就叫levi_filter_word。他的功能也简单，就是实现对于我们指定的字段，然后移除其中的值，直接替换为空。你可能已经有个轮廓了，如果按照官方那些例子应该最后是这么个玩意。

我们先来看官方文档的一些信息。本文使用的ES版本为7.17.7。官方文档的位置位于Ingest pipelines官方文档# 英文：# 中文：采集管道可让您在索引之前对数据执行常见的转换。例如，您可以使用管道删除字段、从文本中提取值以及丰富数据。管道由一系列可配置的任务（称为处理器）组成。每个处理器按顺序运行，对传入的文档进行特定更改。处理器运行后，Elasticsearch 会将转换后的文档添加到您的数据流或索引中。

我们这里对于一些简单的预备原理做了描述，对于你启动的一些建议做了解释。但是你也会看到很多概念没提，比如节点角色咋配，密码权限我也都注释了，其他的一些概念都没说，这个不急，我们先把环境搭建起来，后面关于操作，关于原理和源码都会慢慢展开。

我们知道ES中通过副本在一定意义上实现了数据的备份和高可用。但是我们说万一副本数据丢失了，不小心被rm -f了，你就说逆天不逆天吧，此时要实现数据真正意义上的备份就要使用到快照机制，来把数据持久化备份起来，万一数据被删了，也能及时恢复。而单节点的操作直接看官网操作即可。这里就不演示了。或者我后面再补充，实际开发我们一般都是集群模式，官网地址如下：集群模式略有不同，不同在于存储仓库必须是分布式的文件存储，不能在每个节点的本地配置，因为他要做分布式的备份和恢复读取。你要是像单节点那样本地配置会报错。

倒排是一种思想，实际可以在各种场合以各种形式实现他。