技术栈ES的介绍和使用

最新推荐文章于 2025-05-30 11:21:52 发布
最新推荐文章于 2025-05-30 11:21:52 发布
阅读量988 收藏 9
点赞数 14
分类专栏： 项目 文章标签： elasticsearch 大数据 搜索引擎 c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_65558082/article/details/148285877
版权

目录

1. 全文搜索引擎（Elastic Search）的由来

（1）当系统数据量上了10亿、100亿条的时候，我们用什么数据库好？如何解决单点故障？如何提升检索速度？如何解决统计分析问题？

  • 传统数据库的应对解决方案：
    • 关系型数据库：
      • 通过主从备份解决数据安全性问题；
      • 通过数据库代理中间件心跳监测，解决单点故障问题；
      • 通过代理中间件将查询语句分发到各个slave节点进行查询，并汇总结果；
    • 非关系型数据库：
      • 通过副本备份保证数据安全性；
      • 通过节点竞选机制解决单点问题；
      • 先从配置库检索分片信息，然后将请求分发到各个节点，最后由路由节点合并汇总结果；
  • 另辟蹊径
    • 存储数据时按有序存储；
    • 将数据和索引分离；
    • 压缩数据;
  • 于是，Elastic Search就在这种背景下诞生了。

2. Elastic Search 概述

2.1 Elastic Search 介绍

（1）介绍如下：

  • Elatic search，简称为 ES， ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。
  • Elastic search是一个分布式、可扩展、近实时的高性能搜索与数据分析引擎。Elastic search基于Apache Lucene构建，采用Java编写，并使用Lucene构建索引、提供搜索功能。Elastic search的目标是让全文搜索功能的落地变得简单。

2.2 Elastic Search 功能

（1）具体功能如下：

  • Lucene 是开源的搜索引擎工具包，Elastic search 充分利用Lucene，并对其进行了扩展，使存储、索引、搜索都变得更快、更容易， 而最重要的是， 正如名字中的“ elastic ”所示， 一切都是灵活、有弹性的。而且，应用代码也不是必须用Java 书写才可以和Elastic search兼容，完全可以通过JSON 格式的HTTP 请求来进行索引、搜索和管理Elastic search 集群。
  • Elasticsearch是一个基于Apache Lucene™的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。
  • 但是，Lucene只是一个库。想要发挥其强大的作用，你需使用Java并要将其集成到你的应用中。Lucene非常复杂，你需要深入的了解检索相关知识来理解它是如何工作的。
  • Elastic search也是使用Java编写并使用Lucene来建立索引并实现搜索功能，但是它的目的是通过简单连贯的RESTful API让全文搜索变得简单并隐藏Lucene的复杂性。

（2）不过，Elastic search不仅仅是Lucene和全文搜索引擎，它还提供：

  • 分布式的实时文件存储，每个字段都被索引并可被搜索。
  • 实时分析的分布式搜索引擎。
  • 可以扩展到上百台服务器，处理PB级结构化或非结构化数据 而且，所有的这些功能被集成到一台服务器，你的应用可以通过简单的RESTful API、各种语言的客户端甚至命令行与之交互。

（3）上手Elasticsearch非常简单，它提供了许多合理的缺省值，并对初学者隐藏了复杂的搜索引擎理论。

  • 它开箱即用（安装即可使用），只需很少的学习既可在生产环境中使用。
  • Elastic search在Apache 2 license下许可使用，可以免费下载、使用和修改。 随着知识的积累，你可以根据不同的问题领域定制Elastic search的高级特性，这一切都是可配置的，并且配置非常灵活。

2.3 Elastic Search 特点

（1）特点如下所示：

  • 分布式实时文件存储。Elasticsearch可将被索引文档中的每一个字段存入索引，以便字段可以被检索到。
  • 实时分析的分布式搜索引擎。Elasticsearch的索引分拆成多个分片，每个分片可以有零个或多个副本。集群中的每个数据节点都可承载一个或多个分片，并且协调和处理各种操作；负载再平衡和路由会自动完成。
  • 高可拓展性。大规模应用方面，Elasticsearch可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。当然，Elasticsearch也可以运行在单台PC上。
  • 可插拔插件支持。Elasticsearch支持多种插件，如分词插件、同步插件、Hadoop插件、可视化插件等。

3. 安装 Elastic Search

3.1 ES 的安装

# 添加仓库秘钥
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - 
# 上边的添加方式会导致一个 apt-key 的警告，如果不想报警告使用下边这个
curl -s https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo gpg --no-default-keyring --keyring gnupgring:/etc/apt/trusted.gpg.d/icsearch.gpg --import
# 以上两种方法二选一

# 添加镜像源仓库
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elasticsearch.list
# 更新软件包列表
sudo apt update
# 安装 es
sudo apt-get install elasticsearch=7.17.21
# 启动 es
sudo systemctl start elasticsearch
# 安装 ik 分词器插件
sudo /usr/share/elasticsearch/bin/elasticsearch-plugin install https://get.infini.cloud/elasticsearch/analysis-ik/7.17.21

3.2 安装 kibana

# 使用 apt 命令安装 Kibana。
sudo apt install kibana
# 配置 Kibana（必选）：根据需要配置 Kibana。配置文件通常位于 /etc/kibana/kibana.yml。可能需要设置如服务器地址、端口、Elasticsearch URL 等。
sudo vim /etc/kibana/kibana.yml 
# 例如，你可能需要设置 Elasticsearch 服务的 URL： 大概 32 行左右elasticsearch.host: "http://localhost:9200"
# 修改如下位置并且将注释去除：
# server.host: "0.0.0.0"

# 启动 Kibana 服务：
sudo systemctl start kibana
# 设置开机自启（可选）：如果你希望 Kibana 在系统启动时自动启动，可以使用以下命令来启用自启动。
sudo systemctl enable kibana
# 验证安装：使用以下命令检查 Kibana 服务的状态。
sudo systemctl status kibana
# 访问 Kibana：在浏览器中访问 Kibana，通常是 http://<your-ip>:5601

3.3 ES 客户端的安装

# 先安装依赖
sudo apt-get install libmicrohttpd-dev
# 克隆代码
git clone https://github.com/seznam/elasticlient
# 切换目录
cd elasticlient
# 更新子模块
git submodule update --init --recursive
# 编译代码
mkdir build && cd build
# cmake生成Makefile
cmake -DCMAKE_INSTALL_PREFIX=/usr ..
# 安装
make && sudo make install

4. Elastic Search 基本概念

（1）基本概念：

  • Elasticsearch就被设计为能处理数以亿计的文档和每秒数以百计的搜索请求的分布式解决方案。这归功于几个重要的概念，我们现在将更详细地描述。

（2）节点&集群：

  • Elastic search 本质上是一个分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个 Elastic search 实例。单个 Elastic search 实例称为一个节点（Node），一组节点构成一个集群（Cluster）。节点&集群的详细介绍如下。

4.1 集群（Cluster）

（1）集群的概念：

  • 集群是一个或多个节点的集合，它们共同保存您的整个数据，并提供跨所有节点的联合索引和搜索功能。群集由唯一的名称标识，默认情况下为“elasticsearch”。此名称很重要，因为如果节点设置为按名称加入群集，则该节点只能是群集的一部分。
  • 确保不要在不同的环境中重用相同的群集名称，否则很可能会导致节点加入错误的群集。例如，您可以使用logging-dev，logging-stage以及logging-prod用于开发，预发和生产环境。
  • 值得注意的是，如果群集中只有一个节点，那么它是完全正常的。此外，您还可以拥有多个独立的集群，每个集群都有自己唯一的集群名称。

4.2 节点（Node）

（1）节点的概念：

  • 节点是作为集群一部分的单个服务器，存储数据并参与集群的索引和搜索功能。就像集群一样，节点由名称标识，默认情况下，该名称是在启动时分配给节点的随机通用唯一标识符（UUID）。如果不需要默认值，可以定义所需的任何节点名称。此名称对于管理目的非常重要，您可以在其中识别网络中哪些服务器与Elasticsearch集群中的哪些节点相对应。
  • 可以将节点配置为按集群名称加入特定群集。默认情况下，每个节点都设置为加入一个名为cluster的集群elasticsearch，这意味着如果您在网络上启动了许多节点并且假设它们可以相互发现，它们将自动形成并加入一个名为elasticsearch的集群。
  • 在单个集群中，可以拥有任意数量的节点。此外，如果网络上当前没有其他Elasticsearch节点正在运行，则默认情况下启动单个节点将形成一个名为elasticsearch的新单节点集群。

5. 索引&类型&文档&字段&映射

（1）和数据库的映射关系如下图：

（2）什么是 index （索引） ？

  • 一个 索引 就是一个拥有几分相似特征的文档的集合。ES 将数据存储于一个或多个索引中，索引 就相当于 SQL 中的一个数据库。

（3）什么是 Type(类型)？

  • 类型是索引内部的逻辑分区（category/partition）,然而其意义完全取决于用户需求。因此，一个索引内部可定义一个或多个类型（type）。一般来说，类型就是为那些拥有相同的域的文档做的预定义。类比传统的关系型数据库领域来说，类型 相当于 表，7.x 版本默认使用 _doc 作为 type 。

（4）什么是 Document(文档)？

  • 文档是 Lucene 索引和搜索的 原子单位，它是包含了一个或多个域的容器，基于 Json 格式进行表示。文档有一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常被称为 多值域，每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。相当于 mysql 表中的 row 。

（5）什么是 Field (字段)？

  • Field 是相当于数据库中的 Column。

（6）上述索引&类型&文档&字段结构图如下：

（7）什么是 Mapping(映射)？

  • Mapping 是定义文档及其包含的字段如何存储和索引的过程。Mapping 是 ES 中的一个很重要的内容，它类似于传统关系型数据中 table 的 schema，用于定义一个索引（index）的某个类型（type）的数据结构。

5.1 索引（Index）

（1）索引的概念：

  • 索引是具有某些类似特征的文档集合。 例如，可以给客户数据建立一个索引，给产品目录建立另一个索引或给订单数据的建立一个索引。
  • 索引有一个名称标识（必须全部小写），此名称用于在对其中的文档执行索引，搜索，更新和删除操作时引用索引所用。 在单个群集中，您可以根据需要定义任意数量的索引。
  • 索引 （index）是Elasticsearch对逻辑数据的逻辑存储，所以它可以分为更小的部分。你可以把索引看成关系型数据库的表。然而，索引的结构是为快速有效的全文索引准备的，特别是它不存储原始值。
  • Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上，每个索引有一或多个分片 （shard），每个分片可以有多个副本 （replica）。

5.2 类型（Type）

（1）类型的概念：

  • type是一个逻辑意义上的分类或者叫分区，允许在同一索引中建立多个type。本质是相当于一个过滤条件，高版本将会废弃type概念。
  • 不同_type下的字段不能冲突，删除整个_type也不会释放空间。在实际应用中，数据模型不同，有不同_type需求的时候，我们应该建立单独的索引，而不是在一个索引下使用不同的_type。删除过期老化的数据时，最好以索引为单位，而不是_type和_id。
  • 正由于_type在实际应用中容易引起概念混淆，以及允许索引存在多_type并没有什么实际意义，在ES 6.x版本中，一个索引只允许存在一个_type，未来的7.x版本将完全删除_type的概念。

5.3 文档（Document）

（1）文档的概念：

  • 文档是可以编制索引的基本信息单元。例如，您可以为单个客户提供文档，为单个产品提供另一个文档，为单个订单提供另一个文档。该文档以JSON（JavaScript Object Notation）表示，JSON是一种普遍存在的互联网数据交换格式。
  • ES是面向文档的。各种文本内容以文档的形式存储到ES中，文档可以是一封邮件、一条日志，或者一个网页的内容。一般使用 JSON 作为文档的序列化格式，文档可以有很多字段，在创建索引的时候，我们需要描述文档中每个字段的数据类型，并且可能需要指定不同的分析器，就像在关系型数据中“CREATE TABLE”一样。
  • 在索引/类型中，可以根据需要存储任意数量的文档。 值得注意的是，尽管文档实际上驻留在索引中，但实际上必须将文档分配给索引中的一个类型（type）中。
  • 在存储结构上，由_index、_type和_id唯一标识一个文档。
  • _index指向一个或多个物理分片的逻辑命名空间，_type类型用于区分同一个集合中的不同细分，在不同的细分中，数据的整体模式是相同或相似的，不适合完全不同类型的数据。多个_type可以在相同的索引中存在，只要它们的字段不冲突即可（对于整个索引，映射在本质上被“扁平化”成一个单一的、全局的模式）。_id文档标记符由系统自动生成或使用者提供。
  • 存储在Elastic search中的主要实体叫文档 （document）。用关系型数据库来类比的话，一个文档相当于数据库表中的一行记录。Elasticsearch的文档中，相同字段必须有相同类型。这意味着，所有包含title 字段的文档，title 字段类型都必须一样，比如string 。
  • 文档由多个字段 组成，每个字段可能多次出现在一个文档里，这样的字段叫多值字段 （multivalued）。每个字段有类型，如文本、数值、日期等。字段类型也可以是复杂类型，一个字段包含其他子文档或者数组。字段类型在Elasticsearch中很重要，因为它给出了各种操作（如分析或排序）如何被执行的信息。幸好，这可以自动确定，然而，我们仍然建议使用映射。
  • 与关系型数据库不同，文档不需要有固定的结构，每个文档可以有不同的字段，此外，在程序开发期间，不必确定有哪些字段。当然，可以用模式强行规定文档结构。
  • 从客户端的角度看，文档是一个JSON对象。每个文档存储在一个索引中并有一个Elasticsearch自动生成的唯一标识符和文档类型 。文档需要有对应文档类型的唯一标识符，这意味着在一个索引中，两个不同类型的文档可以有相同的唯一标识符。

（2）文档类型：

  • 在Elasticsearch中，一个索引对象可以存储很多不同用途的对象。例如，一个博客应用程序可以保存文章和评论。文档类型让我们轻易地区分单个索引中的不同对象。每个文档可以有不同的结构，但在实际部署中，将文件按类型区分对数据操作有很大帮助。
  • 当然，需要记住一个限制，不同的文档类型不能为相同的属性设置不同的类型。例如，在同一索引中的所有文档类型中，一个叫title 的字段必须具有相同的类型。

5.4 映射（Mapping）

（1）映射的概念：

  • 文档中的每个字段都必须根据不同类型做相应的分析。举例来说，对数值字段和从网页抓取的文本字段有不同的分析，比如前者的数字不应该按字母顺序排序，后者的第一步是忽略HTML标签，因为它们是无用的信息噪音。
  • Elasticsearch在映射中存储有关字段的信息。每一个文档类型都有自己的映射，即使我们没有明确定义。

6. 分片&副本

（1）什么是 Shard (分片)？

  • 一个 索引 可以存储超出单个结点硬件限制的大量数据。比如，一个具有 10亿文档的索引占据 1TB 的磁盘空间，而任一节点都没有这样大的磁盘空间；或者单个节点处理搜索请求，响应太慢。
  • 为了解决这个问题，Elasticsearch 提供了将索引划分成多份的能力，这些份就叫做 分片。当你创建一个索引的时候，你可以指定你想要的 分片的数量。每个分片本身也是一个功能完善并且独立的 索引，这个 索引 可以被放置到集群中的任何节点上。

（2）分片之所以重要，主要有两方面的原因：

  • 允许你水平分割/扩展你的内容容量。
  • 允许你在分片（潜在地，位于多个节点上）之上进行分布式的、并行的操作，进而提高性能/吞吐量。
  • 一个分片怎样分布，它的文档怎样聚合回搜索请求，是完全由 Elasticsearch 管理的，对于作为用户的你来说，这些都是透明的

（3）什么是 Replica (副本)？

  • 副本是一个分片的精确复制，每个分片可以有零个或多个副本。副本的作用：
  • 提高系统的容错性，当某个节点某个分片损坏或丢失时，可以从副本中恢复。
  • 提高 ES 查询效率，ES 会自动对搜索请求进行负载均衡。

6.1 分片（Shards）

（1）分片概述：

  • 索引可能存储大量可能超过单个节点硬件限制的数据。例如，占用1TB磁盘空间的十亿个文档的单个索引可能不适合单个节点的磁盘，或者可能太慢而无法单独从单个节点提供搜索请求。
  • 为了解决这个问题，Elasticsearch提供了将索引细分为多个称为分片的功能。创建索引时，只需定义所需的分片数即可。每个分片本身都是一个功能齐全且独立的“索引”，可以托管在集群中的任何节点上。

（2）分片很重要，主要有两个原因：

  • 它允许集群进行水平扩展；
  • 它允许集群跨分片（可能在多个节点上）分布和并行化操作，从而提高性能和吞吐量。 分片的分布方式以及如何将其文档聚合回搜索请求的机制完全由Elastic Search管理，对用户而言是透明的。

（3）当有大量的文档时，由于内存的限制、硬盘能力、处理能力不足、无法足够快地响应客户端请求等，一个节点可能不够。在这种情况下，数据可以分为较小的称为分片 （shard）的部分（其中每个分片都是一个独立的Apache Lucene索引）。

  • 每个分片可以放在不同的服务器上，因此，数据可以在集群的节点中传播。当你查询的索引分布在多个分片上时，Elasticsearch会把查询发送给每个相关的分片，并将结果合并在一起，而应用程序并不知道分片的存在。此外，多个分片可以加快索引。
  • 在分布式系统中，单机无法存储规模巨大的数据，要依靠大规模集群处理和存储这些数据，一般通过增加机器数量来提高系统水平扩展能力。因此，需要将数据分成若干小块分配到各个机器上。然后通过某种路由策略找到某个数据块所在的位置。

6.2 副本（Replicas）

（1）副本概述：

  • 为了提高查询吞吐量或实现高可用性，可以使用分片副本。副本 （replica）只是一个分片的精确复制，每个分片可以有零个或多个副本。换句话说，Elasticsearch可以有许多相同的分片，其中之一被自动选择去更改索引操作。这种特殊的分片称为主分片 （primary shard），其余称为副本分片 （replica shard）。在主分片丢失时，例如该分片数据所在服务器不可用，集群将副本提升为新的主分片。
  • 除了将数据分片以提高水平扩展能力，分布式存储中还会把数据复制成多个副本，放置到不同的机器中，这样一来可以增加系统可用性，同时数据副本还可以使读操作并发执行，分担集群压力。但是多数据副本也带来了一致性的问题：部分副本写成功，部分副本写失败。
  • 为了应对并发更新问题，ES将数据副本分为主从两部分，即主分片（primary shard）和副分片（replica shard）。主数据作为权威数据，写过程中先写主分片，成功后再写副分片，恢复阶段以主分片为准。
  • 分片（shard）是底层的基本读写单元，分片的目的是分割巨大索引，让读写可以并行操作，由多台机器共同完成。读写请求最终落到某个分片上，分片可以独立执行读写工作。ES利用分片将数据分发到集群内各处。分片是数据的容器，文档保存在分片内，不会跨分片存储。分片又被分配到集群内的各个节点里。当集群规模扩大或缩小时，ES 会自动在各节点中迁移分片，使数据仍然均匀分布在集群里。

6.3 分析器

（1）分析器概述：

  • 对于字符串类型的字段，可以指定Elastic search应该使用哪个分析器。使用分析器时，只需在指定字段的正确属性上设置它的名字，就这么简单。
  • Elastic search允许我们使用众多默认定义的分析器中的一种。如下分析器可以开箱即用：
    • standard ：方便大多数欧洲语言的标准分析器。
    • simple ：这个分析器基于非字母字符来分离所提供的值，并将其转换为小写形式。
    • whitespace ：这个分析器基于空格字符来分离所提供的值。
    • stop ：这个分析器类似于simple 分析器，但除了simple 分析器的功能，它还能基于所提供的停用词（stop word）过滤数据。
    • keyword ：这是一个非常简单的分析器，只传入提供的值。你可以通过指定字段为not_analyzed 来达到相同的目的。
    • pattern ：这个分析器通过使用正则表达式灵活地分离文本。
    • language ：这个分析器旨在特定的语言环境下工作。
    • snowball ：这个分析器类似于standard 分析器，但提供了词干提取算法。

7. ES RESTful 操作

7.1 索引操作

7.1.1 创建索引

（1）语法如下：

// 创建索引  请求方式只能是PUT   /user表示创建一个user索引
// settings表示这个索引的一些设置  number_of_shards表示分片数量
// number_of_replicas 表示每个分片的副本数量
PUT /user
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 1
  }
}

（2）结果：

// acknowledged表示索引创建的回执信息，也就是响应的结果
// shards_acknowledged表示索引分片创建的回执信息
// index表示索引的名称
{
  "acknowledged" : true, 
  "shards_acknowledged" : true,
  "index" : "user"
}

7.1.2 查看索引

（1）语法如下：

GET /user

（2）结果：

// user表示索引名称
// aliases表示索引的别名
// mappings表示索引中的字段
// settings表示索引的创建信息
{
  "user" : {
    "aliases" : { },
    "mappings" : { },
    "settings" : {
      "index" : {
        "creation_date" : "1667629798434",
        "number_of_shards" : "3",
        "number_of_replicas" : "1",
        "uuid" : "VwShKX6-TliIeCIKttsRwA",
        "version" : {
          "created" : "7060299"
        },
        "provided_name" : "user"
      }
    }
  }
}

7.1.3 删除索引

（1）语法如下：

DELETE /user

（2）结果：

{
  "acknowledged" : true
}

7.2 类型操作

7.2.1 创建类型

（1）语法如下：

// /user/_mappings表示设置user索引的具体数据结构，相当于定义类中的属性
// class User{ String name; String sex; int age; Date birthday;}
PUT /user/_mappings
{
  "properties": {
    "name": {
      "type": "text",
      "analyzer": "ik_max_word",
      "index": true,
      "store": false
    },
    "sex": {
      "type": "keyword"
    },
    "age": {
      "type": "integer"
    },
    "birthday": {
      "type": "date",
      "format": "yyyy-MM-dd"
    }
  }
}

（2）结果：

{
  "acknowledged" : true,
  "shards_acknowledged" : true,
  "index" : "user"
}

7.2.2 查看类型

（1）语法如下：

GET /user

（2）结果：

{
  "user" : {
    "aliases" : { },
    "mappings" : {
      "properties" : {
        "age" : {
          "type" : "integer"
        },
        "birthday" : {
          "type" : "date",
          "format" : "yyyy-MM-dd"
        },
        "name" : {
          "type" : "text",
          "analyzer" : "ik_max_word"
        },
        "sex" : {
          "type" : "keyword"
        }
      }
    },
    "settings" : {
      "index" : {
        "creation_date" : "1667631425739",
        "number_of_shards" : "5",
        "number_of_replicas" : "1",
        "uuid" : "hfhUHBKWQZukfeZLlteHKQ",
        "version" : {
          "created" : "7060299"
        },
        "provided_name" : "user"
      }
    }
  }
}

7.3 文档操作

7.3.1 增加文档

（1）语法如下：

POST /user/_doc
{
  "name": "张三",
  "sex": "男",
  "age": 20,
  "birthday": "2000-05-06"
}

（2）结果：

{
  "_index" : "user",
  "_type" : "_doc",
  "_id" : "lfKkRoQB18W7DskkwOaq",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 0,
  "_primary_term" : 1
}

7.3.2 查看文档

（1）语法如下：

GET /user/_search
{
  "query": {
    "match_all": {}
  }
}

（2）结果：

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 5,
    "successful" : 5,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 1,
      "relation" : "eq"
    },
    "max_score" : 1.0,
    "hits" : [
      {
        "_index" : "user",
        "_type" : "_doc",
        "_id" : "lfKkRoQB18W7DskkwOaq",
        "_score" : 1.0,
        "_source" : {
          "name" : "张三",
          "sex" : "男",
          "age" : 20,
          "birthday" : "2000-05-06"
        }
      }
    ]
  }
}

7.3.3 修改文档

（1）语法如下：

// 修改语法： /索引/_doc/数据ID
// 这种修改需要注意，不是只修改一个属性，而是对整个文档进行修改，可以理解为是用一个新的文档去替换原来的文档完成修改。如果新的文档
// 只有1个属性，那么替换后的文档也只有1个属性。
PUT /user/_doc/lfKkRoQB18W7DskkwOaq
{
  "sex": "女"
}

（2）结果：

{
  "_index" : "user",
  "_type" : "_doc",
  "_id" : "lfKkRoQB18W7DskkwOaq",
  "_version" : 3,
  "result" : "updated",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 2,
  "_primary_term" : 1
}

7.3.4 删除文档

（1）语法如下：

DELETE /user/_doc/lfKkRoQB18W7DskkwOaq

（2）结果：

{
  "_index" : "user",
  "_type" : "_doc",
  "_id" : "lfKkRoQB18W7DskkwOaq",
  "_version" : 4,
  "result" : "deleted",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 3,
  "_primary_term" : 1
}

8. 倒排索引

（1）如下图所示：

  • 将存放的数据，以一定的方式进行分词，并且将分词的内容存放到一个单独的分词库中。
  • 当用户去查询数据时，会将用户的查询关键字进行分词。
  • 然后去分词库中匹配内容，最终得到数据的id标识。
  • 根据id标识去存放数据的位置拉取到指定的数据。

9. Elastic Search 总结

（1）ES 的框架图：

（2）核心概念：


（3）核心特性：

  1. 分布式架构：
    • 数据自动分片（Sharding）和副本（Replication）。
    • 支持水平扩展至上千节点，处理 PB 级数据。
  2. 实时搜索：
    • 写入数据后 1 秒内 可被检索（近实时 NRT）。
  3. 全文搜索：
    • 支持复杂查询：模糊匹配、短语搜索、同义词扩展等。
    • 基于 TF-IDF 或 BM25 的相关性评分。
  4. 聚合分析：
    • 支持统计、分组、直方图、地理分析等，如：
"aggs": { "avg_price": { "avg": { "field": "price" } } }
  1. RESTful API：
    • 所有操作通过 HTTP API 完成，如：
GET /books/_search?q=title:elastic

（4）核心组件：

  1. Elastic Stack（ELK）：
组件作用
Elasticsearch数据存储与检索
Logstash数据采集、转换、管道处理
Kibana数据可视化、仪表盘
Beats轻量级数据采集器（Filebeat, Metricbeat）
  1. 分词器（Analyzer）：
    • 包含：字符过滤器 → 分词器 → 词单元过滤器。
    • 内置分词器：standard、ik_smart（中文智能分词）。

（5）应用场景：

  1. 日志分析：结合 ELK Stack 实现实时日志收集、分析和告警。
  2. 全文搜索引擎：电商商品搜索、新闻内容检索。
  3. 实时监控：应用性能监控（APM）、基础设施指标分析。
  4. 推荐系统：基于用户行为的个性化推荐（结合协同过滤）。
  5. 地理空间分析：支持 geo_point 类型，实现附近地点搜索。

（6）Elasticsearch 的核心价值在于：

  • 实时处理海量数据。
  • 分布式扩展应对高并发。
  • 全文搜索与复杂分析一体化。
  • 强大的 ELK 生态集成。
全网最全的 Java 技术栈内容梳理（持续更新中）
栗筝i的博客
10-23 4万+
大家好，我是栗筝i，从 2022 年 10 月份开始，我将全面梳理 Java 技术栈的相关内容，一方面是对自己学习内容进行整合梳理，另一方面是希望对大家有所帮助，使我们一同进步。 在更新上我将尽量保证文章的高频、高质、高量，希望大家积极交流监督，以此让我们共同进步。
ES(ElasticSearch)技术栈简介
qq_50215015的博客
01-30 1675
ES(ElasticSearch)技术栈简介,读写原理
ELK 技术栈-ElasticSearch
asmall_cat的博客
05-11 789
Elastic Search
Elasticsearch——介绍、安装与初步使用
代码星辰的博客
09-22 5490
本文介绍了 Elasticsearch 的概念、安装、索引库操作和文档操作等相关知识。
ELK技术栈介绍
qq_19283249的博客
05-21 1295
ELK技术栈由三个技术组成：Elasticsearch、Logstash和Kibana。每个技术都有自己的功能点和用法，同时它们也可以相互关联使用，形成一个完整的日志解决方案。此外，还有一个名为Beats的技术，它是一个轻量级的数据收集器，可以收集各种类型的数据并将其发送到Logstash或Elasticsearch进行处理和存储。ELK技术栈的三个技术可以相互关联使用，形成一个完整的日志解决方案。
ElasticSearch介绍+使用
m0_67496588的博客
09-15 1497
ElasticSearch的介绍、倒排索引、ELK技术栈简介、HTTP API中使用ES、Java中封装使用ES
ElasticSearch技术栈总结
IT之一小佬的博客
05-20 881
本文提供了ElasticSearch的学习路线、环境安装配置、技术知识、交互操作、性能优化等方面的详细指南。内容包括ElasticSearch的学习路线图、环境安装配置步骤、技术知识如RESTFUL API、文档映射、查询语句等，以及使用Python与ElasticSearch进行交互的操作方法。此外，还涉及性能优化技巧和其他相关学习笔记记录，为ElasticSearch的学习和应用提供了全面的参考。
探索RAG自查询技术：使用LangChain和Elasticsearch
dsndnwfk的博客
10-29 444
RAG自查询技术的核心在于结合LLM的强大语言理解能力和传统搜索引擎的高效查询能力。读者可以进一步研究LangChain官方文档以及Elasticsearch文档来深入了解其工作原理。
Elasticsearch Windows部署-ELK技术栈
qs1137981843的博客
01-16 993
由于8.11.3使用自带jdk，这里可以不用安装jdk并配置，低版本需要电脑中安装jdk。定位到elasticsearch-head-master根目录，以此执行下面命令。在github上下载elasticsearch-head-master。启动成功后访问 http://localhost:5601。双击启动kibana.bat，启动比较慢耐心等待一下。本文不介绍ELK相关原理知识，只记录部署操作过程。选择同一版本，这里选择是当前最新版本8.11.3。解压放在同目录下，方便后续操作与使用。
ElasticSearch入门到精通（基于ELK技术栈ElasticSearch7.8.版本）.rar
05-20
在 ELK 技术栈（Elasticsearch, Logstash, Kibana）中，Elasticsearch 负责存储和索引日志数据，SpringBoot 是一个流行的 Java 应用开发框架，它们经常一起用于企业级的日志管理和分析系统。 **1. Elasticsearch ...
基于springboot的个人博客，技术栈：mybatis，mysql，elasticsearch+源代码+文档说明
11-28
技术栈 ：基于springboot，持久层mybatis+mysql，搜索用elasticsearch,前端semantic ui+thymeleaf 新增功能：访问者ip地址和城市信息的后台记录 ## 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况...
ELK 栈搭建与日志分析：Elasticsearch、Logstash 和 Kibana 的集成
数字魔方操控师的博客
05-06 948
ELK 栈为企业和组织提供了一套完整且高效的日志处理和分析解决方案。通过 Elasticsearch 强大的存储和检索能力、Logstash 灵活的数据处理功能以及 Kibana 直观的可视化展示，用户能够轻松实现日志的集中管理、深入分析和实时监控。本文详细介绍了 ELK 栈的搭建过程、日志分析实践以及优化与维护方法，希望能够帮助读者快速掌握 ELK 栈的应用，充分发挥日志数据的价值，为企业的系统运维、性能优化和安全管理提供有力支持。
ElasticSearch简介及常用操作指南
记录自己在工作、学习中的点点滴滴
05-29 984
ElasticSearch是一个基于Lucene的分布式搜索和分析引擎，具有全文检索、数据分析、高性能和高可用性等特点。其核心功能包括强大的搜索能力（支持多种搜索方式）、高效的数据聚合分析、分布式架构带来的高性能，以及易于扩展的特性。应用场景涵盖日志分析、企业搜索和电商推荐系统等。 常用操作包括索引管理（创建、检索、删除）、文档操作（增删改查）以及多种查询方式（匹配查询、范围查询、布尔查询、分页查询和多字段查询）。通过RESTful API即可完成这些操作，例如使用PUT/POST创建索引和文档，GET检索
Liunx部署ES单机集群
weixin_45881248的博客
05-27 309
本文介绍了Elasticsearch 7.17.26版本在Linux系统下的安装和启停操作
GIT命令行的一些常规操作
lulus_tecpath
05-28 978
方法一：git checkout -b 本地分支名x origin/远程分支名x。方式二：git fetch origin 远程分支名x:本地分支名x。修改commit信息 git commit --amend。6.将本地分支推送到远程分支上（远程没有的话会创建）2、git reset --soft 哈希值。5.删除远程分支(将空分支推到远程)2.创建远程分支并将本地提交到该分支。7.将本地分支和远程分支相关联。git branch 分支名。3.推送所有分支到新建的仓库。4.将远程分支拉取到本地。
本地服务器搭建的git如何让外网访问？配置公网地址实现远程连接私有仓库
csghdn的博客
05-27 1062
而且这个地址也不会再随机变化，他是固定不变的，只要保持nat123服务后台在线，我们在外就可以通过这个公网地址，随时随地远程访问自己部署的Git服务了，无需公网 IP，也不用设置路由器。开发人员可以将自己的代码推送到共享的Git仓库中，其他团队成员可以通过拉取代码来获得最新的更新，也可以对代码进行修改和提交。总之，Git是一个强大的版本控制系统，可以用于管理和控制代码的版本、实现团队协作、管理远程仓库、进行分支管理和版本发布等多个方面。内网地址以本地git为准，本机的用127.0.0.1表示就可以。
Elasticsearch的写入流程介绍
最新发布
chunzhi128的博客
05-30 131
Elasticsearch的写入流程是一个分布式协调过程，涉及客户端请求路由、主分片处理、副本同步和响应返回四个核心阶段。写入时，数据先写入事务日志（Translog）确保可靠性，再刷新到内存段（Segment）实现近实时搜索。主分片成功后会异步同步到副本分片，支持多种一致性级别配置。关键优化包括批量写入、调整刷新间隔和合理设置副本数量。整个流程通过Translog持久化、段合并和分布式锁机制，平衡了数据一致性与写入性能。
magic-api配置Git插件教程
esqabc的博客
05-29 796
7，启动magic-api项目，浏览器输入：http://192.168.110.23:9999/magic/web/index.html，即可出现下面页面。7，启动magic-api项目，浏览器输入：http://192.168.110.23:9999/magic/web/index.html。4，添加known_hosts，将输出内容配置到known_hosts中，先执行下面命令。4，添加known_hosts，将输出内容配置到known_hosts中，先执行下面命令。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Smile丶凉轩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值