搜索框架ElasticSearch讲解（一）

已于 2023-05-21 18:20:23 修改
阅读量1.4k 收藏 2
点赞数 3
分类专栏： 云原生安全 文章标签： java 后端 elasticsearch
于 2020-11-29 23:12:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wutianxu123/article/details/110343231
版权

本博客地址：https://security.blog.csdn.net/article/details/110343231

一、搜索框架Elasticsearch介绍

Elasticsearch是Elastic Stack核心的分布式搜索和分析引擎。它能为所有类型的数据提供实时搜索和分析。无论是结构化文本还是非结构化文本，Elasticsearch都能支持快速搜索的方式有效地对其进行存储和索引。它不仅可以进行简单的数据检索，还可以聚合信息来发现数据中的趋势和模式。

Elasticsearch是一个分布式文档存储，随着数据和查询量的增长，它的分布式特性使得部署可以随之无缝地增长。它不会将信息存储为列数据的行，而是存储已序列化为JSON文档的复杂数据结构。当集群中有多个Elasticsearch节点时，存储的文档将分布在集群中，并且可以从任何节点立即访问。

存储文档时，将在1秒钟内几乎实时地对其进行索引和完全搜索。Elasticsearch使用称为倒排索引的数据结构，该结构支持非常快速的全文本搜索。反向索引列出了出现在任何文档中的每个唯一单词，并标识了每个单词出现的所有文档。

二、部署安装（MacOS）

2.1、安装elasticsearch

1、执行安装命令

# 更新brew
brew update

# 搜索elasticsearch
brew search elasticsearch

# 安装elasticsearch
brew install elasticsearch

# 运行elasticsearch
brew services start elasticsearch

2、效果如下所示

命令行效果：
在这里插入图片描述

访问链接：http://127.0.0.1:9200

在这里插入图片描述

2.2、安装Kibana

Kibana是ES的一个配套工具，可以让用户在网页中与ES进行交互

1、执行安装命令

# 安装kibana
brew install kibana

# 启动Kibana
brew services start kibana

2、效果如下所示

# 本地浏览器访问
http://localhost:5601

# 查看集群健康状态
http://localhost:9200/_cat/health?v

# 查看索引列表
http://localhost:9200/_cat/indices?v

如下所示：
在这里插入图片描述

注意看 status字段，他有三个值含义分别如下：

green：一切都很好（集群功能齐全）
yellow：所有数据都可用，但尚未分配一些副本（群集功能齐全）
red：某些数据由于某种原因不可用（群集部分功能）

访问首页的效果为：
在这里插入图片描述

三、基本概念

1、索引（index）：一个索引可以理解成一个关系数据库的库

2、类型（type）：一种type就像一类表，比如user表、order表

3、映射（mapping）：mapping定义了每个字段的类型等信息，相当于关系型数据库中的表结

4、文档（document）：一个document相当于关系型数据库中的一⾏行记录

5、字段（field）：相当于关系型数据库表的字段

6、集群（cluster）：集群由一个或多个节点组成，一个集群有一个默认名称"elasticsearch"

7、节点（node）：集群的节点，一台机器或者一个进程

8、分片和副本（node）：副本是分片的副本。分⽚有主分片（primary Shard）和副本分片（replica Shard）之分。Index数据在物理上被分布在多个主分片中，每个主分片只存放部分数据。每个主分⽚可以有多个副本，叫副本分片，是主分片的复制。

9、核心数据类型

9.1、字符串（text）：用于全文索引，该类型的字段将通过分词器进⾏分词。
字符串（keyword）：不分词，只能搜索该字段的完整的值

9.2、数值型：long、integer、short、byte、double、float、half_float、scaled_float

9.3、数值型（boolean）：boolean

9.4、二进制（binary）：该类型的字段把值当做经过 base64 编码的字符串，默认不存储，且不可搜索

9.5、范围类型：范围类型表示值是一个范围，而不是⼀个具体的值。类型有：integer_range、float_range、long_range、double_range、date_range

9.6、日期（date）：由于Json没有date类型，所以es通过识别字符串是否符合format定义的格式来判断是否为date类型。format默认为：strict_date_optional_time||epoch_millis，如：2022-01-01"、“2022/01/01 12:10:30” 这种字符串格式

四、索引基本操作

4.1、创建索引PUT请求

请求

http://localhost:9200/blablabla

响应

在这里插入图片描述

4.2、查看索引GET请求

请求

http://localhost:9200/blablabla

响应

在这里插入图片描述

4.3、批量获取索引GET请求

请求

http://localhost:9200/blablabla,malamala

响应

在这里插入图片描述

4.4、获取全部索引GET请求

请求

http://localhost:9200/_all

响应（太长了，不放json格式数据了）

在这里插入图片描述

4.5、使用_cat获取全部索引GET请求

请求

http://localhost:9200/_cat/indices?v

响应

在这里插入图片描述

4.6、关闭索引不删除POST请求

请求

http://localhost:9200/blablabla/_close

响应

在这里插入图片描述

4.7、打开索引POST请求

请求

http://localhost:9200/blablabla/_open

响应

在这里插入图片描述

4.8、删除索引DELETE请求

请求

http://localhost:9200/blablabla

响应

在这里插入图片描述

五、映射的介绍与使用

type：text 可分词
type：keyword 不可分词

5.1、创建Mapping PUT请求

请求

http://localhost:9200/blablabla/_mapping

请求体

{
	"properties":{	//字段的信息
		"name":{
			"type":"text"
		},
		"team_name":{
			"type":"text"
		},
		"position":{
			"type":"keyword"
		},
		"play_year":{
			"type":"keyword"
		},
		"jerse_no":{
			"type":"keyword"
		}
	}
}

响应

{
    "acknowledged": true
}

5.2、查看Mapping信息GET请求

请求

http://localhost:9200/blablabla/_mapping

响应

{
    "blablabla": {
        "mappings": {
            "properties": {
                "jerse_no": {
                    "type": "keyword"
                },
                "name": {
                    "type": "text"
                },
                "play_year": {
                    "type": "keyword"
                },
                "position": {
                    "type": "keyword"
                },
                "team_name": {
                    "type": "text"
                }
            }
        }
    }
}

5.3、批量获取Mapping信息GET请求

请求

http://localhost:9200/blablabla,malamala/_mapping

响应

{
    "blablabla": {
        "mappings": {
            "properties": {
                "jerse_no": {
                    "type": "keyword"
                },
                "name": {
                    "type": "text"
                },
                "play_year": {
                    "type": "keyword"
                },
                "position": {
                    "type": "keyword"
                },
                "team_name": {
                    "type": "text"
                }
            }
        }
    },
    "malamala": {
        "mappings": {}
    }
}

5.4、获取所有Mapping信息第一种方式GET请求

请求

http://localhost:9200/_mapping

响应

{
    "blablabla": {
        "mappings": {
            "properties": {
                "jerse_no": {
                    "type": "keyword"
                },
                "name": {
                    "type": "text"
                },
                "play_year": {
                    "type": "keyword"
                },
                "position": {
                    "type": "keyword"
                },
                "team_name": {
                    "type": "text"
                }
            }
        }
    },
    "malamala": {
        "mappings": {}
    }
}

5.5、获取所有Mapping信息第二种方式GET请求

请求

http://localhost:9200/_all/_mapping

响应

{
    "blablabla": {
        "mappings": {
            "properties": {
                "jerse_no": {
                    "type": "keyword"
                },
                "name": {
                    "type": "text"
                },
                "play_year": {
                    "type": "keyword"
                },
                "position": {
                    "type": "keyword"
                },
                "team_name": {
                    "type": "text"
                }
            }
        }
    },
    "malamala": {
        "mappings": {}
    }
}

5.6、增加Mapping字段POST请求

Mapping 只可增加字段不可修改字段

请求

http://localhost:9200/blablabla/_mapping

请求体

{
	"properties":{	
		"name":{
			"type":"text"
		},
		"team_name":{
			"type":"text"
		},
		"position":{
			"type":"keyword"
		},
		"play_year":{
			"type":"keyword"
		},
		"jerse_no":{
			"type":"keyword"
		},
		"country":{  // 增加的国家字段
			"type":"keyword"
		}
	}
}

响应

{
    "acknowledged": true
}
Spring Boot如何集成Elasticsearch？
**My Coding Family**
04-27 884
🏆 本文精选收录于《滚雪球学SpringBoot》专栏，专为零基础学习者量身打造。从Spring基础到项目实战，手把手带你掌握核心技术，助力你快速提升，迈向职场巅峰，开启财富自由之路🚀！无论你是刚入门的小白，还是已有基础的开发者，都能在这里找到适合自己的学习路径！    🌟 关注、收藏、订阅，持续更新中！和我们一起高速成长，突破自我！💡
ElasticSearch分布式搜索引擎原理与代码实例讲解
AI天才研究院
07-08 1018
随着互联网数据量的爆炸性增长，传统关系型数据库在处理大规模、实时查询时显得力不从心。数据检索的需求迫切需要一种更高效、灵活且可扩展的解决方案。ElasticSearch应运而生，作为一款开源的分布式全文搜索与分析引擎，它具备强大的数据索引、全文搜索、分析和监控功能，广泛应用于日志搜索、文档检索、实时分析等领域。解析阶段: 解析查询请求，提取查询条件和参数。过滤阶段: 使用过滤器筛选出满足条件的文档。聚合阶段: 对筛选后的结果进行聚合统计，生成结果集。排序阶段: 根据排序规则对结果集进行排序。
搜索框架Elasticsearch概述
weixin_43816557的博客
09-04 1919
在大多数项目中，都会用到搜索功能，传统的都是想到用模糊查询，但模糊查询有个致命缺点，当数据量大时，数据库进行模糊查询效率严重低下，Elasticsearch主要是为了解决数据库模糊查询性能低下问题的。
搜索框架Elasticsearch
分享我的点点滴滴，在成长路上与你同行！
09-18 594
Elasticsearch详解:https://www.jianshu.com/p/28fb017be7a7 一、ES ES=elaticsearch简写， Elasticsearch是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。 Elasticsearch也使用Java开发并使用L...
OkraLong：一种灵活的增强检索框架用于长文本查询处理
最新发布
栖客
04-13 993
大型语言模型（LLMs）在高效处理长文本查询方面面临挑战，这在企业文档分析和财务报告理解等应用中尤为明显。尽管传统解决方案采用长上下文处理或检索增强生成（RAG），但它们要么输入成本过高，要么信息不完整。最近的进展采用了上下文压缩和动态检索循环，但仍牺牲了关键细节或产生了迭代成本。为了解决这些局限性，我们提出了OkraLong，这是一种新型框架，能够灵活优化整个处理工作流。与之前静态或粗粒度自适应策略不同，OkraLong通过三个协同组件实现细粒度协调：分析器、组织器和执行器。
ElasticSearch分布式搜索框架
weixin_53919192的博客
09-27 2439
本文为大家介绍了ElasticSearch分布式搜索框架，希望对你有帮助~~
Elastic Search框架（上篇，概述+入门语法+API+集群部署）
u011005040的博客
04-14 1449
ElasticSearch：对数据进行大量分析、分布式索引、监控&指标。
Elasticsearch学习，请先看这一篇！
热门推荐
铭毅天下Elasticsearch
08-18 23万+
题记：Elasticsearch研究有一段时间了，现特将Elasticsearch相关核心知识、原理从初学者认知、学习的角度，从以下9个方面进行详细梳理。欢迎讨论……0. 带着问题上路——ES是如何产生的？（1）思考：大规模数据如何检索？如：当系统数据量上了10亿、100亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题： 1）用什么数据库好？(mysql、sybase、oracle、达
ElasticSearch使用讲解
Java就是我的道！
01-09 1281
The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。Elaticsearch，简称为 ES，ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。
ElasticSearch分享ppt40页+.pptx
10-28
Lucene是ElasticSearch的基础，是一个始于1999年的Java搜索引擎库，2005年成为Apache顶级项目。由于Lucene仅支持Java且学习曲线较陡峭，Shay Banon在2004年创建了Compass，一个基于Lucene的高级框架。2010年，Shay ...
Elasticsearch入门+性能优化+环境配置+框架集成+集群进阶+ 最新Elasticsearch实战教程
09-05
├─elasticsearch-7.8.0-linux-x86_64.tar.gz ├─elasticsearch-7.8.0-windows-x86_64.zip ├─elasticsearch-analysis-ik-7.8.0.zip ├─elasticsearch-head-chrome-plugin.rar ├─kibana-7.8.0-windows-x86_64....
Lucene全文检索框架+Solr+ElasticSearch搜索引擎(Java高级必备.ES)
06-16
课程提供所有代码笔记素材以及答疑 1、Lucene框架的熟练应用实现类似百度、京东商城等应用的全文检索效果; 1、Solr简介 2、Solr下载安装以及目录结构介绍 3、Solr应用部署至Tomcat服务器 4、Solr后台管理界面介绍 5、通过managed-schema配置Field以及中文分词器 6、将数据库中的数据导入至Solr索引库 7、通过Solr后台管理界面对索引进行CRUD高亮过滤排序分页 8、通过Solrj实现索引的添加更新 9、通过Solrj实现索引的删除 10、索引的检索_过滤_高亮等操作 11、项目实战应用 12、Solr知识点总结 1、熟练掌握Lucene框架的使用，实现类似百度、京东商城等应用的全文检索效果; 2、ElasticSearch下载安装(window以及linux下安装) 3、集群环境搭建 4、客户端Kibana安装与使用 5、集群管理插件head安装使用 6、java api 操作 ES 7、电商项目实战应用等等 .....
Elasticsearch
qq_55682798的博客
08-15 1541
概念：用户输入想要的关键词，返回含有该关键词的所有信息。场景：1互联网搜索：谷歌、百度、各种新闻首页2站内搜索（垂直搜索）：企业OA查询订单、人员、部门，电商网站内部搜索商品（淘宝、京东）场景。...
搜索的基本框架
霜叶的博客
10-30 1517
1、搜索与推荐 用户从海量文本中获取信息主要通过两个途径，搜索和推荐；搜索和推荐的区别在于，搜索是通过输入一定的信息，获取对应的信息，是一个主动获取信息的过程。推荐则是app/web根据用户的历史行为数据，猜测用户的喜好，进行内容的推送。 2、搜索分类 2.1.搜索分类 一般搜索分为大搜和垂搜，大搜就是像百度、google、bing等对相关网页进行搜素。垂搜指的是某一领域的搜索，比如爱奇艺中的视频检索、淘宝的商品检索、贝壳的房子搜索等。 2.2、搜索基本模块 ...
窥探ElasticSearch（三）完整的搜索框架搭建（简单的搜索框架、ELK、FELK、FELK+kafka）
qq_35599414的博客
08-28 1422
这里主要介绍怎么搭建比较完整的搜索引擎框架，要知道es并不等于搜索引擎，真实的讲es是一个索引库(可以说是nosql)，搜索框架是分很多部分的： 数据源——数据同步(全量/增量)——数据处理/过滤——搜索引擎——接口访问 数据源：可能从mysql、mq、kafka、爬虫、程序代码等来源 数据同步：canal、mq、kafka等（增量即数据更新） 数据处理/过滤：转换成索引。大数据平台，hadoop，etl技术转换成索引。大数据平台，hadoop，etl技术 索引存储：es/solr...
在ElasticSearch之下（图解搜索的故事）
DPnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnnice的博客
04-27 1338
摘要先自上而下，后自底向上的介绍ElasticSearch的底层工作原理，试图回答以下问题：为什么我的搜索 *foo-bar* 无法匹配 foo-bar ？为什么增加更多的文件会压缩索引（Index）？为什么ElasticSearch占用很多内存？版本elasticsearch版本: elasticsearch-2.2.0内容图解ElasticSearch云上的集群集群里的盒子云里面的每个白色正方...
Elasticsearch与Solr 选型
weixin_30693683的博客
04-06 2268
搜索引擎选择： Elasticsearch与Solr 搜索引擎选型调研文档 Elasticsearch简介* Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。 它可以用于全文搜索，结构化搜索以及分析，当然你也可以将这三者进行组合。 Elasticsearch是一个建立在全文搜索引擎 Apache L...
第二十七章、搜索框架elasticsearch介绍(SpringBoot2.x)
荒的博客
01-10 364
搜索知识和搜索框架elasticsearch介绍 简介：通过京东电商 介绍什么是搜索引擎，和开源搜索框架ElasticSearch6.x新特性介绍 前言：介绍ES的主要特点和使用场景，新特性讲解 mysql：like 模糊，性能问题, solr:针对企业，Lucene elasticsearch：针对数据量特别大，PB,T...
搜索框架ElasticSearch介绍和整合SpringBoot
m0_37657725的博客
02-25 543
搜索知识和搜索框架elasticsearch6.x新特性介绍 前言：介绍ES的主要特点和使用场景，新特性讲解 mysql：like 模糊，性能问题,solr:针对企业，Luceneelasticsearch：针对数据量特别大，PB,TB 纯java开发，springboot使用，5.6版本 es升级4->5版本，改动大，但是5版本后，改动不大 elasticSearch主要特点 ...
Elasticsearch讲解
06-13
Elasticsearch 是一个开源的分布式搜索引擎，它基于 Lucene 框架构建，专为大规模数据（如日志、文档、数据库记录等）提供实时搜索和分析功能。它支持全文搜索、复杂查询、实时聚合和地理位置索引等功能，常用于构建实时的、可扩展的数据检索平台。 1. 功能特点： - 实时搜索：Elasticsearch 提供快速的实时搜索能力，数据添加后几乎可以立即搜索。 - 分布式架构：通过集群化，Elasticsearch 可以轻松处理海量数据和高并发请求。 - 高度可扩展：添加节点以增加存储和处理能力。 - 集成丰富：可以与各种编程语言和生态系统无缝集成，如 Java、Python、Node.js 等。 2. 工作原理： - 增量索引：Elasticsearch 支持实时更新数据，新数据会被自动添加到索引中。 - 分片和复制：数据被切分为多个分片，提高并行处理性能，同时通过复制机制保证数据的可用性和容错性。 3. 使用场景： - 日志分析：收集和搜索服务器日志、应用日志等。 - 内容管理系统：快速全文搜索和内容推荐。 - 数据分析：实时聚合和可视化业务数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

武天旭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值