
非关系型数据库
文章平均质量分 93
NoSQL
TracyCoder123
人的某些烦恼源于书读的太少而想的太多
展开
-
ElasticSearch深入解析(十):字段膨胀(Mapping 爆炸)问题的解决思路
最小化动态映射核心业务字段必须显式定义。动态字段使用Flattened类型或Runtime字段。分层处理数据将稳定字段与动态字段分离存储。对高频查询的动态字段,通过预定义映射。性能压测验证在模拟环境中测试字段数对写入、查询、聚合的影响。确保配置调整后性能指标符合预期。自动化运维使用索引模板(Index Templates)统一管理映射。结合 Logstash 或 Beats 在数据摄入阶段清洗字段。原创 2025-05-03 14:39:57 · 924 阅读 · 0 评论 -
ElasticSearch深入解析(九):Object、Nested、Flattened类型
Elasticsearch 作为面向文档的搜索引擎,对嵌套数据的处理有多种方式,不同类型适用于不同的业务场景。Elasticsearch 中,JSON 文档的嵌套对象(如 )会被默认映射为 。其底层通过 字段扁平化 实现索引:将嵌套对象的字段展开为 的形式(如 、),存储为独立的字段。适用于 简单嵌套对象,且不需要对嵌套对象内部字段进行 关联查询 的场景。例如:此时 是一个简单对象,若只需查询 或 的独立值(不关心是否属于同一作者),Object 类型足够。当嵌套对象是 数组 时(如一个用户有多个原创 2025-05-03 14:28:18 · 740 阅读 · 0 评论 -
ElasticSearch深入解析(八):索引设置、索引别名、索引模板
Elasticsearch 7.8及之后版本支持两种定义模板的方式,可简记为普通模板定义方式和组件模板新增/创建方式。PUT _index_template/<template_name> # 模板名称(唯一)"index_patterns": ["logs-*", "metrics-*"], # 匹配的索引名模式(支持通配符)"priority": 100, # 模板优先级(高优先级覆盖低优先级)"template": { # 新索引的配置内容。原创 2025-05-02 17:20:55 · 995 阅读 · 0 评论 -
ElasticSearch深入解析(七):数据类型与回复体
Elasticsearch 是一个分布式的搜索和分析引擎,适用于需要快速搜索大量数据的应用场景。当向 Elasticsearch 发送请求(例如搜索或索引操作)时,它会返回一个 JSON 格式的响应体。这个响应体包含了关于请求结果的详细信息。在 Elasticsearch 中,文档(Document)是最小的数据单元,每个文档都是 JSON 格式的数据。为了有效地索引和搜索这些文档,Elasticsearch 定义了多种数据类型来表示文档中的字段。原创 2025-05-02 14:43:29 · 668 阅读 · 0 评论 -
ElasticSearch深入解析(六):集群核心配置
NIOFS(非阻塞文件系统)通常指基于非阻塞I/O(Non-blocking I/O)技术实现的文件系统或文件操作机制,其核心特点是允许在文件读写等操作过程中无需等待操作完成,即可继续处理其他任务,从而提升系统在高并发场景下的效率。mmapfs并非独立的物理文件系统,而是一种通过内存映射(Memory Mapping)技术实现的文件操作机制。它将磁盘文件的内容直接映射到进程的虚拟地址空间,使应用程序能像访问内存一样读写文件,无需显式执行I/O系统调用(如readwrite。原创 2025-04-29 21:15:00 · 898 阅读 · 0 评论 -
ElasticSearch深入解析(五):如何将一台电脑上的Elasticsearch服务迁移到另一台电脑上
Elasticsearch dump是一个用于将Elasticsearch索引数据导出为JSON格式的工具。你可以使用Elasticsearch dump通过命令行或编程接口来导出数据。将源电脑导出的插件放置到目标电脑的es的安装目录的plugins文件夹下。插件存放在安装目录下的plugins文件夹中。一个插件对应一个子文件夹。在目标电脑上安装同版本的Elasticsearch。拷贝原来的elasticsearch.yml配置。原创 2025-04-28 18:42:02 · 663 阅读 · 0 评论 -
ElasticSearch深入解析(四):ElasticSearch 8.X的节点角色划分
在分布式搜索与数据分析场景中,合理的节点角色划分是 ElasticSearch 8.x 集群高效运行的核心架构设计。本文深度解析 ElasticSearch 8.x 全新的节点角色体系,通过node.roles参数的精细化配置,帮助开发者理解如何通过功能分离提升集群稳定性与资源利用率。以Elasticsearch 8.X版本集群为例,如果我们不手动设置节点角色,则默认节点角色为cdfhilmrstw:当集群规模比较大之后(比如集群节点数大于6个),就需要手动设定、配置节点角色。原创 2025-04-28 18:39:44 · 959 阅读 · 0 评论 -
ElasticSearch深入解析(三):Elasticsearch 7的安装与配置、Kibana安装
Elasticsearch是一个提供可扩展的企业级搜索服务的工具。它主要提供了大数据搜索和分析服务。相较于传统的关系数据库,Elasticsearch具有更高的性能、易扩展性和良好的容错性。传统的关系数据库在处理大数据时存在明显的短板,主要表现在性能差和扩展难的问题上。即使采用一定的方法去优化SQL,查询速度依然可能很慢,而关系数据库的集群搭建也不太容易,查询性能在很多业务场景中依然没有保障。相较于关系数据库,Elasticsearch存在几个明显的优点:高性能、易扩展和良好的容错性。原创 2025-04-23 23:15:00 · 1003 阅读 · 0 评论 -
ElasticSearch深入解析(二):核心概念
当某主分片所在的数据节点不可用时,会导致主分片丢失现象,若短时间内不对此采取补救措施,集群会将该分片对应的副本提升为新的主分片。与关系型数据库不同的是,Elasticsearch的一个字段可以设定两种或两种以上的数据类型,通过定义multi-field来灵活地满足复杂的业务需求。键是字段的名称,值是不同数据类型的字段。有了倒排列表,当检索“chatgpt”时,就无须对逐个文档进行扫描,而可以借助倒排索引锁定ID为1、2、3、4的文档,实现以O(1)的时间复杂度快速召回数据,达到快速响应的目的。原创 2025-04-23 13:28:56 · 723 阅读 · 0 评论 -
ElasticSearch深入解析(一):Elastic Stack全景
Elastic数据平台在和等场景中的应用颇具亮点。APM(Application Performance Management,应用性能管理)是一种用于监控和管理软件应用程序性能与可用性的技术框架,旨在帮助企业确保应用程序高效运行、快速定位性能瓶颈,并优化用户体验。Elastic公司经过两年精心研发,推出了一个全新特性ESRE(Elasticsearch Relevance Engine,最早发布于Elasticsearch 8.8版本)。它是一款基于AI的搜索引擎,实现开箱即用的卓越语义搜索。原创 2025-04-22 22:00:00 · 1023 阅读 · 0 评论 -
ElasticSearch深入解析(十三):相关性评分
TF-IDF(Term Frequency-Inverse Document Frequency,词频-逆文档频率)是一种常用的统计方法,用于评估一个词对文档或语料库的重要程度。TF (Term Frequency, 词频):一个词在文档中出现的频率。IDF (Inverse Document Frequency, 逆文档频率):一个词在整个文档集合中出现的频率的倒数,用来衡量这个词的独特性。原创 2024-11-01 11:17:06 · 1480 阅读 · 0 评论 -
ElasticSearch深入解析(十二):分词
Elasticsearch 的分析过程是将文本数据转换成适合搜索的形式的关键步骤。这一过程主要包括四个阶段:字符过滤、分词、词条过滤和词条索引。描述:用户可以根据需要组合不同的分词器、字符过滤器和词条过滤器来创建自定义分析器。示例。原创 2024-10-30 11:02:48 · 925 阅读 · 0 评论 -
ElasticSearch深入解析(十一):查询和过滤器
在 Elasticsearch 中,查询(Query)和过滤器(Filter)是用于检索和筛选数据的重要组成部分。它们虽然都能用来查找文档,但在性能和用法上有所不同。下面详细介绍查询和过滤器的概念以及它们之间的区别。原创 2024-10-23 13:49:51 · 1623 阅读 · 0 评论