yangmf2040-CSDN博客

原创私有知识库 Coco AI 实战（八）：数据脱敏

本文介绍了使用Easysearch实现数据脱敏的方法，通过角色权限配置，让不同权限用户看到不同信息。文章以HR简历搜索为例，展示了如何为低权限用户隐藏候选人姓名等敏感信息。具体步骤包括：1）创建模拟简历数据；2）设置脱敏角色并使用正则表达式定义脱敏规则；3）创建新用户并赋予脱敏角色；4）修改CocoServer配置使用新用户。最终实现高权限用户查看原始数据，低权限用户查看脱敏后数据的效果。

2025-05-25 13:31:33 351

原创私有知识库 Coco AI 实战（七）：摄入本地 PDF 文件

本文介绍了一个Python程序，用于自动处理本地PDF文件并上传至CocoServer。程序主要功能包括：1.读取PDF文件内容并分页处理；2.自动检查并创建必要的connector和datasource；3.通过API将PDF内容发送至CocoServer；4.支持批量处理指定目录下的所有PDF文件。用户需要修改程序中的token、服务器地址和PDF目录路径等配置参数。该方案可实现本地PDF内容的便捷管理和检索，通过CocoServer的API接口实现数据上传。

2025-05-25 10:08:55 596

原创私有知识库 Coco AI 实战（六）：打造 ES Mapping 小助手

开发同学可能经常和字段类型打交道，数据类型本来就不少，新版本可能还有新的数据类型。更重要的是新的字段类型可能会提升某个场景的性能，不知道的话可就亏大发了。所以我们继续打造一个 ES Mapping 小助手。

2025-04-30 10:49:16 361

原创私有知识库 Coco AI 实战（五）：打造 ES 新特性查询助手

有了的经验，再打造个 ES 新特性查询助手就非常简单了。新的小助手使用的数据还是 ES 官方文档，模型设置也可沿用上次小助手的设置。

2025-04-30 10:48:06 467

原创如何防止 ES 被 Linux OOM Killer 杀掉

当 Linux 系统内存不足时，内核会找出一个进程 kill 掉它释放内存，旨在保障整个系统不至于崩溃。如果 ES 按照最佳实践去实施部署，会保留一半的内存，不至于发生此类事情。但事情总有例外，有的朋友可能 ES 和其他的程序部署在一起，当主机内存不足时，那么 ES 很有可能会被内核 Kill 掉。

2025-04-29 18:37:05 646

原创私有知识库 Coco AI 实战（四）：打造 ES 索引参数小助手

经过前面的，我们已经能够快速、准确的检索 ES 官方文档的内容了，但是还是要自己去阅读。既然 Coco AI 能与大模型交互，我们何不直接用大模型来阅读文档，回答我们的问题？

2025-04-29 18:34:31 1171

原创私有知识库 Coco AI 实战（三）：摄入 Elasticsearch 官方文档

相信经常使用 Elasticsearch 的小伙伴，难免要到 ES 官网查找资料，文档内容多难以查找不说，还有很多个版本，加上各种生态工具如 Filebeat、Logstash 头就更大了。今天我来介绍如何使用 Coco AI 快速搜索 Elasticsearch 官方文档。在之前的文章中，我们介绍了如何将 MongoDB 数据摄入到Coco AI 中实现检索，感兴趣的小伙伴可以点查看。在之前的文章中，我们介绍过通过爬虫程序爬取 Blog 数据写入 Easysearch 集群的方法，详情请戳。

2025-04-23 23:32:43 684

原创私有知识库 Coco AI 实战（二）：摄入 MongoDB 数据

在之前的文章中，我们介绍过如何使用，既然 Coco AI 后台数据存储也使用 Easysearch，我们能否直接把 MongoDB 的数据迁移到 Coco AI 的 Easysearch，使用 Coco AI 对数据进行检索呢？

2025-04-23 14:14:04 526

原创使用 Logstash 迁移 MongoDB 数据到 Easysearch

大家好！在前面的文章中，我们已经详细介绍了如何通过和工具实现 MySQL 数据向 Easysearch 的迁移。如果您正在使用 MongoDB 作为数据存储，并希望将其数据迁移到 Easysearch 中，这篇指南或许能为您提供一些帮助。为了实现 MongoDB 与 Easysearch 之间的数据迁移，Logstash 依然是一个非常成熟稳定的工具选择。在接下来的内容中，我们将介绍如何利用 Logstash 实现 MongoDB 到 Easysearch 的数据迁移。

2025-04-21 23:16:01 416

原创私有知识库 Coco AI 实战（一）：Linux 平台部署

是一个完全开源、跨平台的统一搜索和生产力工具，能够连接各种数据源，包括应用程序、文件、Google Drive、Notion、Yuque、Hugo 等，帮助用户快速智能地访问他们的信息。通过集成 DeepSeek 等大型模型，Coco AI 实现了智能个人知识管理，并支持私有部署。

2025-03-31 23:17:55 424

原创 Easysearch 索引备份之 Clone API

在日常运维 Easysearch 的过程中，备份数据是一项重要工作。为了确保数据安全和业务连续性，我们可能需要了解并掌握多种备份索引的方法，以便应对不同的场景。我们先梳理下常用的备份方法有哪些。

2025-03-31 22:44:31 1172

原创 Easysearch 迁移数据之 Reindex From Remote

本次主要测试从远程集群索引数据，reindex 还有很多其他使用方式，详情请参考官方文档。Easysearch 版本：1.10.0，监听 localhost:9200Elasticsearch 版本：6.8.23，监听 localhost:9201INFINI Console 版本：1.25.1（运行 reindex 命令用）针对临时数据量不大的场景可尝试使用 reindex 迁移数据。

2025-03-31 22:43:00 560

原创 Easysearch 如何短暂维护 Data 节点

之前介绍过如何移除 Data 节点，那么如果只是短暂停止一个 Data 节点进行维护，之后再次加入集群，是否也需要按照移除节点的步骤进行操作呢？我们先梳理下核心原理。

2025-03-31 22:37:37 286

原创 Easysearch 移除 Data 节点注意事项

之前介绍过 Easysearch 移除 Master 节点注意事项，感兴趣的小伙伴可以点此。本篇继续介绍移除 Data 节点注意事项，帮助运维人员最大限度降低操作的影响。

2025-03-28 15:39:29 345

原创 Easysearch 索引生命周期管理实战

如果你的使用场景是对时序型数据进行分析，可能你会更重视最新的数据，并且可能会定期对老旧的数据进行一些处理，比如减少副本数、forcemerge、删除等。Easysearch 的索引生命周期管理功能，可以自动完成此类索引的管理任务。

2025-03-18 23:07:12 724

原创 Easysearch 自动备份：快照生命周期管理

⚠️注意：虽然指定只保留最近两个快照，但因为创建和删除其实是两个独立的任务，所以会短暂出现存在 3 个快照的现象，等删除任务调度一次就会删除多余的快照了。Easysearch 还提供了快照生命周期管理，能够按照策略自动创建、删除快照，极大地方便了用户的日常管理。比如，计划每 2 分钟对索引 .infini_metrics-00001 创建一个快照，并且只保留最近的 2 个快照。快照生命周期创建的快照名称格式为 <policy _ name>-<date>-<Random number>。

2025-03-15 16:47:47 382

原创 Easysearch 移除 Master 节点注意事项

Easysearch 采用智能化的动态投票配置管理机制，当集群节点发生增删变更时，系统会自动调整投票集合配置，以确保集群的高容错性。在选举新的 Master 节点或提交集群状态变更时，系统会根据当前集群状态，动态确定参与投票的 Master-eligible 节点集合并进行计数，确保决策过程的高效性和可靠性。

2025-03-14 01:31:58 911

原创 Easysearch S3 备份实战

Easysearch 内置了 S3 插件，这意味着用户可以直接使用该功能而无需额外安装任何插件。通过这一内置支持，用户能够方便快捷地执行 Amazon S3 上的数据快照操作。这种设计不仅简化了配置流程，也提高了工作效率，使得数据备份或迁移等任务变得更加简单易行。对于需要频繁与 S3 存储服务交互的应用场景来说，这是一个非常实用且高效的功能特性。

2025-03-10 14:55:24 447

原创直播：Coco AI 深度解析

Coco AI 是一个完全开源、跨平台的统一搜索和生产力工具，能够连接并搜索各种数据源，包括应用程序、文件、Google Drive、Notion、Yuque、Hugo 等，本地和云端的资源。通过集成 DeepSeek 等大型模型，Coco AI 实现了智能个人知识管理，强调隐私并支持私有部署，帮助用户快速智能地访问他们的信息。项目目前已开源，欢迎大家一起打造更加强大、智能的 Coco AI！官方网站:仓库地址:开源智能搜索与知识库管理，极限科技 Coco AI 产品介绍。

2025-03-07 11:14:49 1096

原创如何使用 Grafana 连接 Easysearch

Grafana 是一款开源的跨平台数据可视化与监控分析工具，专为时序数据（如服务器性能指标、应用程序日志、业务数据等）设计。它通过直观的仪表盘（Dashboards）帮助用户实时监控系统状态、分析趋势，并支持告警功能，是 DevOps、运维团队和数据分析师的重要工具。目前 Grafana 已经支持使用 Elasticsearch 作为数据源，由于 Easysearch 兼容 Elasticsearch 的 API，所以Grafana 也可使用 Easysearh 作为数据源。

2025-03-05 00:14:28 413

原创 Coco AI 一站式企业搜索与 AI 中心

熟悉我们的朋友都知道，此前我们曾基于 Easysearch 和 LLM 构建过，但那只是一个初步尝试，尚未形成一个完整的产品。如今，正式登场！我们以开源、开放的理念，诚挚邀请您一同参与这个项目的共建与成长。

2025-02-21 21:50:38 621 2

原创代理 Elasticsearch 服务：INFINI Gateway VS Nginx

INFINI Gateway 是一款面向 Elasticsearch 的高性能应用网关，专为提升 Elasticsearch 集群的性能、安全性和可管理性而设计。它作为 Elasticsearch 的前置网关，能够处理所有客户端请求，并将其转发到后端的 Elasticsearch 集群，同时提供丰富的功能来优化请求处理和管理。此外还支持代理 Opensearch、Easysearch 服务。

2025-02-19 09:47:43 965

原创使用 Nginx 代理 Easysearch 服务

Nginx 是一个高性能的 HTTP 服务器和反向代理服务器，广泛用于负载均衡、缓存、SSL 终端和服务代理等场景。本篇将尝试使用 Nginx 代理 Easysearch 服务，方法同样适用于 Elasticsearch 和 Opensearch。

2025-02-18 16:14:18 400

原创使用 INFINI Gateway 保护 Elasticsearch 集群之修改查询不合理参数（二）

本文将探讨如何使用 INFINI Gateway 修改查询不合理的参数，此方法同样适用于 Opensearch 和 INFINI Easysearch。在之前的中，我们介绍了如何使用 request_body_json_set 处理器修改不合理的查询参数，本篇将继续探讨如何使用 request_body_regex_replace 处理器修改不合理参数。试想一下有下面两种查询，如果只想修改第二个查询的 size 到 10 该如何做？

2025-02-15 10:04:47 585

原创引爆知识革命！Easysearch 携手 DeepSeek 打造下一代智能问答系统

去年我们尝试过使用 Easysearch +千问 2 大模型打造一个，今年又有更加给力的大模型出现了--DeepSeek，性能对标 OpenAI o1 正式版。而且 Easysearch 对比去年也有了不少进步，是时候让我们升级下问答系统了。

2025-02-14 21:49:53 483

原创使用 INFINI Gateway 保护 Elasticsearch 集群之修改查询不合理参数（一）

本文将探讨如何使用 INFINI Gateway 修改查询不合理的参数，此方法同样适用于 Opensearch 和 INFINI Easysearch。在之前的中，我们介绍了如何阻断不合理的查询。有些不合理查询是本身就非常消耗资源，比如模糊查询、嵌套聚合等。还有些不合理查询是因为指定了不合理的参数导致非常消耗资源，比如深度分页、profile 查询等。

2025-02-14 10:06:42 695

原创 Easysearch 节点磁盘不足应对方法

Easyearch 为了防止索引将磁盘空间完全占满，使用磁盘水位线进行磁盘空间控制。之前有提过不同水位线的作用，以及如何使用 INFINI Console 提前进行告警，提前进行处理。本篇主要探讨提前处理的情况。

2025-02-08 09:30:32 388

原创 Easysearch 磁盘水位线注意事项

INFINI Easyearch 为了防止索引将磁盘空间完全占满，使用磁盘水位线进行磁盘空间控制。具体来说有三条磁盘水位线：low、high、flood。

2025-02-05 22:27:14 324

原创使用 INFINI Gateway 保护 Elasticsearch 集群之限制请求至协调节点

本文将探讨如何使用 INFINI Gateway 限制仅向 Elasticsearch 集群的协调节点转发请求。此方法同样适用于 Opensearch 和 INFINI Easysearch。Elasticsearch 是天然分布式的系统，任何节点都能接收请求并进行处理。一个稍具规模，经过规划的 Elasticsearch 集群，会有不同角色的专属节点，比如专属的 master 节点、data 节点、协调节点等。为了保障集群稳定，一般建议将查询发送到集群的协调节点，避免将请求发送 master 节点。

2025-01-25 19:26:23 1016

yangmf2040的博客