Elastic Search 8.9：与 RRF 的混合搜索、更快的向量搜索和面向公众的搜索端点

已于 2023-09-05 10:39:08 修改
阅读量2.7k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Elasticsearch Elastic AI 文章标签： 运维 elasticsearch 大数据 全文检索 人工智能
于 2023-07-30 14:22:56 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/UbuntuTouch/article/details/132004546
ElasticSearch8.9版本推出了混合搜索功能，结合倒数排名融合(RRF)，允许用户结合向量、关键字和语义检索技术。此外，版本还提升了向量搜索性能，加快了30%以上的响应时间，并引入了SharePointOnline连接器，支持文档级安全性。ElasticSearch8.9还提供了公共搜索应用程序测试版，允许创建面向公众的搜索端点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

作者：Nick Chow, Dana Juratoni, Gilad Gal

Elastic Search 8.9 引入了带有倒数排名融合 (RRF) 的混合搜索，以结合向量、关键字和语义技术以获得更好的结果。 此版本还提高了向量搜索和摄取的性能，响应时间加快了 30% 以上。 用户还可以通过新的 SharePoint Online 连接器获得更多摄取选项，其中包括文档级安全性。 此外，8.9 还通过搜索应用程序测试版为你的 Elasticsearch® 索引带来了新的公共搜索端点。

这些新功能允许用户：

  • 通过轻松添加多种检索技术来改善搜索结果
  • 通过文档级安全性快速获取 SharePoint Online 数据
  • 创建面向公众的搜索端点

Elastic Search 8.9 现已在 Elastic Cloud 上推出，这是唯一包含最新版本中所有新功能的托管 Elasticsearch 产品。 你还可以下载 Elastic Stack 和我们的云编排产品 Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes，以获得自我管理的体验。

Elastic 8.9 中还有哪些新功能？ 查看 8.9 公告帖子了解更多>>

具有倒数排名融合 (RRF) 的混合搜索结合了多种搜索技术以获得更好的结果

Elasticsearch 用户越来越多地使用不同类型信息的搜索检索 — BM25 用于文本，向量搜索用于密集向量。 混合搜索技术通常会提供更好的结果：对多个 BIER 数据集进行基准测试显示，结合 BM25 和基于 ELSER 的排名时，相关性有所提高，现在用户甚至可以更轻松地组合所有这些检索方法。 在 8.9 中，使用倒数排名融合 (RRF) 的混合搜索现在允许用户组合来自以下任意组合的搜索：

它开箱即用，无需规范化或配置权重，因此你可以快速、无缝地将向量或语义搜索与 Elastic Learned Sparse Encoder 模型合并到现有搜索体验中。 RRF 可作为 Platinum+ 用户的技术预览版。 在文档中了解有关 RRF 的更多信息。

加速向量硬件指令

在 8.9 中，我们利用了一个正在孵化的 Java API（Panama vector API），它允许使用本机指令 (SIMD) 来显着提高向量计算的性能。 这使得 HNSW (kNN) 和暴力（brute force）搜索的向量搜索和向量索引性能提高了 30% (!)。 请注意，这在支持它的 CPU 上是可能的。

查看我们的每天基准测试中的性能改进示例。

为了进一步改善暴力向量搜索中的查询延迟，我们将向量中浮点元素的编码从大端改为小端。 这一变化带来了更快的解码速度，从而使暴力向量搜索的查询延迟显着降低了百分之几十。 这些改进在最重要的较慢搜索中尤其显着，其中改进可以达到大约 50% 的时间。 此改进是由于使用上述 Panama API 而带来的性能改进。

使用新的连接器和功能轻松摄取

用户可以直接从更多数据源提取数据到 Elasticsearch 中。 8.9 版中普遍为 Platinum+ 用户提供了新的 SharePoint Online 连接器，该连接器具有改进的性能、细粒度权限的文档级安全性、提高数据新鲜度的增量同步选项以及大文件的本地二进制内容提取。

新的 ServiceNow 和 Dropbox 连接器客户端现已推出测试版。 这些连接器客户端使客户能够集成更多的专有数据源，同时从该版本开始，以下连接器在 Elastic Cloud 上原生提供：Azure Blob Storage、Atlassian Confluence Cloud & Server、Atlassian Jira Cloud & Server 以及 Network Drive。

查看可用原生连接器和连接器客户端的完整列表。

使用搜索应用程序创建可公开访问的搜索端点

8.9 通过 public search API 为 Platinum+ 用户引入了搜索应用程序测试版，因此用户现在可以为其 Elasticsearch 索引创建面向公众的搜索端点。 _applications/search-application/<app-name>/_search 端点仅允许关联搜索模板中定义的查询，因此你无需在客户端和 Elasticsearch 部署之间使用直通查询系统即可提供搜索。

然后，当与使用新 API 密钥 “search_application_query” 工作流角色限制的仅限公共搜索端点的 API 密钥配对时，搜索应用程序可用于创建可公开访问的搜索，该限制提供对搜索应用程序端点的只读访问。 使用新的搜索应用程序 Javascript 客户端，开发变得更加容易！

试试看

请阅读发布说明，并了解这些功能以及更多信息。

现有 Elastic Cloud 客户可以直接从 Elastic Cloud 控制台访问其中许多功能。 没有利用云上的 Elastic？ 开始免费试用。

本文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。 当前不可用的任何特性或功能可能无法按时交付或根本无法交付。

原文：Elastic Search 8.9: Combine vector, keyword, and semantic retrieval with hybrid search | Elastic Blog

博客
Elastic 线下 Meetup 将于 2025 年 7 月 27 号下午在深圳举行
07-01 1210
2025ElasticMeetup深圳站将于7月27日在腾讯滨海大厦举行，聚焦AI驱动搜索技术前沿。活动邀请Elastic、腾讯云等专家分享向量搜索、RAG技术演进、百亿级AISearch优化实践等议题，涵盖搜索智能化、多模态检索、日志系统应用等热点。刘晓国、陈曦等资深技术人将深入解析行业趋势，活动还设有茶歇交流及抽奖环节。需提前实名报名并验证入场。
博客
Elastic：如何成为一名 Elastic 认证工程师，Elastic 认证分析师及 Elastic 认证可观测性工程师
10-28 2万+
Elasticsearch 无疑是是目前世界上最为流行的大数据搜索引擎。根据 DB - Engines 的统计，Elasticsearch 雄踞排行榜第一名，并且市场还在不断地扩大：能够成为一名 Elastic 认证工程师也是很多开发者的梦想。这个代表了 Elastic 的最高认证，在业界也得到了很高的认知度。得到认证的工程师，必须除了具有丰富的 Elastic Stack 知识，而且必须有丰富的操作及有效的解决问题的能力。拥有这个认证证书，也代表了个人及公司的荣誉。针对个人的好处是，你可以..
博客
Elastic：开发者上手指南
02-25 16万+
你们好，我是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。我们可以按照如下的步骤来学习：1)Elasticsearch简介：对Elasticsearch做了一个简单的介绍2)Elasticsearch中的一些重要概念:cluster,n..........................................................
博客
Elastic：培训视频 - ​在生产环境中配置 Fleet Server 和 Elastic Agent 之间的安全
01-06 1万+
在这篇文章中，我将会把我写的有些内容录制成视频，供大家参考。希望对大家有所帮助。优酷的视频频道地址在这里。Elastic 简介及Elastic Stack 安装：优酷，腾讯 Elastic Stack docker 部署：优酷，腾讯 Elasticsearch中的一些重要概念（Cluster/Shards/Replica/Document/Type/Index）：优酷，腾讯 开始使用El...............
博客
Elasticsearch 简介
08-08 17万+
Elasticsearch是一个非常强大的搜索引擎。它目前被广泛地使用于各个IT公司。Elasticsearch是由Elastic公司创建并开源维护的。它的开源代码位于https://github.com/elastic/elasticsearch。同时，Elastic公司也拥有Logstash及Kibana开源项目。这个三个开源项目组合在一起，就形成了 ELK软件栈。他们三个共同形成了一个强大的...
博客
Elasticsearch：使用 Significant Terms Aggregation 识别被盗信用卡的常见交易
07-08 263
使用 Significant Terms Aggregation 识别被盗信用卡的常见交易。
博客
揭示独特模式：Elasticsearch 中 significant terms 聚合指南
07-08 862
摘要：Elasticsearch的significantterms聚合功能能够通过统计分析方法发现数据中非显而易见的有价值洞察。与普通terms聚合不同，它会比较子数据集与整体数据集的词项分布，识别出统计上显著异常的关联模式。文章通过手机销售数据分析的具体案例，展示了如何发现不同职业群体对iPhone16的独特偏好，以及如何结合语义搜索识别与"good performance"评价显著相关的机型。这种聚合方法在消费者行为分析、欺诈检测、质量评价等多个领域都有重要应用价值，能够揭示数据背后
博客
使用 collapse 和 cardinality 实现高效分页在 Elasticsearch 中
07-05 853
本文介绍了在Elasticsearch中使用collapse功能对产品变体进行分组时遇到的分页挑战。通过示例展示了如何将collapse与cardinality聚合结合使用，以获取真实的唯一分组数量，从而解决分页问题。文章指出，单独使用collapse时返回的hits.total.value反映的是原始文档数量而非分组后数量，会导致分页显示错误。解决方案是在collapse查询中添加针对相同字段的cardinality聚合，准确计算唯一值数量，实现可靠分页。这种方法特别适用于电商等需要展示产品变体的场景。
博客
APM 最佳实践：从业者指南中的注意事项与禁忌
07-04 648
《高效应用性能管理（APM）实践指南》摘要 应用性能管理（APM）是现代软件系统维护的关键实践，通过持续监控应用程序的前后端性能，确保业务连续性和用户体验。本文系统性地阐述了APM的核心原则、实施策略和最佳实践。 核心要点包括： 现代APM需整合追踪（traces）、指标（metrics）和日志（logs）三类数据，采用自动检测与关键业务手动检测相结合的方案； 有效策略应包含性能监控、错误跟踪、基础设施监控和用户体验指标四个维度； 实施时应遵循端到端可见性、实时监控、以用户为中心等原则，避免过度检测（建议控
博客
Elasticsearch：异常检测入门
07-03 715
本文介绍了在Elastic Stack 9.0.2中使用机器学习进行异常检测的实践方法。通过Kibana自带的示例数据，展示了如何创建三种不同类型的异常检测作业：单指标作业、多指标作业和群体作业。文章详细讲解了数据探索、作业配置、结果分析等关键步骤，并演示了如何使用SingleMetricViewer和AnomalyExplorer工具查看检测结果。此外，还介绍了利用机器学习模型进行未来行为预测的方法。整个过程突出了机器学习在运维场景中的价值，能够自动识别异常事件，减轻人工监控负担，帮助运维人员提前发现潜在
博客
祝贺我们首批通过 Elastic 认证的生成式 AI 销售合作伙伴
07-02 948
摘要：Elastic推出生成式AI合作伙伴认证计划，首批认证的合作伙伴包括GIOS、KPMG等6家欧洲和中东企业。这些合作伙伴已完成严格的ElasticAI培训，具备开发RAG解决方案等能力。Elastic通过向量数据库和AI集成，简化企业AI应用开发流程。认证合作伙伴将帮助客户克服AI试点到规模化应用的挑战，提供专业技术支持和创新方案。Elastic强调合作伙伴在推动AI解决方案落地中的关键作用，同时提醒用户注意第三方AI工具的数据安全风险。（149字）
博客
使用 JavaScript、Mastra 和 Elasticsearch 构建一个具备代理能力的 RAG 助手
07-02 1131
​在这篇文章中，我们将探索如何使用 Mastra 和一个轻量级的 JavaScript Web 应用来构建一个具备代理能力的 RAG 助手，并与它进行交互。通过将这个代理连接到 Elasticsearch，我们为它提供了访问结构化球员数据的能力，并能执行实时统计聚合，从而为你提供基于球员数据的推荐。前往 GitHub 仓库查看详情；README 文件提供了如何克隆并在本地运行该应用的说明。
博客
Elastic 构建 Elastic Cloud Serverless 的历程
07-01 661
摘要：Elastic团队分享了构建Elastic Cloud Serverless无服务器平台的经验。该平台通过云原生架构重构，将Elastic Stack从有状态系统转变为按需扩展的无服务器服务，利用对象存储替代本地磁盘，并采用Kubernetes实现跨云部署。文章详细介绍了架构演进、性能优化、自动扩缩容机制和定价模型设计，强调通过解耦搜索/索引层、减少API调用等技术突破，在AWS/GCP/Azure三大云上实现了高可用性。平台采用细胞式架构确保韧性，并通过统一控制平面管理分布式资源，最终实现了运维简化
博客
Elasticsearch 排序性能提升高达 900 倍
07-01 1062
Elasticsearch 9.0.1和即将发布的9.1版本大幅提升了排序性能，float/half_float排序速度提升83-920倍，integer排序延迟改善41-531倍。优化采用BKD树与distance查询结合的新方法，通过跳过无效数据块显著提高效率。这些改进已应用于Elastic Cloud Serverless，并回溯至8.19版本。性能提升在NYCTaxis和http_logs基准测试中得到验证，将大幅降低Observability、Security等场景的搜索延迟和基础设施成本。Ela
博客
你以为 Elastic 只做 SIEM？再好好想想！
06-28 1001
Elastic重新定义XDR安全防护，通过收购Endgame技术深度整合EDR能力，打造原生统一的安全平台。该方案突破传统EDR的数据处理瓶颈，支持PB级端点、网络、云端数据的实时关联分析，提供跨厂商的无缝防护。平台包含获奖级恶意软件防护、勒索软件防御和行为检测能力，支持Windows/macOS/Linux全平台。创新采用"数据湖"付费模式，仅按实际使用数据计费，包含无限端点授权。通过开源检测规则、AI辅助分析和自动故障排查等功能，实现透明化安全运营。在AV-Comparatives测
博客
使用 Elasticsearch 构建一个用于真实健康数据的 MCP 服务器
06-27 998
摘要：本文介绍了如何使用FastMCP框架和Elasticsearch构建一个MCP（Model Context Protocol）服务器来管理和分析Apple Health健康数据。文章详细讲解了MCP的三个核心组件（Resources、Tools和Prompts）的实现方法，展示了如何将Elasticsearch作为数据存储后端，并通过Claude Desktop实现自然语言交互查询。该解决方案支持动态数据查询、趋势分析和可视化展示，为LLM代理提供了实时健康数据访问能力。文中包含完整的代码实现、测试方
博客
Elastic：AI，开箱即用！
06-26 1173
Elastic宣布其AI功能现已在Elastic Cloud中默认启用，消除了传统AI部署的复杂流程。该解决方案提供了开箱即用的托管LLM，支持安全、可观测性和搜索领域的AI应用，包括威胁检测、根因分析和自然语言查询等功能。Elastic独特的优势在于将AI深度集成到现有工作流中，支持检索增强生成(RAG)技术，并能统一访问各类数据源。同时平台保持开放架构，允许用户连接第三方LLM。该方案显著降低了AI使用门槛，使企业能立即获得AI驱动的安全防护和运维洞察，无需额外配置或签署第三方合同。
博客
Elastic 被《Forrester Wave™：2025 年第二季度安全分析平台》评为领导者
06-26 1008
Elastic入选Forrester 2025年Q2安全分析平台领导者象限。报告指出，Elastic以工程驱动方式解决安全问题，整合SIEM、XDR和云安全于统一平台，提供AI驱动的检测、开放架构和灵活部署。其优势包括：RAG技术加速警报处理、透明AI增强分析、MITRE ATT&CK规则库，以及混合部署支持。客户数据显示，该平台可缩短99%平均修复时间。Elastic Security将多种安全功能整合，支持SaaS/本地部署，所有检测规则开源。近期与AWS达成战略合作，持续强化安全创新。
博客
在 Logstash 中使用 Ruby 脚本
06-25 1413
摘要：本文介绍了Logstash中Ruby filter插件的使用方法，用于实现高级数据转换。Ruby filter允许在Logstash管道中执行自定义Ruby代码，适用于标准过滤器无法处理的复杂场景，如深度嵌套数据处理、高级字符串处理和复杂业务逻辑实现。文章通过基础示例展示了内联Ruby代码和外部脚本的使用方法，并通过高级示例演示了如何操作嵌套数据结构、拆分事件、执行外部命令解析输出以及使用Ruby内置库。Ruby filter为Logstash管道提供了强大的扩展能力，能够满足各种复杂数据处理需求。
博客
开始使用 Elastic AI Assistant for Observability 和阿里 Qwen3
06-25 1011
本文演示了如何结合Qwen3大模型与Elastic AI Assistant进行日志分析。首先通过Elastic DevTools添加了一条代理服务错误日志记录，然后配置AI Assistant连接器。在Observability模块中安装知识库后，用户可通过自然语言查询（如询问代理服务的临时错误原因）与日志数据进行交互分析。文章还提到当前版本（9.0.01）存在特殊配置需求，并预告后续将介绍使用Kibana创建知识库的方法。整个过程展示了AI技术如何帮助开发者更直观地理解和排查系统问题。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值