真香，Rust 开发搜索引擎 Quickwit 替代ES，成本降低 10 倍！

已于 2025-03-05 17:23:30 修改
阅读量588 收藏 5
点赞数 5
CC 4.0 BY-SA版权
文章标签： 搜索引擎 elasticsearch 大数据
于 2025-03-04 15:12:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/coderroad/article/details/146016243

Quickwit 是云存储上最快的搜索引擎，它非常适合用于可观察性的云原生搜索引擎，如日志、跟踪以及即将推出的指标。同时也是 Datadog、Elasticsearch、Loki 和 Tempo 的开源替代方案。

Stars 数9,736
Forks 数429

主要特点

  • 全文搜索和聚合查询：提供对文本内容的全面搜索能力，以及对数据进行聚合分析的功能。

  • Elasticsearch兼容API：允许使用现有的 Elasticsearch 或 OpenSearch 客户端与 Quickwit集成，保证了良好的兼容性和易用性。

  • Jaeger 原生支持：内置对 Jaeger 的支持，有助于跟踪和监控微服务架构中的请求。

  • OTEL原生支持：原生支持 OpenTelemetry（OTEL），用于日志和追踪，便于进行性能监控和故障排查。

  • 灵活的索引选项：支持无模式（Schemaless）和严格模式（Strict Schema）索引，以适应不同的数据结构需求。

  • 云存储上的亚秒级搜索：能够在Amazon S3、Azure Blob Storage、Google Cloud Storage等云存储服务上实现快速搜索。

  • 计算与存储解耦：采用计算和存储解耦的架构，使得索引器和搜索器是无状态的，有助于提高系统的可扩展性和弹性。

  • Grafana 数据源：可以作为 Grafana 的数据源，方便用户在Grafana中进行数据可视化。

  • Kubernetes 就绪：支持在 Kubernetes 上部署，提供了helm-chart以简化部署过程。

  • RESTful API：提供REST风格的API，便于开发者通过HTTP请求与 Quickwit 进行交互

 官网：Search more with less | Quickwit

GitHub：https://github.com/quickwit-oss/quickwit

tantivy 用Rust开发搜索引擎
AI天才研究院
08-01 2799
搜索引擎（search engine）是互联网技术中最重要的组成部分之一，它用于收集、整理、索引和存储海量数据。它的主要功能是快速地对海量文档进行检索、排序和过滤，为用户提供良好的检索体验。目前，搜索引擎已成为网络生活的一部分，如谷歌、百度、bing、yahoo等。搜索引擎可以帮助用户快速找到需要的信息，并减少时间和精力的浪费。搜索引擎通过提升检索效率和相关性，大幅提高了互联网服务的质量。
使用Rust开发小型搜索引擎
hello.reader
03-07 1495
用Rust创建搜索引擎是探索该语言在性能和安全性方面具有优势的绝佳方式。这个项目将索引和搜索概念转移到Rust的生态系统中，由于Rust独特的语法和范式，这是一个挑战，但也是有益的。定义我们要索引的文档的结构。定义一个简单的结构体，它表示带有标题和正文的文档。本示例旨在为你提供构建搜索引擎的起点。Rust的所有权和并发模型，以及它的类型系统，为构建更复杂和高性能的搜索引擎提供了坚实的基础。我们可以通过添加实时索引、高级文本处理和自定义评分算法等特性来扩展这个项目。
Rust 开发搜索引擎 Quickwit 替代ES，成本降低 10 倍，查询亚秒级别！
hello.reader
06-17 1416
Quickwit 它是云存储上最快的搜索引擎，它非常适合用于可观察性的云原生搜索引擎，如日志、跟踪以及即将推出的指标。同时也是 Datadog、Elasticsearch、Loki 和 Tempo 的开源替代方案。
【Rust 日报】2021-07-18 -- Quickwit 高性能对象存储搜索引擎
Rust语言学习交流
07-18 1791
Quickwit：亚秒级延迟的对象存储搜索引擎如果用过 ES，会感到非常熟悉，具体包括以下步骤：第一步：编写索引配置文件wiki_index_config.json（以 wiki 为例）...
折腾 Quickwit，Rust 编写的分布式搜索引擎(专为从对象存储中实现亚秒级搜索而设计)...
o__cc的博客
08-24 789
什么是 Quickwit? Quickwit 是首个能在云端存储上直接执行复杂的搜索与分析查询的引擎，并且具有亚秒级延迟。它借助 Rust 语言和分离计算与存储的架构设计，旨在实现资源高效利用、易于操作以及能够扩展到 PB 级数据量。 Quickwit 非常适合日志管理、分布式追踪以及通常为不可变数据的应用场景，例如对话数据(电子邮件、文本消息、消息平台)和基于事件的分析。 为什么 Quick...
折腾 Quickwit，Rust 编写的分布式搜索引擎-官方教程
o__cc的博客
08-26 1520
快速上手 在本快速入门指南中，我们将安装 Quickwit，创建一个索引，添加文档，最后执行搜索查询。本指南中使用的所有 Quickwit 命令都在 CLI 参考文档 中进行了记录。 https://quickwit.io/docs/main-branch/reference/cli 使用 Quickwit 安装程序安装 Quickwit Quickwit 安装程序会自动为您的环境选择正确...
【Rust日报】2023-06-20 使用Quickwit、Jaeger和Grafana监控您的Rust应用程序
Rust语言学习交流
06-21 680
使用Quickwit、Jaeger和Grafana监控您的Rust应用程序你可能已经看过了Lucas Palmieri的博客文章Are we observable yet? An introduction to Rust telemetry。如果你还没有看过，我们建议阅读一下，因为它提供了一个全面的介绍，介绍了如何处理 Rust 代码中的日志。然而，仅仅记录日志可能是不够的，特别是在分布式架构中。...
Tantivy使用Rust 开发的全文搜索引擎库
hello.reader
07-30 2010
Tantivy是一个全文搜索引擎库，灵感来自Apache Lucene，用Rust编写。如果你正在寻找Elasticsearch或Apache Solr的替代品，请查看我们基于Tantivy构建的分布式搜索引擎Quiuckwit。Tantivy更接近Apache Lucene，而不是Elasticsearch或Apache Solr，因为它不是现成的搜索引擎服务器，而是一个可用于构建此类搜索引擎的库。
Quickwit 是一个大数据搜索引擎。
06-28
机智该存储库将托管 Quickwit Inc. 开发的大数据搜索引擎 Quickwit。我们将在接下来的几个月内逐步完善和开源我们的代码。敬请关注。
Grafana集成Quickwit插件
最新发布
不会飞的小龙人的博客
03-10 1028
对于追求高性能、低成本的、易维护的日志存储管理方案来说，Loki和Quickwit服务对于中小企业来说，都是一个不错的选择之一；关于为什么使用Quickwit日志搜索引擎，而不是使用Grafana同平台的原生产品Loki，这一篇关于《Quickwit与Loki的基准测试》文章可做参考；但通过测试基准结果图来看，在检索数据方面，Quickwit明显比Loki性能更强，检索效率更高，可以在后续搭建日志管理平台时，做为产品选型的一个参考；
Quickwit 基础使用指南
hello.reader
09-22 1458
什么是 Quickwit？Quickwit 是一个专注于海量数据处理的分布式搜索引擎，旨在提供高效的实时搜索解决方案。它特别适用于处理日志分析、物联网数据处理以及数据仓库的全文搜索。Quickwit 是轻量级的，但具备强大的扩展性，能够轻松处理大规模的数据集，并且在性能和资源利用率上表现出色。与其他常见的搜索引擎如 Elasticsearch 和 Solr 相比，Quickwit 提供了一种更加高效的选择，尤其是在资源受限或需要高性能搜索的场景中。Quickwit 的应用场景实时日志分析。
2024 最受 IT 公司欢迎的 10 款开源监控工具
民工哥的博客
04-15 2343
戳下方名片，关注并星标！回复“1024”获取2TB学习资源！????体系化学习：运维工程师打怪升级进阶之路 4.0— 特色专栏—MySQL/PostgreSQL/MongoDBElasticSearch/Hadoop/RedisKubernetes/Docker/DevOpsKafka/RabbitMQ/Zookeeper监控平台/应用与服务/集群管理N...
折腾 Quickwit，Rust 编写的分布式搜索引擎 - 可观测性之分布式追踪
o__cc的博客
08-30 1204
概述 分布式追踪是一种跟踪应用程序请求流经不同服务(如前端、后端、数据库等)的过程。它是一个强大的工具，可以帮助您了解应用程序的工作原理并调试性能问题。 Quickwit 是一个用于索引和搜索非结构化数据的云原生引擎，这使其非常适合用作追踪数据的后端。 此外，Quickwit 本地支持 OpenTelemetry gRPC 和 HTTP(仅 protobuf)协议 以及 Jaeger gRPC ...
ClickHouse 与 Quickwit 集成实现高效查询
hello.reader
09-18 1328
在当今大数据分析领域，ClickHouse作为一款高性能的列式数据库，以其出色的查询速度和对大规模数据的处理能力，广泛应用于在线分析处理 (OLAP) 场景。ClickHouse 的列式存储和并行计算能力使得它在处理结构化数据查询时极具优势，尤其是在对日志、指标、事件等数据进行统计分析时表现突出。然而，在面对全文检索（特别是针对非结构化数据的复杂查询）时，ClickHouse 原生的功能支持有限。比如，涉及文本内容的深度搜索（如关键词搜索、模糊匹配等）可能无法充分发挥 ClickHouse 的优势。
【Rust日报】嵌入式 Rust：一份简化指南
Rust语言学习交流
05-25 596
EvilHelix 编辑器EvilHelix 是一个采用 Vim 风格的模态编辑器，旨在提供快速且高效的编辑体验。它是 Helix 编辑器的一个分支，增加了 Vim binding，同时积极同步上游的特性，兼备了 Vim 和 Hexli 的优点：Vim 风格的模态编辑方式，使得熟悉 Vim 的用户能够更快速地上手基于 Helix，使得其响应速度非常快github主页 https://github....
Binance 如何使用 Quickwit 构建 100PB 日志服务(Quickwit 博客)
weixin_28876369的博客
09-14 157
三年前，我们开源了 Quickwit，一个面向大规模数据集的分布式搜索引擎。我们的目标很宏大：创建一种全新的全文搜索引擎，其成本效率比 Elasticsearch 高十倍，配置和管理显著更简单，并且能够扩展到 PB 级别的数据。 https://quickwit.io/blog/quickwit-first-release 虽然我们知道 Quickwit 的潜力，但我们通常测试的数据量不超...
折腾 Quickwit，Rust 编写的分布式搜索引擎 - 可观测性之日志管理
weixin_36111677的博客
09-12 364
Quickwit 从底层构建，旨在 高效地索引非结构化数据，并在云存储上轻松搜索这些数据。 此外，Quickwit 开箱即支持 OpenTelemetry gRPC 和 HTTP（仅 protobuf）协议，并提供了一个 REST API，可以接收任何 JSON 格式的日志。 这让 Quickwit 成为了日志的理想选择！. https://quickwit.io/docs/guides/s...
【Rust日报】2022-12-05 探索 docker 的 WASM 技术预览
Rust语言学习交流
12-05 628
探索 docker 的 WASM 技术预览docker于近日发布了支持 WASM 容器的预览版本,本文带你体验使用 Rust 编写代码,并且编译成 WASM 最终运行于 docker 的过程.原文链接:https://medium.com/@shyamsundarb/exploring-docker-hubs-wasm-technical-preview-76de28c3b1b4使用 Rust ...
【Rust日报】2021-07-16 Rust 重写 go 项目的一次实践
Rust语言学习交流
07-16 800
rust-script，可以在没有任何设置或编译步骤的情况下运行 rust 文件和表达式$ echo 'println!("Hello, World!");&#39...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值