向量检索学习记录

最新推荐文章于 2025-05-12 08:30:07 发布
最新推荐文章于 2025-05-12 08:30:07 发布
阅读量942 收藏 10
点赞数 30
文章标签： 向量检索 faiss 乘积量化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDN_WHB/article/details/143203020
版权

1、Faiss

2、PQ量化

  • 预训练：2步 cluster(聚类) + assign(分配) （假设原始向量为128维， 切分4段，每段32维度，假设聚类中心数nlist为256）
    • cluster-1 把集合中每个128维向量的切分成4个32维的；
    • cluster-2 在切分完的每个32维向量组内进行聚类，得到256个聚类中心点（一般是固定的）

  • assign-1 由于nlist取256， 那么每个聚类中心可以用8bit表示（2^8 == 256）；
  • assign-2 那么每个128维的原始向量经过量化编码之后就可以用4个8位表示，如上图右侧
    • 有128维压缩成了4维，4维中的每一维数字代表的是当前段所属的聚类中心id
  • 检索

  • 对于量化后向量集合进行检索的方式有2种；ADC(非对称距离)及SDC(对称距离)，后面的讲解是ADC的检索方式：
    • query向量也切分为预训练中的4段，每段计算与预训练好的256个中心的距离【此处为4*256次32维向量的距离运算】，得到query向量与256个聚类中心距离的表； 4*256
    • 此时，库的向量已经被量化成4个簇心 ID（assign-2中说的），而query向量的4段子向量与各自的256个簇心距离已经预计算好了，所以在计算两个向量的时候只用查4次表【由于有N个待对比向量，所以此处是4*N次查表】；
    • 比如库里的某个向量被量化成了[124, 56, 132, 222], 那么首先查表得到query向量第一段子向量与其ID为124的簇心的距离，然后再查表得到query向量第二段子向量与其ID为56的簇心的距离......最后就可以得到四个距离d1、d2、d3、d4，query向量跟库里向量的距离d = d1+d2+d3+d4。
    • 效率对比：所以在提出的例子里面，使用PQ只用4×256次32维向量距离计算加上4xN次查表，而最原始的暴力计算则有N次128维向量距离计算，很显然随着向量个数N的增加，后者相较于前者会越来越耗时；

3、IVFPQ

  • IVFPQ(Inverted File + PQ)（传统PQ的检索加速，本质：空间分割+快速定位x个子空间+在x个子空间内进行遍历）
    • PQ搜索过程中，会进行全空间遍历，即会遍历库里的全部向量并进行距离计算及查表【4*256次32维向量的距离运算 + 4*N次查表】，效率还可以提高
    • IVFPQ优化本质：将全局遍历锁定为感兴趣区域，则可以避免不必要的全局计算及排序；

  • 实现方式
    • 在PQ量化之前，增加了一个粗量化过程
    • 直接对库里所有向量做KMeans Clustering，假设簇心个数为1024
    • 每来一个query向量，首先计算其与1024个粗聚类簇心的距离，然后选择距离最近的top N个簇
    • 对topN个簇下的向量（PQ量化之后的）进行遍历及距离计算，找到最相似的topK
    • Faiss具体实现有一个小细节,提高计算精度：就是在计算查询向量和一个簇底下的向量的距离的时候，所有向量都会被转化成与簇心的残差，这应该就是类似于归一化的操作，使得后面用PQ计算距离更准确一点
    • 使用IVF过后，需要计算距离的向量个数就少了几个数量级，最终向量检索就变成一个很快的操作
  • faiss支持的索引模式
    • IndexFlatL2 暴力检索
      • 最基础的Index，精确
    • IndexIVFFlat
      • 为了加快搜索速度，可以将数据集分割成几部分。我们在d维空间中定义Voronoi单元格，并且每个数据库矢量都落入其中一个单元格中。在搜索时，只要查询x所在单元中包含的数据库向量y与少数几个相邻查询向量进行比较。(划分搜索空间)
    • IndexIVFPQ
      • 有损存储
      • 我们看到的索引IndexFlatL2和IndexIVFFlat都存储完整的向量。 为了扩展到非常大的数据集，Faiss提供了基于产品量化器的有损压缩来压缩存储的向量的变体。压缩的方法基于乘积量化(Product Quantizer)。
      • 在这种情况下，由于矢量没有精确存储，搜索方法返回的距离也是近似值

4、优化方式

  1. 量化压缩（压缩特征向量维度）
    1. PQ乘积量化

6、参考

momomo_mocs
关注
向量检索与 RAG 实践：关键概念、应用场景与高效索引实战
qq_38334677的博客
01-07 1601
在当代信息爆炸的时代，如何从海量数据中精准地找出与用户需求最为匹配的内容，成为了亟待解决的问题。传统的文本检索方法更多依赖于关键词匹配或基于倒排索引的策略。然而，随着自然语言处理、语义理解以及深度学习的飞速发展，越来越多的场景需要更高层次、更具语义化的检索方式。在此背景下，向量检索（Vector Search）应运而生。向量检索，本质上就是将文本、图像、音频或者更广义的高维数据用向量（通常是浮点数数组）的形式表示，并在检索阶段将待查询的数据也转化为向量，进而通过计算相似度来判断“匹配程度”的一种检索方式。
大模型RAG实战｜混合检索：BM25检索+向量检索的LlamaIndex实现
mama19971023的博客
08-06 4804
目前，大模型RAG系统中普遍采用混合检索来提升检索准确性。针对要回答的问题，同时通过。
faiss IndexIVFPQ 源码详解 - train
05-20 891
69 /*n:向量个数， x:整个向量*/ 70 void IndexIVFPQ::train_residual_o (idx_t n, const float *x, float *residuals_2) 71 { 72 const float * x_in = x; 73 /*d:全空间维度*/ 74 x = fvecs_maybe_subsample ( 75 d, (size_t*)&n, pq.cp.ma...
faiss-8: 多种index混合
uncle_ll的博客
02-09 1208
index可以合成使用 数据准备 import faiss import numpy as np d = 512 # 维数 n_data = 2000 np.random.seed(0) data = [] mu = 3 sigma = 0.1 for i in range(n_data): data.append(np.random.normal(mu, sigma, d)) data = np.array(data).astype('float32') # qu
向量检索（一）Faiss 在工业界的应用和常见问题解决
千里之行
11-07 1万+
传统的搜索，使用关键做精确的查找，利用倒排索引在索引库中搜索。日常在用的百度，Google都属于关键词搜索。 在 AI 时代我们需要查找一张相似的图片，一个问题的答案，或者根据一段音乐查找对应的歌曲，这些情况下没有准确的关键词用来做检索。 这些图片，问题（文本），语音，不再是简单的一个一维量化的数字，而是包含了大量的属性特征。 因而不合适使用传统的关键字搜索引擎来查找。 对于文本，图片，语音，视频，DNA信息等等，都可用向量来表示，数据被特征化处理后用来表示这条数据的向量称之为 Embedding
向量数据库：faiss的常用三种数据索引方式（IndexFlatL2，IndexIVFFlat，IndexIVFPQ）的使用和持久化+索引融合的实现及库函数解读
热门推荐
ResumeProject的博客
01-05 1万+
向量数据库：faiss的常用三种数据索引方式（IndexFlatL2，IndexIVFFlat，IndexIVFPQ）的使用和持久化，索引融合的实现及库函数解读
Faiss(7)：IVFPQ-train训练过程分析
翔底的博客
09-12 3787
说明 本篇主要分析IVFPQ类型的索引的训练过程。遵循从APP -> 到faiss core的实现的流程。 过程分析 app 假设现在已经有了一个可用的IVFPQ类型索引index实例，那么可以直接在程序中调用： index.train(learning_d) 这里的learning_d表示训练集，这里的值是database总数与学习率的乘积。 faiss core train() IndexIVFPQ类里面没有override train函数，所以上面的接口调用的是其父类IndexIVF下定义的t
elasticsearch中的向量检索，语义检索，RRF，kNN，ANN，HNSW
猛犸象
10-23 2712
elasticsearch中的向量检索，语义检索，RRF，kNN，ANN，HNSW
【向量检索】之向量数据库Milvus,Faiss详解及应用案例
larrino的博客
06-18 9584
向量数据库、Milvus、FAISS、向量化、相似度计算、索引构建、ANN（Approximate Nearest Neighbor）。
如何构建高效的向量数据库以优化大模型检索能力
qq_40552871的博客
04-04 915
构建高效的向量数据库以优化大模型检索能力，首先要明确数据存储需求。大模型通常涉及海量的参数和数据，例如一个拥有10亿参数的模型，其存储需求可能达到数百GB。根据数据的规模和类型，需要确定存储的容量、速度和可靠性。对于大规模数据，分布式存储是常见的选择，它可以将数据分散存储在多个节点上，提高存储效率和数据访问速度。同时，数据的读写频率也是重要因素，高频读写的数据需要更快的存储介质，如SSD，而低频数据可以存储在成本较低的磁盘上。此外，数据的持久化和备份需求也不容忽视，以防止数据丢失。
Faiss(17)：IndexIVFPQ文件格式分析
翔底的博客
01-27 2020
1. 说明 Faiss版本：1.6.3 nb = 1M, nlist = 4000, d = 64, m = 64, nbits = 8 2. 应用层接口 python接口 #将生成的index实例保存到index_name.bin命名的文件中 faiss.write_index(index, "index_name.bin") c++接口 在C++代码中，write_index()函数是一个在faiss命名空间下的独立的函数，即它不依赖于某个特定的类实例，而在代码中可直接调用。如： //demo.c
faiss技术积累
杨树的博客
12-18 1万+
Faiss教程：入门             https://www.cnblogs.com/houkai/p/9316129.html Faiss教程：基础             https://www.cnblogs.com/houkai/p/9316136.html Faiss教程：GPU             https://www.cnblogs.com/houkai/p/931...
Faiss框架学习
u012477435的博客
10-30 2411
Faiss框架 Faiss是Facebook AI团队开源的针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前最为成熟的近似近邻搜索库。使用C++编写，提供完美与numpy完美衔接的python接口。 一、核心算法实现 聚类使用k-means高效聚类 PCA降维算法 PQ解码编码 二、功能流程 按列存储，压入内存index中存储。 三、index的使用...
faiss 相似特征向量搜索
WEB-NOTE
08-22 1万+
1，支持两种相似性计算方法：L2距离（即欧式距离）和点乘（归一化的向量点乘即cosine相似度）； 2，按照是否编码压缩数据可以分为两类算法，使用压缩的算法可以在单台机器上处理十亿级别的向量规模； 3，并非线程安全的——不支持并行添加向量或搜索与添加的并行；仅在CPU模式下支持并行搜索； 4，只有继承了IndexIVF 的算法才支持向量的 remove() 操作，但由于是连续存储，remov...
Faiss教程：索引(2)
weixin_34319640的博客
07-16 870
索引的I/O与复制 所有的函数都是深复制，我们不需要关心对象关系。 I/O函数： write_index(index, "large.index"): 写索引到文件 Index * index = read_index("large.index") 读索引 复制函数： Index* index2 = clone_index(index): 返回索引的深复制 Index *index_cpu_...
Faiss(5):IndexIVFPQ原理
翔底的博客
08-23 5155
说明 原本想尝试自己从头写，但看了下网上的各位前辈的博客后，感觉自己还是才疏学浅，没有理解透彻，所以在这里做个搬运工，偶尔加些个人的理解在里面。原文链接：https://blog.razrlele.com/p/2594，侵删。 Faiss 的原理 首先来介绍一下Faiss使用时候的数据流： 在使用Faiss的时候首先需要基于原始的向量build一个索引文件，然后再对索引文件进行一个查询操作，在第一次build索引文件的时候，需要经过Train和Add两个过程，后续如果有新的向量需要被添加到索引文件的话还可
Ubuntu 16.04 下编译安装Faiss CPU版本
weixin_40188007的博客
02-09 1万+
环境：unbuntu 16.04安装anaconda2#下载 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda2-4.3.0-Linux-x86_64.sh #权限 chmod +x Anaconda2-4.3.0-Linux-x86_64.sh #安装 bash Anaconda2-4.3.0-Linux-x8...
Faiss 索引深度解析：从基础到实战
2403_87387270的博客
05-09 1115
通过以上代码示例，我们对 Faiss 的多种索引类型有了更深入的了解。在实际应用中，我们需要根据数据规模、查询效率和准确性要求等因素，选择合适的索引类型。对于小规模数据，Flat 索引可以保证准确性；对于中型数据，倒排索引是不错的选择；而处理大规模高维数据时，复合索引往往能带来更好的性能表现。此外，在使用 Faiss 时，还可以进一步调整索引参数、进行性能测试和添加更多评估指标，以优化搜索效果。如果你在实际项目中也在使用 Faiss，欢迎在评论区分享你的经验和遇到的问题，让我们共同学习进步！
向量数据库前沿：Faiss 向量数据库的配置与使用（文中有彩蛋）
最新发布
yibuapi_com的博客
05-12 364
向量数据库技术快速发展，各服务商产品在数据存储、检索方式、集合功能等方面存在显著差异。LangChain 的通用性封装虽降低了迁移成本，但选择时仍需全面评估。向量数据库按部署方式可分为本地文件、本地部署 API 和云端 API 三类。Faiss 是 Facebook 开源的高效向量检索工具，广泛应用于推荐系统和图像搜索等领域，支持多种操作系统和快速响应。LangChain 提供了便捷的数据导入和相似性搜索方法，但在使用过程中需注意文本嵌入模型的向量范围，避免计算错误。
deepseek向量检索模型
02-28
### DeepSeek 向量检索模型概述 DeepSeek向量检索模型旨在提供高效、精准的内容匹配服务，适用于多种应用场景，如文档检索、推荐系统等。为了帮助用户更好地理解和应用该模型，以下是详细的使用指南和最佳实践。 ### 安装指南 对于希望在本地环境中部署并测试DeepSeek向量检索模型的用户而言，遵循以下指导可以顺利完成安装过程： #### 准备工作环境 确保已配置好Python开发环境，并且具备必要的依赖项管理工具（pip）。此外，考虑到性能优化的需求，在支持CUDA加速的硬件上运行将显著提升效率[^2]。 #### 获取模型文件 访问官方资源页面下载最新的预训练权重以及配套脚本；注意确认所选版本与目标平台兼容性良好。通常情况下，模型会被打包成压缩包形式分发给最终使用者。 #### 配置启动参数 利用`accelerate`命令行工具来简化跨多个GPU设备上的分布式计算任务设置。通过指定相应的选项调整并发处理能力及其他高级特性开关状态，例如混合精度浮点运算模式(`--mixed_precision`)可有效减少内存占用同时加快推理速度。 ```bash accelerate launch \ --num_processes 4 \ --mixed_precision fp16 \ deepseek_serving.py \ --model_path ./deepseek-llm-7b-chat \ --batch_size 32 ``` 上述实例展示了如何基于四个进程执行多GPU分布式的模型加载和服务端口开启操作，其中还包含了针对特定路径下的大型语言模型实例化时所需的批量大小设定。 ### 使用教程 当完成初步搭建之后，便可以通过API接口调用来实现具体业务逻辑交互。下面列举了一些常见的请求范例供参考学习： - **索引构建**：上传待查询的数据集至服务器端进行特征提取及存储结构创建； - **相似度搜索**：提交关键词表达式获取最接近的结果列表及其对应得分值； - **实时更新**：允许动态修改已有记录或新增条目而不影响在线服务能力连续性。 值得注意的是，随着每次迭代更新，可能会引入新的特性和改进之处，因此建议经常查阅官方发布的变更日志以便及时跟进变化趋势[^1]。 ### 最佳实践 为了充分发挥DeepSeek向量检索系统的潜力，这里给出几条实用性的建议： - 尽可能采用高质量标注样本作为输入源材料，这有助于提高召回率和准确性； - 结合实际需求灵活调节超参组合方案，找到平衡点所在从而达到最优解效果； - 积极参与到社区交流活动中去分享经验教训同时也汲取他人智慧结晶。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值