基于faiss库的人脸检索加速实验

最新推荐文章于 2024-12-02 11:50:49 发布
最新推荐文章于 2024-12-02 11:50:49 发布
阅读量962 收藏 4
点赞数 1
分类专栏： 算法学习 文章标签： python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiakejiang/article/details/121657292
版权

Faiss是由Facebook于2017年开源的可支撑十亿级别数据检索的高效检索库，是为稠密向量提供高效相似度搜索和聚类的框架，其实现了包括索引搜索、PCA降维、PQ（乘积量化）等多种检索算法

参考链接 Faiss流程与原理分析 - yhzhou - 博客园

参考链接 完全解析：使用Faiss进行海量特征的相似度匹配_夕小瑶的卖萌屋-CSDN博客

直接给出实验结果：

 conda下的py3环境安装faiss方式：pip install faiss-cpu

在Intel i7CPU上对3299*512大小的底库进行检索，检索耗时从遍历搜索的240ms降低到faiss.IndexFlatL2方法的1ms，且该方法没有任何精度损失，速度提升能力还是比较喜人的。工程组同事反应，在嵌入式端，检索速度也有10倍的提升。

后续，可以再尝试使用其他方法进行测试，看是否能进一步提升速度。

深度学习系列资料总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
淘宝推荐、视频搜索背后的检索技术竟是它！深度揭秘达摩院向量检索引擎Proxima
阿里云云栖号
03-08 1549
简介： 淘宝搜索推荐、视频搜索的背后使用了什么样的检索技术？非结构化数据检索，向量检索，以及多模态检索，它们到底解决了什么问题？今天由阿里巴巴达摩院的科学家从业务问题出发，抽丝剥茧，深度揭秘达摩院内部技术——向量检索引擎 Proxima，以及相关领域的现状、挑战和未来。 人工智能，简称 AI，是计算机发明时就存在的一个技术领域。它的一大核心特点就是可以类人脑地辅助人类工作。其通过一系列数学的方法，如概率论、统计、线性代数等，分析和设计出能让计算机自动学习的算法。 如下图所示，人工智能算法可..
Insightface结合Faiss的高并发人脸识别技术研究.pdf
09-23
Insightface结合Faiss的高并发人脸识别技术研究.pdf
用Faiss实现一个人脸检索
s_suoshuai的博客
12-12 1308
一个简单的人脸检索Faiss使用示例 需求： 人脸底库中包含多个人物ID，每个人物ID含有多个人脸特征向量。 要求最终计算特征向量间的cosine_similarity。 要求精确暴力检索。 在CPU上完成即可。 代码： import numpy as np import faiss from faiss import normalize_L2 #1.随机化生成数据 d = 64 # dimension nb = 10000 # database size nq = 100 # nb
Faiss人脸比对
weixin_41012399的博客
02-23 275
参考：https://blog.csdn.net/lgzlgz3102/article/details/111940265 https://blog.csdn.net/weixin_42028608/article/details/104376282?utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2aggregatepagefirst_rank_ecpm_v1~rank_v31_ecpm-6-104376282.pc_agg_ne
人脸识别场景下Faiss大规模向量检测性能测试评估分析
Together_CZ的博客
08-04 1276
人脸识别场景下Faiss大规模向量检测性能测试评估分析
基于arcFace+faiss开发构建人脸识别系统
Together_CZ的博客
08-04 2458
基于arcFace+faiss开发构建人脸识别系统
达摩院资深技术专家：揭秘比Faiss更胜一筹的向量检索引擎Proxima
DAMO_Proxima的博客
05-27 727
人工智能，简称 AI，是计算机发明时就存在的一个技术领域。它的一大核心特点就是可以类人脑地辅助人类工作。其通过一系列数学的方法，如概率论、统计、线性代数等，分析和设计出能让计算机自动学习的算法。 如下图所示，人工智能算法可以对物理世界的人/物/场景所产生各种非结构化数据（如语音、图片、视频，语言文字、行为等）进行抽象，变成多维的向量。这些向量如同数学空间中的坐标，标识着各个实体和实体关系。我们一般将非结构化数据变成向量的过程称为 Embedding，而非结构化检索则是对这些生成的向量进行检索，从而找到相应实
vc中人脸识别数据导入mysql_如何提高人脸识别中与数据库中数据对比的速度?
weixin_29587979的博客
02-04 309
这个问题也是我们组在实践中遇到的问题，一个很自然的想法是对比人脸向量库的问题本质上来说是一个KNN分类问题。给定N个人，相当于N个类别，每个人有若干张照片，相当于每个类别中的训练样本。将所有照片实用facenet生成人脸向量，对于待识别的照片，只需在人脸库中找出与该照片所对应的向量欧式距离最相近的k张照片，对应类别数量最多的人便可以认为是待识别照片的身份。对于一个kNN问题，sklearn中提供了...
ElasticSearch学习篇11_ANNS之基于图的NSW、HNSW算法
tencentes的博客
04-27 937
往期博客ElasticSearch学习篇9_文本相似度计算方法现状以及基于改进的 Jaccard 算法代码实现与效果测评_elasticsearch 文字相似度实现方法-CSDN博客根据论文对文本相似搜索现状做了一个简要总结，然后对论文提到的改进杰卡德算法做了实现，并结合业务场景测评，另外对其他两种改进杰卡德算法做了测评总结适用的业务场景。面对多维数据，空间紧邻搜索被应用在多种场景的检索需求，如人脸识别、图片搜索、商品的推荐搜索等。
faiss搜索代码
09-26
最近人脸识别， 使用faiss 搜索代替原来的redis，这个demo是关于faiss库的相关操作
人脸识别分类检索系统v2.0快捷特制版
04-20
人脸识别分类检索系统快捷特制版是利用人脸识别技术对照片中的人脸进行识别，把同一个人不同时间地点的照片提取归类。照片按人脸进行分类，实现了人脸入库，分类检索，免费版可设置500张照片。每秒比对人脸6万张。实现了百万级数据库分秒检索完成。正脸情况下可以达到97%以上的成功率。2.0新增了子目录文件批量读取,批量模板比对功能.实现大批量照片入库比对一键完成.大大方便了使用.本版本为快捷特制版，主要针对有大量图片需要批处理的需求。 本工作室致力于人工智成算法的产品化工作（有意向投资者请联系） qq: 605341429 或加群人脸识别照片分类检索 618055321 邮箱：605341429@qq.com 使用方法： 一、 选择待分类图片目录（就是要分类的照片所在目录。本软件自动识别子目录，所以你只要把照片或照片文件夹放到一个目录中即可，不用管是不是有子目录） 二、 选择分类后照片存放的目录。只需选择目录。软件会动建每个人的分类目录。 三、 选择要分类的模板照片所在目录（就是要找那些人）。这里要注意一下。模板图片的文件名中不能含有以下这些字符。因为创建分类目录时会以模板文件名作为名称创建分类文件夹。 # % & * | \ : " ? / 前导或后缀空格（“”） Windows 或 DOS 保留的名称（“nul”、“aux”、“con”、“com1”、“lpt1”等）。 重要提示：由于打包时少了几个DLL文件，可能会出现运行不了的情况。又不能重新上传， 下载完整版本请联系 qq: 605341429 或加群人脸识别照片分类检索 618055321 也可以下载人脸识别分类检索系统1.0或2.0找到相应的dll拷入本软件安装目录即可。
使用Eigen库加速人脸搜索
xiakj的专栏
03-30 320
速度提升：200维特征值在1w底库上的搜索时间，从16ms左右，下降到2ms左右。 提升方法： 抓拍人脸到底库做搜索，大部分时间消耗在抓拍图和底库每个人脸向量计算欧式距离，并排序的过程中。 原匹配算法： void faceMatch(std::vector<std::vector<float>> face_feature, std::vector&l...
人脸识别特征检索
jacke121的专栏
09-03 4062
1.faiss 使用参考：https://blog.csdn.net/jacke121/article/details/90217423 你如果选择是indexL2等欧式距离，或点积距离的话 是全量比较；特别耗资源；试试IVFFlat,PCA,PQ等优化的算法，效果比较好 https://help.aliyun.com/document_detail/154873.html 0.方案特点 使用RDS PostgreSQL存储图像向量特征值。 使用RDS PostgreSQL的PASE....
基于facenet+faiss开发构建人脸识别系统
Together_CZ的博客
08-03 1657
基于facenet+faiss开发构建人脸识别系统
简单测试下faiss 检索速度
陈锐的技术笔记
11-25 1210
在NLP的应用中，经常需要用到对向量的搜索，如果向量的数量级非常大，比如1千万，甚至上亿条，普通的方式就满足不了生产需要了，falcebook开源的faiss框架能够解决“海量向量搜索”的问题。faiss是为稠密向量提供高效相似度搜索和聚类的框架。由研发。具有以下特性。参考了这个项目里做一个对比实验，来看一下faiss的使用及速度。随机生成10万个768维的向量，加载到内存中， 然后分别用普通的暴力搜索和faiss搜索两种方式去搜索，对比搜索的平时用时。按照相同规则生成随机向量，一般句子向量维度是768。
c++人脸识别项目，满足工业界对于人脸识别系统的高标准需求！（一）
a_Loki的博客
07-19 1320
在工业界，，一直是实现计算机视觉和机器学习任务的热门语言，尤其是在需要。而（Facebook AI Similarity Search）作为一个高效的相似性搜索库，专为大规模特征向量的相似性搜索和聚类任务设计，尤其擅长处理高维向量空间中的近似最近邻搜索问题，这在人脸识别中尤为重要，因为人脸识别常常涉及到在大型特征数据库中快速查找最相似的人脸特征。，也是机器学习和AI领域广泛使用的语言，但在对性能有严格要求的工业级应用中，C++与FAISS的组合由于其卓越的性能表现，成为追求极致效率和资源利用的首选。
【最强】人脸识别实现签到系统insightface+faiss
最新发布
weixin_43356770的博客
12-02 659
config.yaml配置文件。
人脸识别+检索项目记录
weixin_42028608的博客
05-04 2724
人脸检索主要分为3个部分介绍：mtcnn、facenet、faiss 首先，使用opencv读取视频，每25帧检测一次（1秒25帧，1秒取1次）；使用mtcnn处理视频的帧 返回若干个人脸框、置信分及关键点，将图片按人脸框切割并resize成指定大小（160x160），然后利用关键点将人脸对齐，后送入faceNet提取人脸特征（128维），然后l2归一化后存储。最后用faiss对提取的人脸特征进行...
基于内容的模糊人脸识别检索：速度与精度提升研究
该篇论文《人脸模糊识别的初步探讨与研究——基于内容的人脸面部图像检索》由孙玮、张鹏林和刘勇合作完成，发表在兰州大学资源与环境学院遥感与地理信息研究所及武汉大学遥感信息工程学院。研究的主要目的是为了提升...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值