开篇唠两句
各位小伙伴，今天咱们来聊聊如何用Ollama + AnythingLLM整一个本地知识库！不用怕复杂，唐叔已经把坑都踩完了，照着做绝对省心！
如果你还没配好环境或者对RAG不懂，先看这三篇：
一、RAG三大件，缺一不可！
搞RAG就像搭积木，得有这三块才能转起来：
- 嵌入模型（Embedding Model）
- 干啥用：把文字变成一串数字（向量），让机器能“看懂”语义。
- 唐叔推荐：如果大模型使用DeepSeek家的，直接用DeepSeek-R1自带的嵌入模型，中文效果杠杠的！
- 向量数据库（Vector DB）
- 干啥用：存海量向量，还能秒速找到最相关的片段。
- 偷懒秘籍：AnythingLLM自带数据库，不用折腾其他工具！
- 大模型（LLM）
- 干啥用：结合检索结果和问题，生成人话答案。
- 避坑提醒：显存小的电脑别硬刚70B模型，7B也够用！
记住，这三者缺一不可！ 少一个就像炒菜没放盐——总差点意思😉
二、RAG理论拆解
1. 文档向量化
操作步骤：
- 扔文档进去：PDF、Word、Markdown全支持，直接拖到AnythingLLM界面；
- 自动切块：系统会把文档切成512字的小段（别担心，连贯性保得住）；
- 向量化：DeepSeek-R1默默干活，进度条跑完就能用！
唐叔小贴士：
- 如果文档特别长，建议手动分章节上传，检索精度更高！
- 遇到报错先看日志，八成是文件路径里有中文🤣
2. 基于RAG提问
举个栗子🌰：
你问：“2023年AI有啥牛X突破？”
系统干的事：
- 把你的问题变成向量；
- 从数据库里扒拉出最相关的论文数据；
- 把论文数据+问题塞给大模型，生成一段人话答案！
三、手把手配置指南（附截图）
1. 大模型怎么选？
划重点：
- 下载DeepSeek-R1的
.gguf格式模型或小参数模型； - AnythingLLM里点
Load Model，选好文件路径就能加载！
2. 向量数据库咋搞？
懒人福利： 不用装Chroma/Milvus！AnythingLLM自带数据库，用就行！
3. 嵌入模型要设置吗？
真相： DeepSeek-R1已经内置了，啥都不用配！配置就完事儿~
4. 文档向量化
示例：将向量文档化，这里唐叔已经将上期的文章《3张图+大白话给你讲明白大模型微调和RAG的区别》向量化了。
5. 提问
说明：唐叔的文档里面有对RAG和模型微调进行解释，从这里的大模型推理链路可以明显发现，其实已经用上了唐叔的文档。
四、避坑大全 & 性能优化
常见翻车现场
-
问题：上传文档后一直卡在“Processing”
解法：检查文档是不是加密了？PDF扫描件得先转文字！ -
问题：回答的内容和文档无关
解法：调低相似度阈值（默认0.8改到0.6），或者把文档分块切小点！
性能榨干技巧
- 8G显存机器：用7B模型+512分块，流畅到飞起~
- 中文优先：嵌入模型选
m3e-base，比通用模型准一倍！
最后说两句
RAG这玩意儿，说白了就是让AI学会查字典——不会的问题先翻书，翻完再回答！按唐叔的流程走，保你半天搭好知识库。
记住三句话：
- 嵌入模型是翻译官（文字→向量）
- 向量数据库是图书馆（存得多+查得快）
- 大模型是学霸（整合信息输出人话）
有啥问题评论区砸过来，唐叔在线蹲！
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
