一文搞懂！什么是RAG？大模型和RAG有什么关系？

最新推荐文章于 2025-04-29 08:27:57 发布
最新推荐文章于 2025-04-29 08:27:57 发布
阅读量886 收藏 18
点赞数 19
文章标签： 人工智能 自然语言处理 agi 大模型 语言模型 RAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Code1994/article/details/146017087
版权

在讲RAG之前，我们先说一个大模型的普遍现象，大家应该都用过大模型了，比如 ChatGPT、DeepSeek、豆包、文心一言等等…

那么大家在用的时候其实会发现，有时候大模型会乱回答，一本正经地胡说八道，语义不同，前言不搭后语。

举个例子：你问大模型，美国成立时间。 大模型可能会回答：美国成立在1997年，距离现在已有400年的历史…

这种现象叫hallucination，幻觉。大模型本质的就是不断的预测下一个生成的文字应该是什么，而选择预测概率中最大的一个。

在这里插入图片描述

产生幻觉的原因有很多，比如训练大模型本身的数据问题、过拟合、微调引起的知识丧失、推理机制的不完善等等…

而我们要说的RAG就是为了降低大模型出现幻觉的概率，下面开始我们今天的主题。

一、RAG简介

RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索与文本生成的技术，旨在提升大语言模型在回答专业问题时的准确性和可靠性。

在这里插入图片描述

‌核心原理‌‌为 检索 + 生成 两阶段流程 ：

  • ‌检索阶段‌：将用户的问题转化为向量，从外部知识库或私有文档中(向量数据库)快速检索相关片段。

  • ‌生成阶段‌：将检索到的信息输入大模型，生成结合上下文的具体回答‌。

这样说可能比较生硬，打个比方：LLM在考试的时候面对陌生的领域，只会写一个解字（因为LLM也只是局限于特定的数据集进行训练），然后就准备放飞自我了，而此时RAG给了亿些提示，让LLM懂了开始往这个提示的方向做，最终考试的正确率从60%到了90%！

在这里插入图片描述

简单来说就是大家的开卷考试！！那么问题来了，LLM开卷考试的话，这个卷是啥呢？这里就涉及到向量数据库了。

为什么是向量数据库？传统数据库为啥不行？

二、向量数据库

向量数据库是通过存储文本的向量化表示，支持基于语义相似度的快速检索， 解决了传统关键词匹配无法捕捉上下文关联的问题‌。

如果使用传统数据库（如MySQL）结合关键词检索，但无法实现语义理解，可能导致漏检或误检‌。 举个例子，同一个query进行搜索：“2024年腾讯的技术创新”。

  • 向量数据库能匹配到语义相近但未包含关键词“腾讯”的文档（如“WXG的研发进展”）

  • 传统数据库只能匹配到包含关键词的
    在这里插入图片描述
    那向量数据库是怎么知道语义相似的？

我们先明白向量数据库存储的是向量，不是文本，文本是大家能看懂的文字，而向量是一串浮点型数据。那么当所有的文本都成了浮点型数据后，计算机可以通过数学公式（比如余弦相似度），量化语义相似性。
在这里插入图片描述

传统数据库用原始文本检索，则无法处理同义词、多义词、语境差异等语义问题（例如“苹果”可能指水果或公司）‌，所以很多传统搜索都会进行query改写这一步，来让搜索的输入query更精确。当然不仅仅是文本，万物皆可embedding，图片、videos、音频等等…

三、RAG 过程

在这里插入图片描述

RAG过程

回到最开头的例子：

  1. 当用户对大模型提问，“美国的成立时间”

  2. 此时会通过embeding模型将文本转成向量

  3. 再到向量数据库中搜索语言相近的内容

  4. 向量数据库会给出一个TopK，例如 Top100

  5. 接着在进行过重排序模型，再筛选出Top N，例如 Top10

  6. 将搜索到的内容和用户所搜索的query词"美国的成立时间"整个成一个prompt一起给LLM

  7. LLM基于这些输入内容和自身内容进行输出。

这样就可以有效的控制大模型输出尽可能的相关并且语义相通的内容。

那么向量数据库如何构造呢？

在这里插入图片描述

其实很简单:

  1. 将文章进行分片成多组chunk，也就是大量文本分解为较小段
  2. 进行向量化
  3. 存到向量数据库

那这里为什么要进行chunking呢？

chunking是为了把相同语义的 token 聚集在一起，不同语义的 token 互相分开，在长文档中各个片段的语义可能存在较大差异，如果将整个文档作为一个整体进行知识检索，会导致语义杂揉，影响检索效果。 将长文档切分成多个小块，可以使得每个小块内部表意一致，块之间表意存在多样性，从而更充分地发挥知识检索的作用。

所以如果我们的块太小会导致错过真正的相关内容，太大则可能导致搜索结果不准确

参考

[1] https://aws.amazon.com/what-is/retrieval-augmented-generation/
[2] https://blog.csdn.net/2301_78285120/article/details/144360003

四、如何系统学习掌握AI大模型？

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

在这里插入图片描述

4. 2024行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

在这里插入图片描述

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】

【深度学习基础】一篇搞懂什么是RAG（检索增强内容生成）？
十二月的猫
08-15 1245
有一个名为LangChain的流行开源库，它可以创建聊天机器人，其中包括用 3 行代码对任何网站/文档进行问答。这是LangChain 文档中的一个示例理解问题根据问题内容在网站/文档中检索信息将其中和问题相关的信息输出")它输出特定于 Paul Graham 文章（greatwork）的答案：注意：如果您有兴趣，可以尝试根据 Paul Graham 的文章构建的聊天机器人。第一次运行它时感觉就像纯粹的魔法。这到底是如何工作的？答案是一个称为。
大模型——最全梳理 一文搞懂RAG技术的5种范式！
03-26 324
高级 RAG 引入了具体的改进措施，以克服 Naive RAG 的局限性。为了提高检索质量，它采用了检索前和检索后策略。为了解决索引问题，高级 RAG 通过使用滑动窗口方法、细粒度分割和元数据的整合，改进了索引技术。此外，它还采用了多种优化方法来简化检索过程。模块化 RAG 架构超越了前两种 RAG 范式，具有更强的适应性和多功能性。它采用了多种策略来改进其组件，例如为相似性搜索添加搜索模块，以及通过微调完善检索器。为应对特定挑战，还引入了重组 RAG 模块和重排 RAG 管道等创新方法。
大模型RAG入门及实践
奇舞周刊
05-14 1900
本文作者系360奇舞团前端开发工程师前言在大语言模型（LLM）飞速发展的今天，LLMs 正不断地充实和改进我们周边的各种工具和应用。如果说现在基于 LLM 最火热的应用技术是什么，检索增强生成（RAG，Retrieval Augmented Generation）技术必占据重要的一席。RAG 最初是为了解决 LLM 的各类问题的产生的，但后面大家发现在现阶段的很多企业痛点上，使用RAG好像是更好的...
大模型系列——解读RAG
我相信......
02-04 3227
RAG 是2023年最流行的基于 LLM 的应用系统架构。有许多产品几乎完全建立在 RAG 之上，覆盖了结合网络搜索引擎和 LLM 的问答服务，到成千上万个数据聊天的应用程序。很多人将RAG和Agent 作为大模型应用的两种主流架构，但什么是RAG呢？RAG又涉及了哪些具体的技术呢？1. 什么是RAGRAG即检索增强生成，为 LLM 提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG ...
【智泊AI】一文讲清RAG：检索、增强、生成
javatiange的博客
03-27 715
当LLM进行文本创作时，可实时调用检索系统获取外部知识库中的最新数据，将经过验证的事实信息与模型本身的语义理解能力相结合，从而生成内容可信度更高、信息更新鲜且更贴合用户场景的优质文本。在"检索-增强-生成"的三元架构中，知识库的检索结果（问答对）实质上是作为增强要素注入到初始提示模板中，经过语义增强的提示信息（prompt）才是大语言模型进行答案生成的基础原料。2.增强：RAG框架的增强机制是指将检索子系统获取的相关文档作为先验知识注入生成模型的解码端，以此突破大模型参数化知识的局限性。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1313
参考 [小学生也能听得懂的大模型 Transformer 1]
什么是RAG？大模型和RAG有什么关系？
m0_48891301的博客
03-27 852
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索与文本生成的技术，旨在通过引入外部知识库，增强大语言模型（LLM）的生成能力，解决其固有缺陷，如知识更新滞后、幻觉（生成不准确内容）和领域知识不足等问题。其核心是通过检索相关外部信息，将这些信息与大模型内部知识结合，生成更准确、可靠的回答。RAG通过“检索+生成”的协同机制，将大模型的语言能力与外部知识库的动态信息结合，显著提升了生成内容的准确性与实用性。大模型提供基础智能，RAG赋予实时知识与领域深度。
5分搞懂大模型 - RAG（检索、增强、生成）
2401_85327249的博客
09-01 5182
RAG（Retrieval-Augmented Generation，检索增强生成） 是一种结合了信息检索技术与语言生成模型的人工智能技术。该技术通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG模型由Facebook AI Research（FAIR）团队于2020年首次提出，并迅速成为大模型应用中的热门方案。
大模型技术知识点：RAG
h1453586413的博客
06-18 2782
RAG的核心思想是让语言模型在生成回答或文本时能够动态地从外部知识库中检索相关信息。这种方法能够提高模型生成内容的准确性、可靠性和透明度，同时减少“幻觉”（即模型生成看似合理但实际上错误的信息）。
一文搞懂大模型、RAG、函数调用、Agent、知识库、向量数据库、知识图谱、AGI的区别和联系！！...
musicml的博客
06-02 4473
▼最近直播超级多，预约保你有收获—0—背景我们要把 AI 大模型当做人的大脑，因此调用 AI 大模型，相当于调用一个人，把 AI 大模型当人看，TA 懂人话、TA 说人话、TA 会直接给出结果，但结果不一定正确。因此在 AI 大模型的推理基础上，通过 RAG、Agent、知识库、向量数据库、知识图谱等技术手段实现了真正的 AGI（通用人工智能）。这些技术到底有哪些区别和联系，下图作了横向对比，接下...
一文读懂：大模型RAG
weixin_42029738的博客
06-11 1154
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
大模型系列——一文搞懂RAG构建知识库和知识图谱
最新发布
2401_84052244的博客
04-29 68
向量化通过Embedding模型将非结构化数据（文本、图像等）映射为高维语义向量，存储则依托专用向量数据库（如ElasticSearch的dense_vector字段、Milvus）构建高效索引（HNSW、FAISS），支持近似最近邻搜索（ANN）实现大规模向量数据的快速相似性匹配。RAG构建知识库的核心在于将外部知识检索与大语言模型生成能力结合，通过高效检索为生成提供上下文支持，从而提升答案的准确性和时效性。**二、知识库和知识图谱********检索与生成的协同****三、Prompt 工程实践。
【AI大模型RAG】通俗地说说RAG及其与大模型的结合
bugyinyin的博客
12-16 733
RAG解决了一个大模型无法实时获取外部数据的问题，是一个非常大的进步。但RAG方案真的很好吗？我觉得不够好。打个比方，这个外部查询数据再送给大模型的方法，有点类似于一个教授在写论文，但它依靠的输入是一个小学生查的资料，并且这个资料它还必须用。你说教授能写出好论文？但当前也没有更好的方案来解决这个问题。所以，在没有更好的方案之前，它仍然是最好的。因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。
一文读懂RAG
wangziling123456的博客
04-26 3537
在 RAG 系统中，我们通常需要进一步处理检索到的内容。另一个优势是将信息检索过程转化为LLM可以理解的指令，从而提高知识检索的准确性，并使LLM能够生成上下文连贯的响应，从而提高RAG系统的整体效率。[88] 较大的块可以捕获更多的上下文信息，但也会产生更多的噪声，需要更长的处理时间和更高的成本。例如，对于某些特定类型的查询，可以选择特化的检索模块，或者针对特定的生成任务，选择一个适合该场景的生成器。粗粒度检索单元提供更相关的信息，但也可能包含冗余的内容，这可能会分散下游任务中检索器和语言模型的注意力。
用通俗易懂的方式讲解：一文详解大模型 RAG 模块
2301_78285120的博客
02-02 9592
RAG 技术是一种检索增强生成的方法，结合了大型语言模型和检索系统的优势，以提高生成内容的准确性、相关性和时效性。相比于仅依赖大型语言模型的生成，RAG技术可以从外部知识库中检索信息，避免了模型的幻觉问题，并提升了对实时性要求较高问题的处理能力。与传统的知识库问答系统相比，RAG技术更加灵活，可以处理非结构化的自然语言文本。RAG并非旨在取代已有的知识库问答系统，而是作为一种补充，强调实时性和准确性，并且通过结合生成和检索机制来提升自然语言处理任务的效果。增强数据获取。
一文读懂：大模型RAG（检索增强生成）
热门推荐
m0_59164304的博客
04-11 3万+
本文概述 RAG 的核心算法，并举例说明其中的一些方法。RAG融合是一个强大的功能，能够提高RAG应用的语义搜索效率。通过使用语言模型生成多个查询并对搜索结果进行重新排序，RAG融合可以呈现更丰富多样的内容，并提供了一个额外的层次，用于调整应用。此外，RAG融合还可以实现自动纠正、节省成本以及增加内容多样性。但是，需要注意一些权衡，比如潜在的延迟问题、自动纠正的挑战以及成本影响。对于依赖常见概念但可能出现内部行话或重叠词汇的应用来说，RAG融合尤其有用。
大模型RAG从入门到精通（非常详细）看这篇就够了，草履虫都能轻松看懂！！！
EnjoyEDU的博客
08-08 2010
在RAG系统的实际应用中，需要工程和算法等的多方参与和努力，理论上有很多方法，在实践的过程中我觉得还需要大量的实验对比，不断验证和优化，也可能会遇到许多细节问题，比如可想到的异构数据源的加载和处理啊，知识的展示形态(文本、图片、表格)等是否能一起回答，提升下用户体验，以及建立一套自动化的评估机制，当然还有模型的持续迭代和大小模型的训练支持。作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。具体来说，设计了一个轻量级的检索评估器来评估检索到的文档的整体质量，并基于评估结果触发不同的知识检索操作。
一文搞懂大模型 - RAG（检索、增强、生成）
kuokay的博客
03-22 1168
RAG（检索-增强-生成，Retrieval-Augmented Generation）是一种结合了信息检索与文本生成的技术框架，旨在通过动态引入外部知识提升生成模型的效果。
一文读懂大模型 - RAG（检索、增强、生成）
shuizhudan223的博客
04-20 1069
知识截止问题：GPT-4 等大模型训练数据截止到 2023 年 10 月，无法处理 2024 年的最新事件（如行业政策变化、技术突破）领域知识匮乏：通用模型缺乏医疗、法律、金融等垂直领域的专业术语理解（如 "DICOM 影像" 在通用模型中可能被错误解析）事实性错误：斯坦福研究显示，GPT-4 在专业领域问答中的事实性错误率达 18.7%RAG 不是对大模型的简单修补，而是开启了 "模型能力 + 外部知识" 的协同进化新范式。
一文读懂 大模型RAG
03-08
### RAG模型概述 RAG（Retrieval-Augmented Generation）是一种融合了检索增强机制的生成型语言模型，由Facebook AI研究院（FAIR）提出。这种架构通过结合传统的基于检索的方法和现代的语言生成技术来提升自然语言处理任务的效果[^3]。 ### 工作原理详解 #### 数据获取阶段 在数据准备过程中，RAG利用外部知识库作为补充资源。当接收到输入查询时，系统首先会在预先构建的知识图谱或其他形式的大规模语料库中执行信息检索操作，找到最有可能帮助完成当前对话或任务的相关片段。 #### 动态上下文集成 不同于静态预训练模式下的纯生成方式，在线检索到的具体实例会被即时融入到解码器端口处，使得每次预测都能依据最新获得的真实世界证据来进行调整优化。这一特性赋予了RAG更强的情境适应能力，尤其是在面对开放领域问答、多轮次交互式聊天等复杂场景下表现尤为突出。 #### 双重评分机制 为了确保最终输出的质量，RAG采用了两步走策略：先是从候选集中挑选出若干高质量的回答选项；再经过一轮精细评估后决定最佳回复方案。具体来说就是分别计算每条建议得分——一方面考量它与原始请求之间的匹配度；另一方面也要顾及内部连贯性和逻辑一致性等因素。 ```python def rag_model_inference(query, knowledge_base): retrieved_docs = retrieve_relevant_documents(query, knowledge_base) generated_responses = [] for doc in retrieved_docs: response = generate_response_based_on_document(doc) generated_responses.append(response) best_response = select_best_response(generated_responses) return best_response ``` ### 应用案例分析 实际应用方面，《大模型RAG实战：RAG原理、应用与系统构建》一书中提供了丰富的实践指导和技术细节解析，涵盖了从理论基础到工程实现再到部署上线全流程的内容介绍。对于希望深入了解并掌握这项前沿技术的研究人员而言，这本书籍无疑是一个宝贵的学习资料来源[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值