GraphRAG如何构建知识图谱Knowledge Graph

最新推荐文章于 2025-04-25 21:09:05 发布
最新推荐文章于 2025-04-25 21:09:05 发布
阅读量1.2k 收藏 19
点赞数 22
文章标签： 人工智能 LLM llama langchain GraphRAG 大语言模型 AI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Langchain/article/details/143503687
版权

GraphRAG工作的第一步，是将输入的文档集合，按一定的策略拆分成一个一个chunks，然后解析每个chunks，将chunk中所关注的实体(entity)和关系(relation)解析出来，以此构建知识图谱。

那问题来了，GraphRAG是如何抽取文本中的实体及其间的关系，是像以前NLP任务那样，通过标注文本词性的方式，来训练一个LSTM/GRU网络来实现吗？

其实，GraphRAG的知识图谱构建思想是简单和朴素的，它借助大模型的few shot能力，来提取输入文档中的实体关系，从而建立起知识图谱。GraphRAG的默认实现，是借助OpenAI的ChatGPT，基于默认的prompt模板，来提取关系实体，

考虑到不同文本所属领域不同，使用的语言也不同，所以对于不同的输入文本，需要对prompt模板进行微调(tune)。

GraphRAG的prompt模板有三种类型

  • Entity/Relation提取

指示LLM如何提取实体关系的prompt，该prompt源码路径：

http://github.com/microsoft/graphrag/blob/main/graphrag/index/graph/extractors/graph/prompts.py

  • 总结Entity/Relation描述

指示LLM如何对每个Entity/Relation的功能进行总结，该prompt源码路径：

http://github.com/microsoft/graphrag/blob/main/graphrag/index/graph/extractors/summarize/prompts.py

  • Claim提取

指示LLM如何提取每个Entity的Claim，这个Claim可以理解为Entity或Relation的属性，该prompt源码路径：

http://github.com/microsoft/graphrag/blob/main/graphrag/index/graph/extractors/claims/prompts.py

下面以提取Entity/Relation为例，讲解如何微调prompt。先看下提取Entity/Relation默认prompt内容：

Prompt包含Goal、Steps、Examples等几个部分，告诉LLM本次任务的目标是什么，如何达成这个目标，并举了几个例子，这些就是GraphRAG实现对特定文本进行实体抽取的秘密所在。

而微调prompt以适应当前任务的方法，就是修改Examples部分，将本次任务领域的实体关系，举些例子写进并替换Examples部分的例子，使得LLM能够识别并提取本次任务关注的实体关系类型。

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Langchain
关注
如何从头开始构建知识图谱 RAG，使用LangChain、FalkorDB 和 DAGWorks 创建知识图谱并实现 RAG 模型生产化
iCloudEnd的博客
05-27 275
如果您从事 AI 工作，您可能熟悉 RAG（检索增强生成）。典型的 RAG 流程包括以下步骤：通过将上下文文档转换为文本格式来构建向量索引；使用嵌入模型存储这些文本的向量表示；查询这些向量来找到最适合您查询的上下文；使用 LLM（例如 Llama 2 或 GPT-4）根据上下文生成答案。基于向量的搜索完全依赖于查询和数据库中文档之间的上下文相似性。因此，它们往往过于宽泛，并会错过数据点之间的复杂关系。
高级检索增强技术：Graph-RAG / Self-RAG：通过图谱关系联想、自我反思学习检索、生成和批判
AI天才研究院
02-21 609
RAG（Retrieval Argumented Generation）指的是通过 RAG 模型来对搜索结果进行增强的过程。具体来说，它是将检索技术和语言生成技术相结合来增强生成过程的一种技术，可以帮助传统搜索引擎生成更加准确、相关和多样化的信息来满足用户的需求。Graph RAG是一种基于知识图谱的检索增强技术，通过构建图模型的知识表达，将实体和关系之间的联系用图的形式进行展示，然后利用大语言模型 LLM进行检索增强。Graph RAG 将知识图谱等价于一个超大规模的词汇表，而实体和关系则对应于单词。
GraphRAG原理深入剖析-知识图谱构建
llm_way的博客
12-01 1476
GraphRAG（Graph Retrieval-Augmented Generation）是一种结合了知识图谱和图机器学习技术的新型检索增强生成模型，它的核心优势在于它能够将非结构化的文本数据转换为结构化的知识图谱，从而更高效地表示实体、关系及关键声明。通过知识图谱，GraphRAG能够提供更丰富的上下文信息，使LLM在回答复杂查询时能够更全面地理解问题，并生成更准确、更完整的答案。
GraphRAG与知识图谱
moneywenxue的博客
04-07 1335
Graph RAG 思想： 对用户输入的query提取实体，然后构造子图形成上下文，最后送入大模型完成生成知识图谱（Knowledge Graph）是一种以结构化形式描述现实世界实体及其关系的技术，通过将数据组织为“节点-边-节点”的三元组（如“北京-是-中国首都”），构建出语义关联的网络。实体（Entities）‌：表示具体或抽象的事物，如“李白”“北京”。‌关系（Relationships）‌：连接实体的边，定义交互方式，如“出生于”“首都”。‌。
GraphRAG
asd8705的专栏
07-07 1495
RAG 是一种自然语言查询方法，用于通过外部知识增强现有的LLM，因此如果问题需要特定知识，问题的答案会更相关。它包括一个检索信息组件，用于从外部源获取附加信息，也称为“基础上下文”，然后将其馈送到 LLM 提示以更准确地回答所需的问题。这种方法是最便宜和最标准的方法，可以通过额外的知识来增强 LLM 以回答问题。此外，它被证明可以减少 LLM 产生幻觉的倾向，因为这一代人更坚持来自上下文的信息，而这些信息通常是可靠的。由于该方法的这种性质，RAG 成为增强生成模型输出的最流行的方法。
一文搞懂GraphRAG（RAG + 知识图谱）
最新发布
m0_59235699的博客
04-25 1184
输入：近五年AI领域文献数据。
GraphRAG介绍
weixin_30563489的博客
09-13 431
目录GraphRAG1. 测试GraphRAG2. 流程解析3. Indexing过程阶段1：构建TextUnits阶段2：图提取（Graph Extraction）阶段3：图增强（Graph Augmentation）阶段4：社区总结（Community Summarization）阶段5: 文档处理阶段6：网络可视化4. Querying过程4.1. Local Search4.2. Glob...
AI测试入门：什么是 Graph RAG（基于知识图谱的检索增强生成）？
blues_C的博客
10-10 882
传统的RAG方法主要依赖于从大量文档中抽取文本片段来辅助LLM生成答案或内容。但这种方法存在一定的局限性，如缺乏足够的上下文信息、事实准确性和语言精确性等。为了解决这些问题，Graph RAG作为一种新兴的方法应运而生。Graph RAG（Graph Retrieval-Augmented Generation）是在传统的RAG基础上发展起来的，它通过引入图数据库技术，更加丰富和结构化的上下文信息，增强了LLM的理解深度和准确性。
GraphRAG：基于知识图谱的RAG，好用，贼贵！
qq_44887965的博客
12-14 628
官网：https://microsoft.github.io/graphrag微软开源的一项结合了知识图谱的检索增强生成技术。简单来说，它可以显著提升AI知识库的性能，让AI能根据你提供的文档，更准确地回答你提出的复杂问题。
GraphRAG 详解
m0_59164520的博客
07-24 3232
以 ChatGPT 为代表的大语言模型出圈后，企业级 LLM 的应用也越来越热，这其中一大部分应用都使用了 RAG 技术。传统 RAG 技术在某些场景下，可能存在以下几个问题，即使使用高级 RAG 方法通常也较难克服。1. 效率问题：基于向量的搜索方法采用数学方法，如聚类，树形结构或 HNSW 等近似最近邻算法，这些方法在处理极高维度数据，或非常复杂的信息结构时效果不好。另外，ANN 搜索算法如 HNSW 虽然可以提高效率，但构建和维护索引通常需要大量的计算资源。
GraphRAG详解
qq_25893567的博客
12-10 1511
DRIFT Search是GraphRAG最新的改进版本，也是GraphRAG正在探索的几项重大优化中的第一个。它既取了Globall Search的优点也补足了Local Search的缺点，但在实际工程里大家还是要结合业务场景选择最适合的方案。无论哪种搜索模式开发者都需要考虑搜索效率和LLM Tokens的资源消耗，都需要衡量召回精度、计算成本和时间成本的优先级，特别是在当前大模型应用开发领域，一定没有最优的解决方案只有最适合场景的解决方案。
大模型检索增强(RAG)技术之——GraphRAG，知识库产品必不可少的技术
CSDN_224022的博客
12-09 570
RAG技术的重难点，是怎么更高效和更准确的检索数据知识库技术作为大模型技术的一个重要应用方向，也是对大模型技术的一个重要补充；特别是在问答系统，如智能客服等领域，知识库有着非同一般的作用。‍‍从技术的角度来说，一个智能客服的好坏，除了大模型本身的质量之外，更多的是由知识库决定的。因此，知识库的作用不言而喻，而怎么才能做出一个合格的知识库，需要使用哪些技术。今天，我们就来讨论一下GraphRAG知识库技术。
初识GraphRAG
奇舞周刊
02-10 739
本文作者系360奇舞团前端开发工程师随着大语言模型(LLM)飞速发展，LLMs正在以前所未有的速度改变着我们与信息互动的方式。然而，尽管 LLMs 具有强大的功能，但确存在一些明显缺点，比如幻觉问题、可解释性差、抓不住问题重点、隐私和安全问题等。大模型问题信息准确性问题：生成式模型可能会“幻觉”（hallucinate），即生成与事实不符的内容。比如预训练的数据不完整、过期，模型采用的训练策略有特...
GraphRAG：一种新型的RAG技术
产品老A，7年互联网大厂AIPM，专注探索新型人机交互
07-18 5412
微软前几天发布的 GraphRAG 架构非常厉害，但是具体的原理和内容可能不太好理解。Neo4j 的 CTO 写了一篇详细的文章《GraphRAG 宣言：为 GenAI 增加知识》，通俗易懂的介绍了 GraphRAG 的原理、与传统 RAG 的区别、GraphRAG的优势、知识图谱的创建和利用知识图谱工作。
深度解析：GraphRAG——知识图谱与RAG技术的完美结合，非常详细收藏我这一篇就够了！
2401_84204207的博客
02-07 1212
在介绍RAG之前，先来介绍一下Langchain-chatchat的自定义Agent功能，由于在工作中遇到的业务场景，希望将预测模型（经典时序预测模型、深度时序预测模型、时序大模型）作为Agent供大模型去调用，因此基于Qwen2大模型基座，实现了自定义Agent功能。
GraphRag实战篇：RAG+知识图谱，提升模型推理能力的大杀器，值得收藏！
热门推荐
xx_nm98的博客
10-16 1万+
经典RAG应用的范式与架构已经非常流行，我们可以在很短的时间内借助成熟框架开发一个简单能用的RAG应用。但是传统的RAG系统有个非常大的局限，即不善于处理复杂关系推理、总结性问题和多跳问题。因为传统RAG需要对文本进行分块，然后进行向量化存储，这种处理模式就会天然导致RAG在全局查询或总结上的表现不会太好。比如面对这样的问题，“《跨越鸿沟》这本书整体上讲了什么？请撰写一份2000字的总结”，传统RAG大概率会表现不及格。
Graph RAG: 知识图谱结合 LLM 的检索增强
weixin_44324814的博客
10-10 2333
RAG（Retrieval Argumented Generation）这种基于特定任务/问题的文档检索范式中，我们通常先收集必要的上下文，然后利用具有认知能力的机器学习模型进行上下文学习（in-context learning），来合成任务的答案。这次，我们借助 LLM 的力量，强化下 RAG。
GraphRAG深入解析
马超的博客
07-25 1789
GraphRAG 建立在微软之前使用图机器学习的研究和工具的基础上。GraphRAG 流程的基本步骤包含索引和查询两部分。此时，我们有一个实体和关系的图、实体的社区层次结构以及 node2vec 嵌入。现在，我们希望基于社区数据并为每个社区生成报告。这让我们可以从多个粒度点对图表有一个高层次的了解。例如，如果社区 A 是顶级社区，我们将获得有关整个图表的报告。如果社区是较低级别的，我们将获得有关本地集群的报告。生成社区报告在此步骤中，我们使用 LLM 生成每个社区的摘要。
技术动态 | GraphRAG：设计模式，挑战和落地指南
开放知识图谱
06-14 1784
转载公众号| 知识图谱科技GraphRAG (基于知识图谱检索增强生成) 通过将知识图谱 (KGs) 或图形数据库与大型语言模型 (LLMs) 集成，增强了传统的检索增强生成 (RAG) 方法。它利用图形数据库的结构化特性，将数据组织为节点和关系，以更高效准确地检索相关信息，并为生成响应提供更好的上下文，使LLMs感知到更多的信息。通过将知识图谱作为结构化的、领域特定的上下文或事实信息的来源，G...
GraphRAG 知识图谱
03-26
### GraphRAG 知识图谱的实现方法与应用 #### 1. GraphRAG 的核心功能 GraphRAG 是一种结合知识图谱和大模型的技术框架，它通过构建详细的文档和实体关系图谱来提升大型语言模型的能力。这种技术不仅增强了模型的理解力，还提高了其推理能力和回答准确性[^2]。 #### 2. 构建过程概述 GraphRAG 的实现依赖于以下几个关键环节： - **数据收集与预处理**：从各种来源获取结构化和非结构化的数据，并对其进行清洗和标准化。 - **实体识别与链接**：利用自然语言处理技术和机器学习算法提取文本中的实体并将其链接至已有的知识库。 - **关系抽取**：分析实体之间的语义关系，形成节点间的关系边。 - **图谱生成**：将上述信息整合成一个完整的知识图谱，支持后续查询和推理操作。 #### 3. 技术细节 为了更好地适应不同场景的需求，GraphRAG 可采用多种方式构建知识图谱。例如，对于通用知识图谱而言，通常会涉及更广泛的数据源以及更加复杂的模式设计；而对于领域专用的知识图谱，则可能侧重于某一行业的专业知识和技术标准[^1]。 此外，在实际开发过程中还需要考虑如何平衡自动化程度与人工干预比例——完全依靠规则驱动的方法虽然精确度高但扩展性差，单纯依赖统计学手段又可能存在噪声干扰等问题。因此，混合型策略往往成为优选方案之一。 #### 4. 应用实例 借助于所建立起来的强大背景支撑体系，GraphRAG 能够应用于多个方面，包括但不限于智能问答系统、个性化推荐引擎等领域。具体来说，当面对复杂问题时，该平台可以通过检索关联性强的相关条目快速定位答案所在位置，从而有效缩短响应时间并提高用户体验满意度。 ```python # 示例代码展示简单的实体关系存储逻辑 class KnowledgeGraph: def __init__(self): self.entities = {} def add_entity(self, entity_name, attributes=None): if not attributes: attributes = {} self.entities[entity_name] = {"attributes": attributes, "relations": []} def add_relation(self, source, target, relation_type): if source in self.entities and target in self.entities: self.entities[source]["relations"].append((target, relation_type)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值