Knowledge Graph Large Language Model (KG-LLM) for Link Prediction

最新推荐文章于 2024-12-20 11:18:14 发布
最新推荐文章于 2024-12-20 11:18:14 发布
阅读量347 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily Knowledge Graph 文章标签： 知识图谱 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/139170568
本文介绍了一种名为KG-LLM的新框架，用于知识图谱的链接预测。该框架将结构化知识图谱转换为自然语言提示，通过微调大型语言模型（LLM）来增强多跳链接预测。实验表明，KG-LLM提高了模型的泛化能力，尤其是在处理预训练中未见过的任务时。未来的工作将关注模型的推理过程、指令流程优化和提示质量过滤，以提升预测准确性和可靠性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《Knowledge Graph Large Language Model (KG-LLM) for Link Prediction》的翻译。

用于链接预测的知识图谱大语言模型（KG-LLM）

摘要

预测知识图谱（KG）中的多个链接是知识图谱分析领域的一个挑战，由于自然语言处理（NLP）和KG嵌入技术的进步，这一挑战越来越容易解决。本文介绍了一种新的方法，即知识图谱大型语言模型框架（KG-LLM），它利用了关键的NLP范式。我们使用我们的方法将结构化知识图谱数据转换为自然语言，然后使用这些自然语言提示来微调大型语言模型（LLM），以增强KGs中的多跳链接预测。通过将KG转换为自然语言提示，我们的框架旨在识别和学习实体的潜在表示及其相互关系。为了显示KG-LLM框架的有效性，我们在该框架内微调了三个领先的LLM，同时使用非ICL和ICL任务进行全面评估。此外，我们还探讨了该框架为LLM提供零样本功能以处理以前看不见的提示的潜力。我们的实验发现，我们的方法的性能可以显著提高模型的泛化能力，从而确保在不熟悉的场景中进行更精确的预测。

1 引言

2 相关工作

3 方法

4 实验

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Contextual Parameter Generation for Knowledge Graph Link Prediction
羊城迷鹿的博客
12-19 425
研究问题 提出了一种新的实体和关系交互的方式，即将关系看做是实体的上下文，并直接用关系来为不同的预测任务生成不同的模型参数，用生成的参数将头实体嵌入转换为尾实体嵌入 背景动机 目前已有的链路预测方法都是通过加性的方法(最常见的就是拼接之后做线性映射)将头实体和关系的嵌入结合后预测尾实体的，论文认为这种简单的交互限制了模型的表达能力，论文模型的结构如下 符号定义 假设头实体、关系和尾实体的嵌入分别定义为数学公式:es,r,ete_{s}, r, e_{t}es​,r,et​，实体和关系的嵌入集合分别表示为数
Enhancing Large Language Models (LLMs) for Telecommunications using Knowledge Graphs
最新发布
c_cpp_csharp的专栏
04-26 211
本文提出了一种结合知识图谱（KG）和检索增强生成（RAG）的框架（KG-RAG），旨在提升大型语言模型（LLM）在电信领域的专业能力。传统LLM在通用任务表现出色，但在电信等专业领域存在知识更新滞后、结构化推理不足等问题。作者通过构建电信领域KG，整合网络协议、标准、硬件组件等实体及其关系，并通过RAG动态检索相关知识片段，辅助LLM生成更精准的回答。实验表明，KG-RAG在Tspec-LLM数据集上的问答准确率达88%，显著优于RAG-only（82%）和LLM-only（48%）。
具有语义感知嵌入的开放知识图谱链接预测
m0_59548117的博客
04-25 707
本文提出了一个名为SeAE（Open Knowledge Graph Link Prediction with Semantic-Aware Embedding）的模型，旨在改进开放知识图谱（OpenKGs）中的链接预测任务。
论文解析—— NASE: Learning Knowledge Graph Embedding for Link Prediction via Neural Architecture Search
扣扣biubiubiu~
10-22 829
论文解析（CIKM 2020） NASE: Learning Knowledge Graph Embedding for Link Prediction via Neural Architecture Search 链接：https://arxiv.org/pdf/2008.07723.pdf 研究背景： 现有的知识图谱大多是不完整，且存在噪声，构建一个完备的知识图谱需要耗费大量的计算资源和存储空间，是不现实的。为了解决这一问题，提出了链接预测任务来预测知识图谱中任意两个实体之间是否存在关系，这一任务很快成
KG-LLM：加强知识图谱多跳推理，复杂问题推理问答
Debroon
08-08 1418
在知识图谱分析中，准确预测多个连接点之间的联系是一项颇具挑战性的任务，这要求模型能够理解并推理出所有中间的联系。本文提出了一种创新的框架——知识图谱大型语言模型（KG-LLM），它通过运用大模型来处理知识图谱的相关任务。我们先将知识图谱的结构化数据转化成自然语言形式，再利用这些自然语言的提示对大型语言模型进行微调，以提升在知识图谱中进行多跳链接预测的能力。这种将知识图谱转化为自然语言的设计，使我们的框架能够深入学习实体及其相互关系的内在表示。
Graph Retrieval-Augmented Generation: A Survey
weixin_44466434的博客
10-06 1211
1
【GNN4Medical】GNN在医疗领域发展和应用
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
11-21 1421
医疗AI在肿瘤方面应用综述 - 知乎。
发文热潮思路 LLM大模型x知识图谱
2401_88556812的博客
12-20 591
性能提升：在GPT-2 XL和GPT-J上的实验表明，GLAME显著提高了编辑后大型语言模型在使用编辑知识方面的泛化能力，特别是在多跳推理中，Portability Score分别提高了11.76%和10.98%。自主迭代机制：开发了一个基于工具选择和记忆更新的自主迭代机制，集成了微调的LLM、多功能工具箱、基于知识图谱的执行器和知识记忆，用于自主推理。知识图谱整合：将知识图谱整合到模型编辑中，提出了一种新颖有效的编辑方法，以结构化的方式整合编辑引起的知识变化。
GNN in KG(七) Topology-Aware Correlations Between Relations for Inductive Link Prediction in KG
qq_36618444的博客
03-04 1297
目录MethodsModeling correlations between relationsModeling graph structuresThe framework of TACTExperiments and Analysis 本文发表于AAAI2021，作者信息如下： 本文认为，许多现有的方法没有考虑到关系之间的语义相关性，这在现实世界的知识图中很常见。因此，本文提出了Topology-Aware CorrelaTions（TACT），将关系分为几种拓扑模式，然后提出一种关系网络(RCN)来学
论文浅尝 | KGNLI: 知识图谱增强的自然语言推理模型
开放知识图谱
01-28 2295
笔记整理 | 韩振峰，天津大学硕士链接：https://aclanthology.org/2020.coling-main.571.pdf动机自然语言推理 (NLI) 是自然语言处理中...
【论文翻译】KLMo: Knowledge Graph Enhanced Pretrained Language Model with Fine-Grained Relationships
weixin_42761685的博客
10-03 610
知识图谱（KG）中实体之间的交互作用为语言表征学习提供了丰富的知识。然而，现有的知识增强型预训练语言模型（PLMS）只关注实体信息，而忽略了实体之间的细粒度关系。在这项工作中，我们建议将KG（包括实体和关系）纳入语言学习过程中，以获得KG增强的预训练语言模型，即KLMo。具体来说，设计了一种新的知识聚合器来显式建模文本中的实体片段（entity span）和上下文KG中的所有实体和关系之间的交互。利用一个关系预测目标，通过远程监督来合并关系信息。
【论文笔记】Unifying Large Language Models and Knowledge Graphs：A Roadmap
Running Snail
10-30 1352
大模型与知识图谱的互相增强、协同融合和未来发展路线
CogMG: Collaborative Augmentation Between Large Language Model and Knowledge Graph（LLM和KG协同）
m0_60110713的博客
10-21 991
Abstract大模型已经成为问答应用程序中不可或缺部分本文介绍一个1）利用知识图谱解决LLM在QA场景中的局限性，明确针对知识覆盖不完整和知识更新不一致的问题。（2）LLM识别并分解知识图谱不存在的所需知识三元组，丰富这是图谱并是其更新与现实知识需求保持一致。
知识图谱(KG)和大模型(LLMs)双轮驱动的企业级AI平台构建之道暨行业调研
m0_59164520的博客
06-13 1314
本文探讨了在企业级别整合知识图谱（KGs）和大型语言模型（LLMs），突出它们在增强数据可访问性、准确性和人工智能实施方面的协同作用、应用和挑战。
Enhancing Large Language Models with Knowledge Graphs for Fact-aware Language Modeling
c_cpp_csharp的专栏
09-06 405
近年来，具有代表性的大型语言模型（LLM）ChatGPT由于其强大的涌现能力而备受关注。一些研究人员认为，LLM有可能取代知识图谱等结构化知识库，并作为参数化知识库发挥作用。然而，尽管LLM精通基于大型语料库的概率语言模式学习和与人类的对话，但与以前较小的预训练语言模型（PLM）一样，它们在生成基于知识的内容时，仍然难以回忆事实。为了克服这些限制，研究人员提出用基于知识的KGs增强数据驱动的PLM，将明确的事实知识纳入PLM中，从而提高其生成需要事实知识的文本的性能，并为用户查询提供更明智的响应。
总结：知识图谱KG+大模型LLM
安静的软件工程师
01-20 3616
知识图谱KG+大模型LLM
论文阅读笔记（四）——知识图谱补全（KGC）
Zichel77的博客
08-20 6683
创新性地将知识图谱嵌入空间改变为双曲曲面空间， 提出了HypE模型实现了更符合现实世界查询的复杂方式： 对多个简单Query的交集、 并集， 进行联合查询的嵌入表示Query对应的Answer空间规模可以动态调整： 复杂Query的Answer^间规格参数变大， 包含更多信息1、将参数生成应用到链接预测任务,关系视为上下文,生成操作头实体的函数参数2、 该方法仅用于改进无交互操作的模型，例如ConvE。
node similarity-based graph convolution for link prediction
11-15
节点相似性基于图卷积的链路预测是一种利用图神经网络进行链路预测的方法。在这种方法中，节点之间的相似性被用来指导图卷积神经网络学习节点表示，从而预测节点间的连接情况。 首先，我们需要计算节点之间的相似性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值