- 博客(1361)
- 收藏
- 关注
RSS订阅原创 大家都在用Agent做什么？7种Agent框架对比！国内一站式Agent搭建平台大盘点！
代理（Agent）乃一种智能实体，具备自主环境感知与决策行动能力，旨在达成既定目标。作为个人或组织之数字化替身，AI代理执行特定任务与交易，其核心价值在于简化工作流程，削减繁复性，并有效降低人力投入与沟通障碍，促进效率与协作的双重提升。简而言之，代理技术让AI成为高效助手，助力个人与组织在复杂多变的环境中更加游刃有余。
2025-06-25 11:04:30
892
原创 大模型应用开发：大模型分类和常见大模型
语言大模型（NLP）：是指在自然语言处理（Natural Language Processing，NLP）领域中的一类大模型，通常用于处理文本数据和理解自然语言。这类大模型的主要特点是它们在大规模语料库上进行了训练，以学习自然语言的各种语法、语义和语境规则。例如：GPT系列（OpenAI）、Bard（Google）、文心一言（百度）。
2025-06-25 11:02:40
970
原创 如何搭建个人AI知识库？个人整体思路总结
分享一下我的整体思路。我觉得方法都是次要的，因为每个人的需求、情况都不同——唯有思路可以借鉴。出发点和对应解法：
2025-06-21 20:05:08
1058
原创 RAG知识库搭建，手把手教你构建RAG系统
自从发现可以利用自有数据来增强大语言模型（LLM）的能力以来，如何将 LLM 的通用知识与个人数据有效结合一直是热门话题。关于使用微调（fine-tuning）还是检索增强生成（RAG）来实现这一目标的讨论持续不断。检索增强生成 (RAG) 是一种使用来自私有或专有数据源的信息来辅助文本生成的技术。它将检索模型（设计用于搜索大型数据集或知识库）和生成模型（例如大型语言模型 (LLM)，此类模型会使用检索到的信息生成可供阅读的文本回复）结合在一起。
2025-06-21 20:03:30
1082
原创 别再傻傻分不清！一文讲透大模型里的 RAG、Agent、微调和提示词工程
CSDN独家福利最近，人工智能大模型火得一塌糊涂，各种新名词也层出不穷：RAG、Agent、微调、提示词工程……是不是听着就头大？别担心，今天咱们就用大白话，把这些概念一次性讲清楚，让你彻底搞懂它们是什么、有什么用，以及它们之间的区别和联系。
2025-06-19 19:13:01
1039
原创 从大模型（LLM）、检索增强生成（RAG）到智能体（Agent）的应用
通过上一章的介绍，你可以发现OpenAI已经大规模使用工程化的技术使用户能够基于自己的知识库对其GTP系列大模型进行“增强”，从而实现更加垂直化、个性化的能力。那么，如果你基于成本或安全的考虑，想在私域进行自有知识库的“增强”，甚至切换成其它的大模型来使用这个“增强”，就不得不考虑自行开发实现了，这时候就需要了解检索增强生成（RAG）概念和向量数据库技术的应用。检索增强生成（RAG）技术人工智能的应用方法，它通过结合传统的信息检索技术与最新的生成式深度学习模型，来提升信息的准确性和相关性。
2025-06-19 19:12:02
1116
原创 AI企业赋能！如何利用大模型赋能生产并提升竞争力？
如今，大模型的种类繁多，涵盖面广，但如何把它们应用到企业自身的业务当中，提升企业的技术水平和市场竞争力，却需要考虑到一个非常关键的问题：如何将大模型落地？这需要我们深入探讨大模型的投入成本和收益是否值得，并寻找有效的应用领域。如果我们没有思考清楚这些问题，企业要么盲目跟进，要么躺平观望。在长远发展的角度来看，清楚地认识到大模型的实际价值和应用领域，对企业的发展至关重要。
2025-06-18 10:50:20
896
原创 ai蒸馏核心讲解，什么是蒸馏技术？
“蒸馏”技术实际上是指知识蒸馏（Knowledge Distillation），这是一种用于压缩和优化大模型的机器学习方法。其核心思想类似于传统蒸馏：大模型（教师模型）包含丰富的知识，而小模型（学生模型）通过学习大模型的输出，从而在保持高性能的同时降低计算成本。
2025-06-18 10:47:11
374
原创 在中国做AI难，做AI Agent容易
基于其内部的知识库、工作流模型和强大的推理能力，对感知到的信息进行分析、判断，并规划出实现目标的最佳行动路径。在中国可以轻松地实现从规划、订票、支付到入住的全流程自动化，这在很多支付和信用体系尚不完善的国家是难以想象的。从电商、外卖、短视频、网约车，到工业制造、智慧城市、数字政务，几乎所有行业都完成了深度的数字化改造。的关键，它能从每一次任务执行的成功与失败中学习，不断优化自身的知识库和决策模型，形成长期记忆，变得越来越。从赋能平台的兴起，到垂直行业的深度耕耘，我们已经看到，中国的。
2025-06-17 13:50:02
591
原创 RAG 2.0时代来临，我们会面对什么？
相比之下，全文搜索和稀疏向量主要表达精确的语义。LLM横行的年代，大多数人言则Agent，事实确实如此，LLM的落地一定是Agent，RAG也不例外。在具体实践过程中，除了将多路查询结果进行归一化之外，在将相关的文本分段交给大模型之前，我们一般会限制传递给大模型的分段个数（即 TopK，可以在重排序模型参数中设置），这样做的原因是大模型的输入窗口存在大小限制（一般为 4K、8K、16K、128K 的 Token 数量），你需要根据选用的模型输入窗口的大小限制，选择合适的分段策略和 TopK 值。
2025-06-17 13:45:50
768
原创 一文详解什么是知识蒸馏
在蒸馏过程中，将相同输入同时输入教师模型和学生模型，教师模型为学生模型提供知识指导，通过最小化学生模型输出与教师模型输出之间的差异（如使用交叉熵损失、均方误差损失等），优化学生模型参数，使学生模型学习教师模型的知识。教师模型训练过程中，能学习到数据中的“暗知识”，如数据分布规律、特征之间的隐含关系等。它通过将一个复杂的大模型（称为教师模型，Teacher Model）的知识转移到一个较小的模型（称为学生模型，Student Model）中，使得学生模型在保持较小规模的同时，能够尽可能地接近教师模型的性能。
2025-05-10 09:37:16
1276
原创 浅谈AI大模型中的蒸馏技术
蒸馏”技术实际上是指知识蒸馏（Knowledge Distillation），这是一种用于压缩和优化大模型的机器学习方法。其核心思想类似于传统蒸馏：大模型（教师模型）包含丰富的知识，而小模型（学生模型）通过学习大模型的输出，从而在保持高性能的同时降低计算成本。前排提示，文末有大模型AGI-CSDN独家资料包哦！1.知识蒸馏的过程教师模型（Teacher Model）训练先训练一个大规模基础模型，这个模型能力很强，但计算开销大。生成软标签（Soft Labels）
2025-05-10 09:35:08
707
原创 大模型减肥秘籍：蒸馏、RAG和微调，让你轻松玩转大模型
蒸馏：让小模型继承大模型的智慧，适合“减肥”跑得快。RAG：给模型加个外援，适合知识密集型任务。微调：精修短板，适合定制化需求。这三招就像武侠里的不同武功，蒸馏是“传功”，RAG是“借力”，微调是“点穴”，看你需要啥就用啥。CSDN独家福利。
2025-05-09 10:38:57
668
原创 人人都能懂的大模型知识：大模型预训练/微调/rag/蒸馏
在DeekSeek R1的论文中提到，通过蒸馏让QWen等模型获得了同等的效果。那么，什么是蒸馏？2014年，Geoffrey Hinton在 Distilling the Knowledge in a Neural Network 中提出知识蒸馏的概念：即将一个复杂的大模型（Teacher Network）上学习到的知识迁移到另一个更适合部署的小模型上（Student Network）。
2025-05-09 10:34:53
960
原创 微调（Fine-tuning）大模型常见方法详解
微调大模型的常见方法有很多种，选择哪种方法取决于读者的数据量、计算资源、任务需求等因素。全量微调：适用于大数据量、充足计算资源的情况，效果最直接。冻结部分层：适用于小数据量场景，能减少过拟合。添加任务特定层：适用于需要特定输出的任务，如分类、回归等。低秩适配：适用于资源受限或者需要轻量级微调的情况。知识蒸馏：适用于将大模型知识迁移到小模型，提升推理效率。CSDN独家福利。
2025-05-09 10:32:52
770
原创 一文带你搞懂什么是蒸馏微调和RAG
模型蒸馏是一种模型压缩和知识迁移的技术，旨在将一个大型、复杂且性能优异的教师模型中的知识传递给一个较小、计算效率更高的学生模型。（老师把复杂知识浓缩成简单方法教给学生，学生成为"小老师"，能用更少的力气解决大部分问题） 通过蒸馏，学生模型可以在保留教师模型大部分性能的同时，显著减少计算成本和模型参数规模。（老师懂得多但贵，学生便宜但也懂老师的皮毛，也能用、性价比高！AI里就是：大模型回答问题的时候，先快速搜索公司自己积累的资料（比如产品手册、客户档案），再结合自己的知识回答问题。二 蒸馏/微调/RAG。
2025-05-09 10:31:05
309
原创 开发者主要依赖的三大技术路径深度解析：检索增强生成、模型微调、知识蒸馏
在技术选型的十字路口，没有绝对的最优解。RAG以其灵活的知识整合能力在动态场景中闪耀，微调在深度领域适应中展现统治力，而蒸馏则在效率至上的战场开疆拓土。明智的架构师应像交响乐指挥家一样，让不同技术在自己的音域完美发声，最终谱写出AI落地的华美乐章。
2025-05-08 10:35:44
760
原创 重磅消息，新一代通义千问模型 Qwen3正式开源了！
2025 年 4 月 29 日凌晨，阿里正式开源了新一代通义千问模型 Qwen3，这一举动无疑在人工智能领域投下了一颗重磅炸弹，Qwen3 凭借其卓越的性能和诸多创新优势，迅速登顶全球开源大模型王座，让众多开发者和研究人员为之振奋。前排提示，文末有大模型AGI-CSDN独家资料包哦！Qwen3 是阿里巴巴通义千问团队推出的最新一代大型语言模型。它包含 8 个不同尺寸的模型，既有稠密模型（Dense Model），也有混合专家（Mixture-of-Experts，MoE）模型。
2025-05-08 10:32:29
1305
原创 微调大模型的常见方法全解
微调大模型的常见方法有很多种，选择哪种方法取决于读者的数据量、计算资源、任务需求等因素。全量微调：适用于大数据量、充足计算资源的情况，效果最直接。冻结部分层：适用于小数据量场景，能减少过拟合。添加任务特定层：适用于需要特定输出的任务，如分类、回归等。低秩适配：适用于资源受限或者需要轻量级微调的情况。知识蒸馏：适用于将大模型知识迁移到小模型，提升推理效率。
2025-05-08 10:30:25
990
原创 深入剖析Ollama和vLLM，最全面的选型建议和使用指南
在人工智能领域，大语言模型（LLM）的应用日益广泛，选择合适的推理（部署）框架对实现高效、稳定的模型运行至关重要。Ollama和vLLM作为当下流行的LLM部署工具，各具独特优势与适用场景。本文将深入剖析二者的优缺点，并给出选型建议，同时附上它们的具体使用案例，以便读者更直观地了解其应用情况。
2025-05-08 10:24:08
980
原创 Docker使用指南
1、根据操作系统选择合适的版本下载。 2、双击下载的安装文件，按照提示完成安装。 3、安装完成后，启动 Docker Desktop。 若安装过程中出现：
2025-05-07 17:42:35
1287
原创 开源 AIAgent平台 Dify使用指南
Dify 和 Coze 类似，也是通过可视化的方式进行 AI 应用构建，而且支持多种大语言模型，包含 GPT-3.5 、 GPT-4 等，同时，Dify 的另外一大优势是能接入本地化部署的大语言模型。当然，如果您不想自己部署，只想体验一下，官方提供了一定的免费额度，不过额度有限，文档上传限制了 50 个，而且 RAG 的向量空间也只有 5MB。对于AI 应用的初学者，Dify 平台的使用可以让大家更加深入了解 AI 平台的工作原理，同时，提供了将想法快速转变成 MVP 应用实践的渠道。
2025-05-07 17:36:49
2124
原创 2025年最新实践指南，含Windows/Linux环境部署、模型集成与高阶应用案例
Dify本地化部署核心价值1.1 为什么选择私有化部署？数据安全：企业敏感数据全程本地存储，避免第三方平台泄露风险性能可控：根据业务需求定制硬件配置（如GPU资源分配）模型自由：支持混合部署开源模型（Llama3、DeepSeek）与商业API（GPT-4、Claude）成本优化：长期使用场景下，本地部署比云服务节省60%以上费用
2025-05-07 17:30:27
698
原创 一口气搞懂知识蒸馏/微调/RAG
模型蒸馏是一种模型压缩和知识迁移的技术，旨在将一个大型、复杂且性能优异的教师模型中的知识传递给一个较小、计算效率更高的学生模型。（老师把复杂知识浓缩成简单方法教给学生，学生成为"小老师"，能用更少的力气解决大部分问题） 通过蒸馏，学生模型可以在保留教师模型大部分性能的同时，显著减少计算成本和模型参数规模。（老师懂得多但贵，学生便宜但也懂老师的皮毛，也能用、性价比高！AI里就是：大模型回答问题的时候，先快速搜索公司自己积累的资料（比如产品手册、客户档案），再结合自己的知识回答问题。二 、蒸馏/微调/RAG。
2025-05-07 17:25:28
276
原创 微调大模型的常见方法
微调大模型的常见方法有很多种，选择哪种方法取决于读者的数据量、计算资源、任务需求等因素。全量微调：适用于大数据量、充足计算资源的情况，效果最直接。冻结部分层：适用于小数据量场景，能减少过拟合。添加任务特定层：适用于需要特定输出的任务，如分类、回归等。低秩适配：适用于资源受限或者需要轻量级微调的情况。知识蒸馏：适用于将大模型知识迁移到小模型，提升推理效率。
2025-05-07 17:21:24
953
原创 微调和蒸馏详细技术全解
LLM 已经彻底改变了人工智能，特别是具有数十亿到数百亿参数的模型，使其在各种自然语言处理（NLP）任务中实现了最先进的表现。然而，它们庞大的体量带来了计算效率、适应性和部署可行性方面的挑战。微调和蒸馏这两种主要技术已经成为关键的优化策略。微调，这涉及调整预训练模型的参数，以提高在特定领域任务上的表现。
2025-05-07 17:18:52
733
原创 微调和蒸馏：详细技术全解
LLM 已经彻底改变了人工智能，特别是具有数十亿到数百亿参数的模型，使其在各种自然语言处理（NLP）任务中实现了最先进的表现。然而，它们庞大的体量带来了计算效率、适应性和部署可行性方面的挑战。微调和蒸馏这两种主要技术已经成为关键的优化策略。微调，这涉及调整预训练模型的参数，以提高在特定领域任务上的表现。
2025-03-18 11:23:57
1110
原创 微调基础概念一文全解
全量微调的一个最核心的应用场景就是全量指令微调，在当代大模型的训练流程中，首先需要进行模型预训练，在这个过程中我们需要输入大量不带标签的文本段落，让模型学习到语言的基本结构、语法规则、上下文信息等。毫无疑问，全量微调是一种算力消耗更大、但对模型的能力改造更为彻底的方 法，而高效微调则更类似一种“ 四两拨千斤”的方法，通过修改模型部分参数，来调整模型整体能力。例如，对于法律、医疗 等专业领域，可以使用少量的标注数据对预训练模型进行微调，帮助模型理解特定行业的术语、规 则和知识，进而提升专业领域的问答能力。
2025-03-18 11:21:22
568
原创 大模型微调揭秘：微调在实际应用中的具体过程和效果
是指经过大量数据训练的神经网络模型。这些模型通常具有非常复杂的结构和大量的参数，可以处理广泛的任务，理解和生成自然语言，常见的大模型有文心、GPT4、LLAMA等。
2025-03-18 11:11:21
1610
原创 大模型参数高效微调（PEFT）高效解析
2023年，大模型如雨后春笋般爆发，58同城TEG-AI Lab作为AI平台部门，紧跟大语言模型技术发展步伐，打造了大语言模型平台，支持大语言模型训练和推理部署，并基于大语言模型平台构建了58同城生活服务领域（房产、招聘、汽车、黄页）垂类大模型灵犀大语言模型（ ChatLing），支撑了业务方大模型应用的探索落地。灵犀大语言模型在公开评测集和实际应用场景下，效果均优于开源通用大语言模型以及商用通用大语言模型。在研发灵犀大模型过程中，我们在大模型参数高效微调
2025-03-18 11:04:19
985
原创 大模型微调和蒸馏有什么技术性差别？
大模型蒸馏（Knowledge Distillation）蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型模型（学生模型）的技术。通过训练学生模型模仿教师模型的行为，实现模型压缩和性能保留的目标。蒸馏过程通常包括两个阶段：预训练阶段（教师模型训练）和知识传递阶段（学生模型训练）。大模型微调（Fine-tuning）微调是指在预训练的大模型基础上，通过少量标注数据的再训练，使模型适应特定任务的需求。微调可以分为全量微调和参数高效微调（如PEFT）。
2025-03-17 21:44:01
1082
原创 大模型微调一文全解
所谓大模型微调，指的在已有的大规模预训练模型基础上，通过对标注数据进行训练，进一步优化 模型的表现，以适应特定任务或场景的需求。不同于RAG或者Agent技术，通过搭建工作流来优化模型表现，微调是通过修改模型参数来优化模型能力，是一种能够让模型“永久”掌握某种能力的方法。而从方法的大类上来划分，微调又可以划分为全量微调：带入全部数据进行微调，和高效微调：只 带入部分数据进行微调。毫无疑问，全量微调是一种算力消耗更大、但对模型的能力改造更为彻底的方 法，而高效微调则更类似一种“ 四两拨千斤”的方法
2025-03-17 21:42:42
1204
原创 5个顶级Agent框架，总有你不知道的
这种灵活性，再加上 Google Cloud 的可扩展基础设施，使 Vertex AI Agent Builder 成为那些希望在各种规模上部署 AI 解决方案的企业的强有力竞争者，从小型部门项目到潜在的大型企业范围的倡议。crewAI 的突出特点仍然是其基于角色的代理设计，能够创建高度专业化的 AI 团队，能够处理需要多样专业知识和观点的复杂工作流程。从AutoGen的复杂多代理系统到Cogniflow的用户友好的无代码方法，我们探索的每个平台都提供了独特的能力，以满足不同的企业需求。
2025-03-17 21:41:06
720
原创 AI Agent的崛起
AI Agent作为人工智能世界中的变革力量，它的崛起预示着一个更加智能化、自动化的未来。随着AI Agent技术的不断进步，我们有理由相信，它将深刻改变我们的工作和生活方式。它能够预测下一个词，生成连贯的文本。集成已有系统：能够与不同的系统、API接口对接，如访问邮箱、日历，操作数据库等。积极主动：能够监控数据流，根据用户偏好启动行动，并根据知识的积累调整行为。这一设想得到了业界的广泛认同，AI Agent被看作是AI发展的新趋势。随着人工智能技术的飞速发展，我们正站在一个全新的技术革命的门槛上。
2025-03-17 21:38:36
772
原创 AI Agent全解：原理、主流框架、设计模式及应用案例分享
OpenDevin 是一个开源的自主人工智能软件工程师，能够执行复杂的工程任务，并在软件开发项目中与用户积极协作，例如：如 “查找上个月 OpenDevin 仓库中的拉取请求数量”，还能处理软件工程任务，例如 “请为这个文件添加测试并验证所有测试都通过，如果没有修复该文件”。独响是一个安全，私密的轻笔记，你可以用来记录生活日常，学习感悟，所思所想，但独响又不仅如此，我们创造和移植了许多虚拟角色的灵魂，让他们成为你独响中的伙伴，他们会在你的记录下方评论，你可以和他们讨论，聊天，甚至是…
2025-03-17 21:37:30
1349
原创 DeepSeek提示词，让工作效率翻倍。
随着AI技术的火热发展，企业和个人用户需要搭建知识库的需求越来越迫切。如果自己动手搭建一个功能强大的知识库对于非专业技术人员来说可能面临挑战，更别说那些非专业人士了。我在网上看了大量相关的教程，大多数都是搬砖，偶尔看到一些非搬砖大佬写的教程，总会省略一些细节，导致很多人就算面对教程也是各种踩坑，折腾很久最后也都放弃了。
2025-03-10 14:56:01
1157
原创 大模型“瘦身”革命——模型压缩与加速
AI大模型的压缩与加速技术是解决其计算资源消耗和部署难题的关键。通过剪枝、量化、知识蒸馏、低秩分解和混合精度训练等技术，开发者可以在保持模型性能的同时，大幅降低其计算和存储需求。未来，随着自动化压缩技术和硬件协同优化的进步，AI大模型的部署将更加高效和环保。
2025-03-10 14:53:15
998
原创 大模型微调加速方法探究
通过本文可以了解：LoRA模型加速原理、peft包使用、Autocust自动混合精度、Accelerate和deepspeed加速、多GPU分布式训练等大模型加速训练和微调的方法和代码应用示例。近期大模型层出不穷，大家对于大模型的微调也在跃跃欲试，像斯坦福的[1], 清华的[2]，中文的[3]，让我这样的普通玩家也能训练自己的微调模型。在微调和推理的时候仍然需要加速，有哪些方法可以加速微调呢？
2025-03-10 14:51:26
961
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人