LLM - 大模型训练 RLHF 阶段的 PPO/DPO 策略公式与源码 教程

已于 2025-03-31 15:12:19 修改
阅读量1.5k 收藏 17
点赞数 13
分类专栏： 大模型 (LLM) 文章标签： 人工智能 大模型 RLHF PPO DPO 公式 强化学习
于 2024-11-26 15:16:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caroline_wendy/article/details/144057789
版权

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/144057789

免责声明：本文来源于个人知识与公开资料，仅用于学术交流，欢迎讨论，不支持转载。

RLHF

RLHF(Reinforcement Learning from Human Feedback, 人类反馈强化学习) 的训练过程，包括：

  • 第1阶段：RM(Reward Model, 奖励模型) 训练阶段。
  • 第2阶段：RL 算法提升模型的得分。

在大模型的指令微调之后，模型输出可能不符合人类偏好，需要使用强化学习优化模型(RLHF)，而奖励模型(RM)是强化学习的重要组件，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
GRPO / PPO / DPO 在医疗场景下的 LLM 优化与源码实战分析
努力分享一些人工智能相关的知识干货！
04-24 795
在医疗智能体系统中，任务高度复杂、容错要求极高、反馈滞后显著，因此 LLM 系统仅靠 Prompt 编排远远不够。为此，GRPO（Generalized Reward-Policy Optimization）、PPO（Proximal Policy Optimization）、DPO（Direct Preference Optimization）等 RL 策略成为强化智能问诊、医学问答、病历分析等 Agent 系统的关键优化路径。 本篇将以医疗为真实背景，逐步解析如何结合 LLM+RL 策略实现训练、如何构
LLM - 使用 LLaMA-Factory 微调 Qwen2-VL DPO(LoRA) 图像数据集 教程 (3)
AGI
11-26 2563
DPO(Direct Preference Optimization, 直接偏好优化) 是在 RLHF 阶段中使用的优化算法，通过直接利用人类的偏好数据来优化策略模型，无需定义明确的奖励函数或进行复杂的强化学习过程。DPO的优化目标是，增加偏好样本的对数概率与减小非偏好样本响应的对数概率，结合动态加权机制，以避免仅使用概率比目标时遇到的模型退化问题。
从0到1构建RLHF系统——小红书大模型团队的探索与实践
2401_85373691的博客
01-05 2173
在QCon上海2024大会上，小红书大模型团队分享了自研RLHF系统的设计和优化。本文将介绍，随着LLM的发展，超长文本、多模态、PPO（Proximal Policy Optimization）训练本身的复杂度等带来了巨大的技术挑战，AGI团队通过异构、同构组网架构以及一系列训推一体优化方案，全面超越开源框架，并展示了RLHF之后模型的效果提升。
【基础知识】DPO(Direct Preference Optimization)的原理以及公式是怎样的？
页页读
03-11 2万+
DPO方法的关键在于直接利用人类偏好数据来优化语言模型，从而避免了RLHF流程中奖励模型拟合和RL优化的复杂性和不稳定性。这种方法简化了偏好学习的过程，降低了实现的复杂性，并有可能提高模型根据人类偏好生成输出的效率和准确性。
Direct Preference Optimization (DPO)原理详解及公式推导
日常学习与专研的记录
09-19 1万+
本文讲解Direct Preference Optimization (DPO)原理以及推导过程。
DPO（Direct Preference Optimization）算法解释：中英双语
阿正的梦工坊
12-26 2617
DPO offers a lightweight alternative to PPO for preference optimization by directly leveraging preference data without relying on complex reinforcement learning frameworks.
OpenRLHF: 高性能强化学习微调框架指南
gitblog_00501的博客
08-13 1273
OpenRLHF: 高性能强化学习微调框架指南 OpenRLHFA Ray-based High-performance RLHF framework (for large models)项目地址:https://gitcode.com/gh_mirrors/op/OpenRLHF 目录结构及介绍 在OpenRLHF项目中, 下载并解压后的代码仓库主要包含以下关键目录和文件: 主要目录 sr...
OpenRLHF实践之Qwen2.5-0.5B微调
最新发布
qq_46325481的博客
02-20 3897
OpenRLHF 是一个基于 Ray、DeepSpeed 和 HF Transformers 构建的高性能 RLHF 框架：​本实验的基础设备是AutoDL租用的服务器。
实战Llama-3-70B RLHF-PPO训练耗时及成本
2401_85963303的博客
07-17 827
按照scaling law，越大的模型性能也越好同时训练的难度也大幅提升以下基于Llama-3-70B模型训练，对比SFT/PPO训练耗时运算平台为A800(80G)x8 总体训练耗时<2天上述为课程的实操结果课程内容：直播 + 往期录播 ++ 非调包源码 + 算法图解 + 课程PPT课程项目：垂域大模型实操 +进阶专题：**手撕LLaMA、**入门要求：Pytorch+神经网络或深度学习基础授课形式：每周2章节直播，5周上完前10章节价格：私聊单独咨询。
LLM - Llama 3 的 Pre/Post Training 阶段 Loss 以及 logits 和 logps 概念
AGI
01-10 1772
Llama 3 是 Meta 公司发布的开源大型语言模型，包括具有 80 亿和 700 亿参数的预训练和指令微调的语言模型，支持广泛的应用场景。在多个行业标准基准测试中展示了最先进的性能，特别是在推理、代码生成和指令遵循方面表现出色，超过了同等规模的商业模型。
【RLHF指南】常见的思维误区：避免陷阱，提升训练效果！
2401_85390073的博客
01-14 1058
暂时就写到这里吧，后面意识到更多的思维误区我再更新。之前我以为我只要会用 trl / deepspeed-chat / OpenRLHF 这种开源 RLHF 框架进行训练就够了，基本只看了 PPO 相关的知识。事实证明这样是不对的，老老实实按照 RL 发展史的顺序去学习，搞懂 TD-error，GAE 这种基础概念，很多认知都会焕然一新的。
dpo指标详解买入绝技_DPO指标,DPO指标详解,DPO是什么意思? - 股票入门
weixin_42506884的博客
12-23 5888
DPO股市指标怎么用？如何用DPO指标？2016-6-3DPO股市指标怎么用？如何用DPO指标？　　1、在0轴上方，设定一条超买线，DPO波动至超买线时，代表股价处于短期高点。　　2、在0轴下方，设定一条超卖线，DPO波动至超卖线时，代表股价处于短期低点。DPO股市指标是什么？DPO股市指标的含义2016-6-3DPO股市指标是什么？DPO股市指标的含义　　DPO即区间震荡线。移动平均线的形状，很...
DPO讲解
Swift's Blog
12-18 2869
PPO算法的pipeline冗长，涉及模型多，资源消耗大，且训练极其不稳定。DPO是斯坦福团队基于PPO推导出的优化算法，去掉了RW训练和RL环节，只需要加载一个推理模型和一个训练模型，直接在偏好数据上进行训练即可：[外链图片转存中…(img-zz2PfNyG-1702835338094)]moreLDPO​πθ​;
RLHF的替代之DPO原理解析：从RLHF、Claude的RAILF到DPO、Zephyr
热门推荐
结构之法 算法之道
11-06 2万+
今年5月份，斯坦福的一些研究者提出了RLHF的替代算法：直接偏好优化(Direct Preference Optimization，简称DPO)，其对应论文为《那其与ChatGPT所用的RLHF有何本质区别呢，简言之RLHF将奖励模型拟合到人类偏好数据集上，然后使用RL方法比如PPO算法优化语言模型的策略，以输出可以获得高奖励的responses(同时不会偏离原始SFT模型太远)
DPO（Direct Preference Optimization）原理和代码实战
niulinbiao的博客
01-14 2302
RLHF中的PPO流程复杂： 需要构建一个反映人类偏好的奖励模型而DPO本身是一种不需要强化学习的算法，简化了整个RLHF流程，训练起来会更简单。DPO 省略了两个模块，直接优化目标模型（Actor）的参数，使其生成更符合人类偏好的输出。简而言之，DPO不依赖强化学习中的“奖励”机制和“批评”机制，而是通过人类反馈直接指导优化过程。
图解OpenRLHF中基于Ray的分布式训练流程
zenRRan的博客
12-20 847
来自：大猿搬砖简记LLM所有细分方向群+ACL25/ICML25/NAACL25投稿群->LLM所有细分领域群、投稿群从这里进入！本文着重分析OpenRLHF中的PPO-Ray训练架构设计，没有使用过Ray的朋友也可以通过本文快速上手，本文共分成四块：1. 为什么用Ray2. 使用图例抽象出整体训练流程3. Ray核心知识速过4. 使用图例，进一步抽象出核心代码细节，包括：训练入口部署PPO...
LLM 直接偏好优化（DPO）的一些研究
qianggezhishen的专栏
08-24 2220
直接偏好优化（DPO）真是个突破性的进展，它让语言模型能更好地和咱们人类的喜好对上号。这玩意儿简单、效率高，而且还特别有效，简直就是搞研究的和实际应用者的超级利器。用上DPO，咱们就能打造出两种都牛气的语言模型：一种是能力超群的，另一种是和人类的价值观、意图紧密结合的。这样的模型，不仅聪明，还懂得咱们想要啥，能更好地服务于咱们的需求。
LLM —— 强化学习（RLHF-PPO和DPO）学习笔记
STAR GAME
08-28 3747
LLM中强化学习 RLHF部分学习
dpo指标详解买入绝技_股票经典指标之十三—DPO指标分析
weixin_35792468的博客
12-23 2270
原标题：股票经典指标之十三—DPO指标分析如果说移动平均线是长周期循环，股价波动是短周期循环。那么DPO的作用就是为了避免长、短周期互相干扰，让我们更加直观的看到股票整个趋势的运行。DPO即区间震荡线。移动平均线的形状，很像一条波浪状扭曲的绳子，股价在这条绳子的周围，上下来回穿梭。如果消除扭曲的波动，将这条绳子拉平，重心平衡点视为图表上的0轴。把当日价格与重心平衡点间的差距，绘制于0轴的上下方。如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ManonLegrand

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值