LLM - Llama 3 的 Pre/Post Training 阶段 Loss 以及 logits 和 logps 概念

已于 2025-01-10 15:02:31 修改
阅读量1.7k 收藏 23
点赞数 22
分类专栏： 大模型 (LLM) 文章标签： 人工智能 LLM Llama3 Loss logits logps DPO
于 2025-01-10 14:17:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/caroline_wendy/article/details/145056912
版权

欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/145056912

Llama 3 是 Meta 公司发布的开源大型语言模型，包括具有 80 亿和 700 亿参数的预训练和指令微调的语言模型，支持广泛的应用场景。在多个行业标准基准测试中展示了最先进的性能，特别是在推理、代码生成和指令遵循方面表现出色，超过了同等规模的商业模型。

Llama 3 Paper: The Llama 3 Herd of Models，Llama3 模型群

参考：大模型训练 RLHF 阶段的 PPO/DPO 策略公式与源码

1. Llama 3 Loss

Lla

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM-项目详解（一）：Chinese-LLaMA-Alpaca【transformers/models/llama/modeling_llama.py文件】
u013250861的博客
08-14 533
【代码】LLM-项目详解（一）：Chinese-LLaMA-Alpaca【modeling_llama.py文件】
LLM-项目详解-Chinese-LLaMA-AIpaca（二）：代码解读【①prompt指令制作、②合并分词器、③Lora模型与基础模型合并、③模型分片保存】
u013250861的博客
06-13 975
【代码】Chinese-LLaMA-AIpaca项目代码解读。
llama factory-train loss-函数图问题记录-疑似没收敛
yxx122345的博客
12-12 2520
Loss 的范围通常在。
Llama3.1--post-training要点一览
2401_85379281的博客
08-07 1682
在Llama-3的报告中，任何在pre-training之后发生的训练都属于post-training，包括SFT、DPO等。Llama-3的post-training不是一次完成的，而是多个round迭代进行，整个post-training包含6轮的SFT和DPO。
LLM的本质分析
最新发布
2401_85375151的博客
03-06 785
具体来说，使用几个指标均保留前 25% 的指令数据，包括指令长度（过滤掉过长的指令）、指令复杂度（PPL，过滤掉 PPL 过高的指令）、IFD 和 IC-IFD。实验表明，IC-IFD在在仅保留25％指令数据的情况下，要优于完整数据集，而其他指标则表现出不同程度的性能下降，从而证明了。
大模型LLM-输出的多样性
xiangxueerfei的博客
07-17 2981
Prompt Engineering 是一种技术，通过精心设计的文本提示来激发和指导语言模型，使其能够完成特定的任务或生成特定的内容。
Llama深入浅出
Python_Ai_Road的博客
08-06 2065
前方干货预警：这可能是你能够找到的最容易懂的最具实操性的学习开源LLM模型源码的教程。本例从零开始基于transformers库逐模块搭建和解读Llama模型源码(中文可以翻译成羊驼)。并且训练它来实现一个有趣的实例：两数之和。输入输出类似如下：输入："12345+54321="输出："66666"我们把这个任务当做一个文本生成任务来进行。输入是一个序列的上半部分，输出其下半部分.这和文本生成的输...
掌握大型语言模型（LLM）技术：推理优化
wdn blog
12-03 4908
大模型（LLM）推理优化技术整理。
LLM-项目详解（一）：Chinese-LLaMA-Alpaca【run_clm_pt_with_peft.py文件】
u013250861的博客
08-14 424
【代码】LLM-项目详解（一）：Chinese-LLaMA-Alpaca【run_clm_pt_with_peft.py文件】
LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的chec
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
08-31 1633
​ LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(处理【标记化+分块】+切分txt数据集)→优化模型配置(模型量化+匹配模型vocabulary大小与tokenizer+初始化PEFT模型【LoRA】+CheckPointing等)→模型训练(继续训练+评估指标+自动保存中间训练结果)/模型评
Meta最新模型LLaMA详解（含部署+论文）
热门推荐
学姐带你玩AI的博客
05-11 1万+
本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。向量空间中词表示的有效估计Hugo Touvron等Meta AI2023 arxivChatGPT相关工具：https://github.com/pengwei-iie/A_survey_and_tools_of_ChatGPT不过貌似好多都很麻烦，要部署，直接能用的没看见。。。「什么是LLaMA：」
llms 文本分类的微调
一休
09-10 1181
LLMS文本分类
LLaMA: Open and Efficient Foundation Language Models
qq_41200212的博客
11-06 875
本文介绍了LLaMA，是一个从7B到65B参数的基础语言模型集合。作者在数万亿计的token上训练该模型，证明了仅使用公开数据集也可以训练出SOTA级别的模型，而无需专有或未公开的数据集。最终实验结果显示，LLaMA-13B在大多数基准测试中要优于GPT-3(175B)，同时LLaMA-65B与最好的模型Chinchilla-70B、PaLM-540B相比具有竞争力。基于更多的参数会带来更好的性能这一假设，前人将模型越做越大。
LLM推理参数（top_k，top_p, temperature, num_beams）
ZhengrongYue的博客
04-06 3132
LLM推理参数（top_k，top_p, temperature, num_beams）
一文弄懂 LLM 结构化数据生成原理
2401_85324918的博客
07-28 778
目前 LLM（Large Language Model）从文本补全到内容创作，都展示出了强大的生成能力。然而通过 LLM 生成结构化的数据如 JSON 格式的输出，却仍然是一个有挑战性的任务。生成结构化的数据不仅要求模型输出符合特定的语法规则，还需要确保数据的正确性和一致性。虽然通过 prompt 工程可能可以实现指定格式的结构化数据生成，但是这也很大程度取决于模型的能力。本文将探讨如何结合人工规则让 LLM 输出符合 JSON 格式的数据。其实除了。
llama系列模型学习
weixin_40777649的博客
06-21 1666
而使用强化学习方法，则可以通过定制奖励函数，将正确答案赋予非常高的分数，将放弃回答的答案赋予中低分数，将不正确的答案赋予非常高的负分，使得模型学会依赖内部知识选择放弃回答，从而在一定程度上缓解模型的幻觉问题。与Llama 1 一样，将所有数字拆分为单独的数字，并使用字节来分解未知的 UTF-8 字符。这主要原因是用于训练语言模型的大数据语料库在收集时难免会包含一些错误的信息，这些错误知识都会被学习，存储在模型参数中，相关研究表明模型生成文本时会优先考虑自身参数化的知识，所以更倾向生成幻觉内容。
从零开始训练大模型
太阳当空照，花儿对我笑，微风轻轻拂，心情无限好。
09-21 5189
我们更倾向于 SFT 的目的只是将 Pretrained Model 中的知识给引导出来的一种手段，而在SFT 数据有限的情况下，我们对模型的「引导能力」就是有限的。这将导致预训练模型中原先「错误」或「有害」的知识没能在 SFT 数据中被纠正，从而出现「有害性」或「幻觉」的问题。为此，一些让模型脱离昂贵标注数据，自我进行迭代的方法被提出，比如：[
LLM - 使用 TRL 库 微调(Fine-Tuning) Llama3 以及合并微调模型 教程
AGI
08-15 1624
TRL(Transformer Reinforcement Learning) 是 HuggingFace 的全栈库，提供一套工具，用于通过强化学习训练 Transformer 语言模型，从 监督微调(Supervised Fine-tuning, SFT)、奖励建模(Reward Modeling, RM)、近端策略优化(Proximal Policy Optimization, PPO)。
详解各种LLM系列｜（1）LLaMA 1 模型架构、预训练、部署优化特点总结
weixin_49659123的博客
11-28 1622
整理了LLaMA 1 模型架构、预训练、部署优化特点
python3 -m venv llm/llama.cpp/.venv
05-04
"python3 -m venv" 是 Python3 自带的一个虚拟环境创建工具，可以用于创建 Python3 虚拟环境。"-m" 表示模块名，"venv" 表示要使用的模块。"llm/llama.cpp/.venv" 是你指定的虚拟环境目录名称，可以根据自己的需求自定义。 在运行 "python3 -m venv llm/llama.cpp/.venv" 命令后，会在当前目录下创建一个名为 "llm/llama.cpp/.venv" 的虚拟环境目录，该目录中包含了一个独立的 Python3 解释器和一个独立的 pip 包管理器，可以用于安装和管理 Python 包，同时也可以避免不同项目之间的包冲突问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ManonLegrand

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值