大模型微调的几种方式

大模型微调有全量微调FFT，和部分微调PEFT。

那么从训练数据的来源，以及训练的方法的角度，大模型微调有以下几个技术路线。

监督式微调SFT

第一个是监督式微调SFT(Superivised Fine Tuning)，这个方法主要是用人工标注的数据，用传统机器学习中监督学习的方法，对大模型进行微调。

人类反馈的强化学习RLHF

第二个是基于人类反馈的强化学习微调RLHF(Reinforcement Learning with Human Feedback）这个方法的主要特点是把人类的反馈，通过强化学习的方式，引入到大模型的微调中去。让大模型生成的结果，更加符合人类的一些期望。

AI反馈的强化学习微调RLAIF

第三个是基于AI反馈的强化学习微调RLAIF（Reinforcement Learing with AI Feedback),这个原理大致跟RLHF类似，但是反馈的来源是AI。

这里是想解决反馈效率的问题，因为收集人类反馈，相对来说成本会比较高、效率比较低。

最终目的是效果最好

不同分类的角度，侧重点不一样，对同一个大模型微调，也不局限于某一个方案，可以多个方案一起。

微调的最终目的，是能够在可控成本的前提下，尽可能地提升大模型在特定领域的能力。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码