Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms

本文是LLM系列文章，针对《Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies》的翻译。

摘要

随着ChatGPT的激增，大型模型的使用显著增加，在整个行业迅速崛起，并席卷互联网。本文对大型模型的微调方法进行了全面的综述。本文研究了任务自适应微调、领域自适应微调、小样本学习、知识蒸馏、多任务学习、参数高效微调和动态微调等方面的最新技术进步和先进方法的应用。

1 引言

2 相关工作

3 Transformer架构

4 LLMs范式

5 任务特定的适应微调

6 小样本学习和元学习

7 知识蒸馏和迁移学习

8 多任务学习

9 参数高效微调

10 指令调整

11 对齐调整