采用LoRA方法微调llama3大语言模型

前言

因为上篇文章点赞数超过1，所以今天继续更新llama3微调方法。先介绍一下如何与本地llama3模型交互，再介绍如何使用torchtune和LoRA方式微调llama3，最后介绍一下如何用torchtune与llama3模型交互。

一、Llama3模型简介

目前llama3开源的模型有Meta-Llama-3-8B、Meta-Llama-3-8B-Instruct、Meta-Llama-3-70B和Meta-Llama-3-70B-Instruct。这里Meta-Llama-3-8B是参数规模为80亿的预训练模型（pretrained model），Meta-Llama-3-8B-Instruct是80亿参数经过指令微调的模型（instruct fine-tuned model）；对应的，后两个模型就是对应700亿参数的预训练和指令微调模型。那么，预训练模型和指令微调模型有什么区别呢？我们来跟她们对话一下就明白了。

1.下载llama3源码到linux服务器

git clone https://github.com/meta-llama/llama3.git

2.安装依赖

最好先用anaconda创建一个专门为微调模型准备的python虚拟环境，然后运行命令：

cd llama3
pip install -e .

3.测试预训练模型Meta-Llama-3-8B

torchrun --nproc_per_node 1 example_text_completion.py
–ckpt_dir Meta-Llama-3-8B/
–tokenizer_path Meta-Llama-3-8B/tokenizer.model
–max_seq_len 128 --max_batch_size 4

参数解释：
–ckpt_dir 模型权重所在文件夹路径，一般后缀为.pt、.pth或.safetensors
–tokenizer_path 分词器路径，必须带上分词器名称，例如tokenizer.model
–max_seq_len 输出的最大序列长度，这个在预训练模型的调用中是必带参数
–max_batch_size 每个批次包含的最大样本数

下图是模型的输出结果，当我输入英文"I believe the meaning of life is"时，模型会输出"to love. It is to love others, to love ourselves, and to love God. Love is the meaning of life blablabla"。

很明显，预训练模型Meta-Llama3-8B是对用户输入的一个续写。

4.测试指令微调模型Meta-Llama3-8B-Instruct

torchrun --nproc_per_node 1 example_chat_completion.py
–ckpt_dir /data/jack/Meta-Llama-3-8B-Instruct/original/
–tokenizer_path /data/jack/Meta-Llama-3-8B-Instruct/original/tokenizer.model
–max_seq_len 512 --max_batch_size 4
参数解释：
–max_seq_len 输出的最大序列长度，这个对指令微调模型是可选参数，不设置指令微调模型也会在问答中自动停止输出

如上图所示，Meta-Llama-3-8B-Instruct模型面对用户的提问，会给出合适的回答。

5.小结

Meta-Llama-3-8B是针对用户输入的一个续写，跟Transformer架构的模型在预训练过程中的下一词汇预测很相似；Meta-Llama-3-8B-Instruct是可以回答用户提问的模型。因此，在选择LoRA微调的基底模型时，大部分情况应当选择指令词微调模型。

二、LoRA微调Llama3

1.引入库

在切换到anaconda或venv的python环境后：

pip install torchtune

2.编写配置文件

如果下载了torchtune仓库的源码，可以从中拷贝出对应的recipe文件，文件夹的相对路径为：
torchtune\recipes\configs\llama3

# Model Arguments
model