Lillama: Large Language Models Compression via Low-Rank Feature Distillation

本文是LLM系列文章，针对《Lillama: Large Language Models Compression via Low-Rank Feature Distillation》的翻译。

摘要

当前的LLM结构化修剪方法通常涉及两个步骤：（1）使用校准数据进行压缩，以及（2）对数十亿个token进行昂贵的持续预训练，以恢复丢失的性能。第二步是必要的，因为第一步会显著影响模型的准确性。之前的研究表明，预训练的Transformer权重并不是天生的低排名，这与它们的激活不同，这可能解释了这种下降。基于这一观察，我们提出了Lillama，一种局部提取低秩权重激活的压缩方法。使用SVD进行初始化，并结合教师和学生激活的联合损失，我们通过局部梯度更新加速收敛并减少内存使用。Lillama在单个A100 GPU上在几分钟内压缩Mixtral-8x7B，删除了100亿个参数，同时保留了其原始性能的95%以上。Phi-2 3B仅用1300万个校准token就可以压缩40%，从而形成一个与最近类似大小的模型竞争的小型模型。该方法很好地推广到无Transformer架构，将Mamba-3B压缩了20%，同时保持了99%的性能。

1 引言

2 相关工作