SlimGPT: Layer-wise Structured Pruning for Large Language Models

本文是LLM系列文章，针对《SlimGPT: Layer-wise Structured Pruning for Large Language Models》的翻译。

摘要

大型语言模型（LLM）因其在各个领域的卓越能力而受到广泛关注，其巨大的参数规模为实际部署带来了挑战。结构化修剪是一种平衡模型性能和效率的有效方法，但在计算资源约束下的性能恢复是修剪LLM的主要挑战。因此，我们提出了一种基于Brain Surgeon框架的低成本、快速的LLM结构化修剪方法SlimGPT。我们提出了批量贪婪修剪，用于快速和接近最优的修剪，通过分组Cholesky分解提高了头部修剪误差估计的准确性，并通过动态组大小提高了FFN的修剪效率，从而在一小时内实现了近似的局部最优修剪结果。此外，我们从误差累积的角度探讨了分层修剪的局限性，并提出了增量修剪率，这是一种非均匀修剪策略，可以减少性能下降。LLaMA基准测试的实验结果表明，SlimGPT优于其他方法，并取得了最先进的结果。

1 引言

2 相关工作

3 前言

4 方法

5 实验

6 结论