Investigating Optimization Strategies and Architectural Innovations

本文是LLM系列文章，这是一篇硕士文章，针对《Enhancing Inference Efficiency of Large Language Models: Investigating Optimization Strategies and Architectural Innovations》的翻译。

摘要

大型语言模型的规模正在增长，我们预计随着大型模型训练速度的加快，它们将继续增长。然而，这种大小的增加将严重影响推理成本。因此，模型压缩很重要，可以保持较大模型的性能，同时降低运行成本。在这篇论文中，我们探索了模型压缩的方法，并实证证明了在Transformer LLM中跳过后一个注意子层的简单方法是一种有效的模型压缩方法，因为这些层被证明是冗余的，同时计算成本也非常高。我们观察到Llama 2 7B的一个token生成速度提高了21%，同时在几个常见的基准测试中令人惊讶和意外地提高了性能。

1 引言

2 文献综述

3 方法

4 结果

5 结论

从我们的实验中，我们实证表明，在所考虑的基准测试中，后一层注意力对性能没有显著影响，甚至在某些任务中可