L4Q: Parameter Efficient Quantization-Aware Training on Large Language Models via LoRA-wise LSQ

UnknownBody

于 2024-03-29 16:27:06 发布

阅读量263

点赞数 5

CC 4.0 BY-SA版权

分类专栏： LLM Training 文章标签：语言模型人工智能自然语言处理

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/137148078

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

LLM Training

72 篇文章

订阅专栏

L4Q是一种针对大型语言模型（LLM）的参数高效量化感知训练方法，它结合LoRA学习量化步长，提高了通用性和精度。在保持与量化感知微调相当的训练时间下，L4Q能在低于4位精度下运行，同时在语言理解和小样本上下文学习任务中展现出优秀性能。与传统的量化方法相比，L4Q减少了内存使用并简化了训练流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《L4Q: Parameter Efficient Quantization-Aware Training on Large Language Models via LoRA-wise LSQ》的翻译。

摘要

训练后量化（PTQ）和量化感知训练（QAT）方法在减轻与大型语言模型（LLM）相关的高内存和计算成本方面越来越受欢迎。在资源受限的场景中，PTQ由于其减少的训练开销，通常比QAT更受欢迎，尽管后者有更高的准确性潜力。同时，已经引入了诸如低秩自适应（LoRA）的参数有效微调（PEFT）方法，并且最近的工作已经探索了量化感知的PEFT技术。然而，由于这些方法依赖于预量化模型的配置，因此可能缺乏通用性。它们的有效性可能会受到非线性量化或混合精度权重的影响，并且特定量化参数的再训练可能会阻碍最佳性能。为了应对这些挑战，我们提出了L4Q，一种用于参数有效量化感知训练的算法。L4Q利用了LLM的LoRA学习量化步长，旨在增强通用性。L4Q的同时量化和微调过程适用于高精度模型，产生具有卓越精度的线性量化权重。我们使用教学数据集在LLaMA和LLaMA2模型家族上进行的实验展示了L4Q在语言理解和小样本上下文学习方面的能力，实现了低于4位的精度，同时保持了与在量化模型上应用PEFT相当的训练时间。

了解本专栏