MoSLD: An Extremely Parameter-Efficient Mixture-of-Shared LoRAs for Multi-Task Learning

本文是LLM系列文章，针对《MoSLD: An Extremely Parameter-Efficient Mixture-of-Shared LoRAs for Multi-Task Learning》的翻译。

摘要

最近，LoRA已经成为微调大型预训练模型的关键技术，但它在多任务学习场景中的性能往往不足。相比之下，MoE架构为这个问题提供了一个自然的解决方案。然而，它带来了挑战，例如多个领域的数据相互干扰和各种任务的知识遗忘。此外，MoE显著增加了参数的数量，这带来了计算成本的挑战。因此，在本文中，我们提出了MoSLD，这是一种具有丢弃策略的共享LoRA模型的混合。MoSLD通过在不同专家之间共享LoRA中的上投影矩阵来解决这些挑战，鼓励模型跨任务学习一般知识，同时仍然允许下投影矩阵专注于每个任务的独特特征。dropout的应用缓解了LoRA中参数矩阵的不平衡更新，减轻了参数过拟合。大量实验表明，我们的模型在单任务和多任务场景中都表现出了出色的性能，具有强大的域外泛化能力。

1 引言

2 相关工作

3 方法

4 实验设置

5 定性分析