Towards Better Multi-task Learning: A Framework for Optimizing Dataset Combinations in LLM

本文是LLM系列文章，针对《Towards Better Multi-task Learning: A Framework for Optimizing Dataset Combinations in Large Language Models》的翻译。

摘要

为了有效地选择最佳的数据集组合来提高大型语言模型中的多任务学习（MTL）性能，我们提出了一种利用神经网络预测最佳数据集组合的新框架。该框架迭代地优化选择，大大提高了效率，同时与模型、数据集和领域无关。通过在四个任务（命名实体识别、关系提取、事件提取和文本分类）的12个生物医学数据集上的实验，我们证明了我们的方法有效地识别了更好的组合，即使是从人类的角度来看似乎没有希望的任务。这验证了我们的框架为最大化MTL潜力提供了一个有前景的解决方案。

1 引言

2 相关工作

3 框架

4 实验设置

5 结果

6 结论

我们提出了一种新颖而简单的框架来解决为多任务学习选择最佳数据集组合的挑战。通过在反馈循环中迭代地改进这些组合，我们朝着在未来完全释放MTL的潜力迈出了重要的一步。