CLUES: Collaborative High-Quality Data Selection for LLMs via Training Dynamics

文章主要内容总结

本文针对大型语言模型（LLMs）在协作训练场景中（数据无法直接共享）的高质量数据选择问题，提出了一种名为CLUES的方法。核心思路是基于训练动态（training dynamics）的影响来筛选高质量数据，即高质量数据与锚定数据集（anchor dataset）的训练动态更相似。

具体而言，CLUES包含两个核心阶段：

1. 本地训练动态评分：客户端计算私有数据中每个样本的梯度与公共验证集梯度的内积累积迹，作为数据质量分数；
2. 全局锚定阈值筛选：服务器利用少量公共锚定数据的平均分数作为全局阈值，客户端基于此筛选出高质量数据，再通过模型合并或联邦学习进行协作训练。

实验在医疗、多语言、金融等私有领域数据集上验证了方法的有效性，结果显示CLUES筛选的高质量数据在LLMs协作微调中性能优于其他数据选择方法。

创新点

1. 协作场景下的训练动态数据选择：首次在数据无法直接共享的协作场景中，利用训练动态（样本对模型训练的影响）进行高质量数据筛选，避免了私有数据泄露；