ACTIVELLM: LARGE LANGUAGE MODEL-BASED ACTIVE LEARNING FOR TEXTUAL FEW-SHOT SCENARIOS

本文是LLM系列文章，针对《ACTIVELLM: LARGE LANGUAGE MODEL-BASED ACTIVE LEARNING FOR TEXTUAL FEW-SHOT SCENARIOS》的翻译。

摘要

主动学习旨在通过优先考虑最能增强学习的实例来最大限度地减少注释工作。然而，许多主动学习策略都在努力解决 “冷启动” 问题，需要大量的初始数据才能有效。这种限制通常会降低它们对预训练模型的效用，这些模型在小样本场景中已经表现良好。为了解决这个问题，我们引入了 ActiveLLM，这是一种新颖的主动学习方法，它利用 GPT-4、Llama 3 和 Mistral Large 等大型语言模型来选择实例。我们证明，ActiveLLM 显着增强了 BERT 分类器在小样本场景中的分类性能，优于传统的主动学习方法和小样本学习方法 SetFit。此外，ActiveLLM 可以扩展到非小样本场景，允许迭代选择。通过这种方式，ActiveLLM 甚至可以帮助其他主动学习策略克服他们的冷启动问题。我们的结果表明，ActiveLLM 为提高各种学习设置中的模型性能提供了一个有前途的解决方案。

1 引言

2 相关工作

3 方法

4 实验