TnT-LLM: Text Mining at Scale with Large Language Models

本文是LLM系列文章，针对《TnT-LLM: Text Mining at Scale with Large Language Models》的翻译。

摘要

将非结构化文本转换为结构化且有意义的形式，并按有用的类别标签进行组织，是文本挖掘以进行下游分析和应用的基本步骤。但是，大多数用于生成标签分类法和构建基于文本的标签分类器的现有方法仍然严重依赖领域专业知识和手动管理，这使得该过程既昂贵又耗时。当标签空间未指定且大规模数据注释不可用时，这尤其具有挑战性。 在本文中，我们用大型语言模型 （LLM） 来应对这些挑战，其基于提示的界面有助于大规模伪标签的归纳和使用。我们提出了 TnT-LLM，这是一个两阶段框架，它使用 LLM 来自动化端到端标签生成和分配过程，对于任何给定的用例，只需最少的人力。在第一阶段，我们引入了一种零样本、多阶段推理方法，使 LLM 能够迭代生成和完善标签分类法。在第二阶段，LLM 用作数据标记器，生成训练样本，以便可以可靠地大规模构建、部署和提供轻量级监督分类器。我们将 TnT-LLM 应用于 Bing Copilot（以前称为 Bing Chat）