超级会员免费看
本文详细调查了上下文学习（ICL）在自然语言处理中的应用，探讨了ICL如何通过大型语言模型（LLM）仅使用少量示例进行预测。研究发现，模型预热、示例选择与排序、演示设计策略和评分函数对ICL性能至关重要。ICL展示了在传统任务和新挑战任务上的潜力，如小样本学习和多模态任务，但其稳定性和效率仍有待提高。未来的研究方向包括新预训练策略、ICL能力的蒸馏、鲁棒性和效率提升。
这是LLM系列相关综述文章的第二篇，针对《A Survey on In-context Learning》的翻译。
摘要
随着大型语言模型（LLM）能力的增强，上下文学习（ICL）已成为自然语言处理（NLP）的一种新范式，其中LLM仅基于通过几个例子增强的上下文进行预测。探索ICL来评估和推断LLM的能力已经成为一种新的趋势。在本文中，我们旨在调查和总结ICL的进展和挑战。我们首先给出了ICL的正式定义，并阐明了其与相关研究的相关性。然后，我们对先进技术进行了组织和讨论，包括训练策略、演示设计策略以及相关分析。最后，我们讨论了ICL面临的挑战，并为进一步的研究提供了潜在的方向。我们希望我们的工作能够鼓励更多关于揭示ICL如何工作和改进ICL的研究。
1 引言
随着模型大小和语料库大小的缩放，大型语言模型（LLM）展示了上下文学习（ICL）能力，即从上下文中的几个例子中学习。许多研究表明，LLM可以通过ICL执行一系列复杂的任务，例如解决数学推理问题。这些强大的能力
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
