Enhancing Context Awareness of Large Language Models for Effective Tool Use

本文是LLM系列文章，针对《Fortify the Shortest Stave in Attention: Enhancing Context Awareness of Large Language Models for Effective Tool Use》的翻译。

摘要

大型语言模型（LLM）的最新进展显著扩展了其作为工具代理的功能和技能。在本文中，我们认为模型注意力分配中的波形模式对工具使用性能有影响，当基本信息的位置到达波谷区时，工具使用性能会降低。为了解决这个问题，我们提出了一种新的推理方法——注意力桶。这种方法使LLM能够通过进行并行处理来处理上下文，每个处理都有一个独特的RoPE角度基础，可以塑造注意力波形。注意力桶确保特定过程的注意力低谷可以用另一次运行的注意力峰值来补偿，从而降低LLM丢失位于注意力低谷内的重要信息的风险。我们在广泛认可的工具使用基准上进行的广泛实验证明了我们方法的有效性，其中由注意力桶增强的7B参数开源模型实现了与GPT-4相当的SOTA性能。

1 引言

2 注意力波动对语境感知的影响

3 通过交错注意力波形增强上下文感知

4 实验

5 探索检索增强生成的应用