Problem Elaboration Prompting Improves Mathematical Reasoning in Large Language Models

UnknownBody

于 2024-03-15 16:53:25 发布

阅读量64

点赞数

CC 4.0 BY-SA版权

分类专栏： Causal and Reasoning 文章标签：语言模型人工智能 chatgpt

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/136741062

LLM 日更同时被 2 个专栏收录

828 篇文章

已下架不支持订阅

Causal and Reasoning

101 篇文章

订阅专栏

本文提出问题精化提示（PEP）方法，通过预先分解和阐述问题上下文，增强大型语言模型（LLM）的数学推理性能，减少输入敏感性。在GPT-3.5和ChatGPT上应用PEP，实验结果显示推理性能显著提升，达到多个数据集的SOTA。未来研究将探索结合更多先验知识和优化提示设计。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《Look Before You Leap: Problem Elaboration Prompting Improves
Mathematical Reasoning in Large Language Models》的翻译。

摘要

大型语言模型（LLM）在NLP任务中表现出了令人印象深刻的性能。到目前为止，它们在复杂的推理任务中仍然面临挑战，并且可能对输入上下文敏感。尽管在增强推理过程和提高前缀提示稳健性方面投入了大量精力，但问题上下文的关键作用却被忽视了。在这项研究中，我们提出了一种新的方法来提高LLM的数学能力，称为问题精化提示（PEP）。具体来说，PEP在推理之前对问题上下文进行分解和阐述，从而增强了全局上下文建模，降低了解析难度。在数据集上进行的实验表明，在复杂推理方面具有很好的性能，并表明了对不成形问题的有益影响。例如，使用GPT-3.5模型（text-davinci-003），与标准CoT相比，我们在GSM8k上观察到贪婪解码改进了9.93%，自一致性改进了8.80%。使用ChatGPT（turbo）和PEP，我们在SVAMP和GSM8k分别实现了86.2%和90.98%的SOTA性能。