Patience Is The Key to Large Language Model Reasoning

本文是LLM系列文章，针对《Patience Is The Key to Large Language Model Reasoning》的翻译。

摘要

大型语言模型领域的最新进展，特别是通过思想链（CoT）方法，已经证明在解决复杂问题方面取得了显着的进步。然而，现有模型要么由于用户偏好而倾向于牺牲详细推理以求简洁，要么需要大量且昂贵的训练数据来学习复杂的推理能力，限制了它们解决复杂任务的潜力。为了弥补这一差距，遵循缩放测试时间的概念，我们提出了一种简单的方法，鼓励模型采用更耐心的推理风格，而不需要引入新的知识或技能。为了采用偏好优化方法，我们生成详细的推理过程作为正例，生成简单的答案作为反例，从而训练模型以支持其响应的彻底性。我们的结果表明，仅在轻量级数据集上进行训练，GSM8k 的性能提升高达 2.1%。

1 引言

2 相关工作

3 实验

4 结论

在这项研究中，我们提出了一种简单但有效的方法，通过培养更加耐心和详细的推理过程来增强LLM解决复杂问题的能力。通过生成丰富的类 CoT 响应和实施偏好优化技术，我们的方法证明了数学问题解决性能的显着提高。虽然我们的方法