The Fusion of Large Language Models and Formal Methods for Trustworthy AI Agents: A Roadmap

本文是LLM系列文章，针对《The Fusion of Large Language Models and Formal Methods
for Trustworthy AI Agents A Roadmap》的翻译。

摘要

大型语言模型（LLMs）已经成为一种变革性的人工智能范式，通过其出色的语言理解和上下文生成能力深刻地影响着日常生活。尽管LLM表现出色，但它们面临着一个关键的挑战：由于其基于学习的性质的固有局限性，倾向于产生不可靠的输出。另一方面，形式化方法（FM）是一种成熟的计算范式，为系统的建模、指定和验证提供了数学上严格的技术。FM已广泛应用于关键任务软件工程、嵌入式系统和网络安全。然而，阻碍FM在现实环境中部署的主要挑战在于其陡峭的学习曲线、缺乏用户友好的界面以及效率和适应性问题。
本立场文件概述了通过利用LLM和FM的相互增强来推进下一代值得信赖的AI系统的路线图。首先，我们说明了FM（包括推理和认证技术）如何帮助LLM生成更可靠和正式认证的输出。随后，我们强调了LLM的高级学习能力和适应性如何显著提高现有FM工具的可用性、效率和可扩展性。最后，我们展示了将这两种计算范式统一起来——将LLM的灵活性和智能性与FM的严谨推理能力相结合–具有开发值得信赖的人工智能软件系统的变革潜力。我们承认，这种集成有可能提高软件工程实践的可信度和效率，同时促进能够应对复杂但现实世界挑战