Survey on Evaluation of LLM-based Agents

论文总结

本文首次系统梳理了基于LLM的智能体（LLM-based Agents）的评估方法，涵盖四大核心维度：

1. 基础能力评估：包括多步推理、工具使用、自我反思和记忆管理。
2. 领域特定评估：聚焦网页代理、软件工程代理、科学代理和对话代理。
3. 通用智能体评估：测试跨领域任务处理能力。
4. 评估框架：介绍开发者工具链，支持全流程评估。

研究发现当前趋势：从静态简化环境转向动态真实场景，强调基准的实时性和挑战性。未来需关注细粒度评估、成本效率、安全性及自动化方法。

创新点

1. 首次全面综述：整合LLM智能体评估的多维度基准与框架。
2. 动态评估趋势：提出“实时基准”概念，强调持续更新以应对模型快速进化。
3. 挑战与方向：指出安全性、成本效率和细粒度评估的研究空白。
4. 方法论贡献：构建分类体系，为开发者和研究者提供统一评估视角。