搜神记新编：AI大模型的“无网”进化论——ZeroSearch深度解析

在人工智能的璀璨星空中，大型语言模型（LLMs）无疑是近年来最耀眼的新星。它们凭借海量数据和复杂算法的锤炼，化身为博闻强识的“通识博士”，在数学推理的严谨殿堂、复杂问答的智慧迷宫乃至代码生成的创造性领域，均展现出令人叹为观止的才华。然而，这位“博士”的知识体系并非实时更新的活水，更像是一部在“毕业典礼”（即预训练完成）之日便已定稿的鸿篇巨著。面对瞬息万变的世界，它们偶尔会陷入“知识盲区”，或编造看似合理实则虚妄的内容，或提供早已过时的信息。这种固有的“时效性”与“真实性”瓶颈，无疑在一定程度上制约了它们在关键实际应用中的可靠性与深度。因此，如何赋予这些“静态大脑”动态学习、实时检索外部鲜活信息的能力，便成为AI领域一个亟待攻克的核心课题。

💸 高昂的“学费”与“噪声”干扰：传统AI搜索赋能之路的荆棘

为了弥补LLMs在知识时效性上的短板，研究者们率先探索了检索增强生成（Retrieval-Augmented Generation, RAG）的技术路径。早期的RAG方法，如同聘请了一位经验丰富的导师，通过精心雕琢的提示（prompt engineering）来引导模型完成查询的生成、复杂问题的分解以及多轮次的信息检索。这些方法虽在一定程度上提升了模型的表现，却也带来了新的挑战：它们不仅对提示工程的技艺要求极高，如同培养一位需要时刻耳提面命的学徒，极度耗费人力与时间，而且对模型自身的推理能力也构成了严峻的考验。

为了提升效率并降低对强大黑箱LLM的依赖，后续研究转向了监督微调（Supervised Fine-Tuning, SFT）策略，期望通过有监督的学习让参数量相对较小的模型也能掌握高效的检索技能。更有甚者，如蒙特卡洛树搜索（MCTS）等测试时扩展技术被引入，试图在模型推理的关键时刻动态地拓展其搜索边界，以期获得更优的解。然而，这些看似前景光明的技术路径，往往伴随着显著的计算资源开销，如同为学徒报读了极其昂贵的“精英辅导班”，其高昂的成本限制了它们在大规模实际部署中的可行性。

近年来，强化学习（Reinforcement Learning, RL）作为一种强大的学习范式，因其在提升LLM推理与决策能力方面的巨大潜力而备受瞩目。诸如OpenAI-o1和DeepSeek-R1等基于RL训练的模型，仅仅通过精心设计的奖励信号驱动学习，便在逻辑推理和迭代式思考等复杂认知任务上取得了令人瞩目的成就，且无需依赖详尽的步骤化监督。在这一浪潮的推动下，研究者们开始积极探索运用RL来训练模型，使其能够更有效地搜索和利用信息，典型代表如Search-R1、R1-Searcher以及ReSearch等工作。DeepResearcher项目更是迈出了大胆的一步，让模型直接与Google等商业搜索引擎进行实时在线交互，在高度仿真的环境中锤炼其搜索技艺。

尽管RL与真实世界搜索场景的结合展现出诱人的前景，但在实践中却遭遇了两大难以逾越的“拦路虎”：

1. 不可控的文档质量壁垒：真实搜索引擎返回的网页文档质量良莠不齐，信息密度、准确性、相关性均存在巨大差异。这些不可预测的“噪声”如同给学徒提供的参考资料中混入了大量未经甄别的“野史杂闻”与“误导信息”，极易干扰模型的学习过程，引入不必要的训练不稳定性，甚至导致模型“误入歧途”。
2. 高昂到令人望而却步的API调用成本：RL的训练范式天然需要模型进行海量的“探索与试错”（rollouts），每一个rollout可能都包含多次与搜索引擎的交互。这意味着训练一个高性能的搜索型LLM可能需要发起数十万乃至数百万次的搜索API请求。若每次请求均需向商业搜索引擎支付费用，其累积成本将如雪球般越滚越大，成为一笔难以承受的“天价学费”，从而极大地制约了研究的规模与迭代速度。

💡 灵光乍现：ZeroSearch的“异想天开”——不入虎穴，焉得虎子？

面对上述严峻挑战，来自阿里巴巴通义实验室的一组研究人员独辟蹊径，提出了一种极具创新性的解决方案——ZeroSearch。其核心理念听起来颇有些“闭门造车”的意味，甚至带有一丝“异想天开”的色彩：让大型语言模型在完全不接触真实搜索引擎的条件下，习得并精进其搜索能力。

研究者们敏锐地洞察到，LLMs在经历大规模预训练之后，其内部已经编码了海量的世界知识，理论上它们已经具备了根据用户查询生成相关甚至相似文档的潜在能力。模拟LLM与真实搜索引擎在功能上的核心差异，或许更多地体现在返回内容的确切“文风”以及对最新动态信息的即时把握上。那么，一个大胆的设想应运而生：我们是否可以训练一个相对“小而精”的LLM，令其专门扮演搜索引擎的角色，为另一个“学员LLM”提供训练所需的模拟搜索环境呢？

ZeroSearch的这一构想，其精妙之处不仅在于能够从根本上摆脱对昂贵商业搜索引擎API的依赖，从而彻底消除相关的经济负担，更在于它创造性地赋予了研究者一项前所未有的“超能力”：对模拟“数字图书馆”中“藏书”质量的精准调控。通过在监督微调阶段巧妙设计的提示语，研究人员可以引导这个“模拟搜索引擎LLM”学会有针对性地生成“高质量的参考资料”或是混淆视听的“干扰信息”。这种对训练数据质量的掌控力，为后续更稳定、更高效的强化学习过程铺平了道路。

🛠️ 匠心独运：打造专属“模拟搜索引擎”——LLM的“角色扮演”

ZeroSearch框架的第一步，便是通过一种轻量级的监督微调（SFT）技术，将一个现有的LLM精心改造为一个高效的“检索模块”或称“模拟搜索引擎”。这个经过特殊训练的模块，其核心职责是响应“学员LLM”发出的搜索查询，并能够生成两种截然不同类型的文档：一种是富含正确答案线索、对解题有直接帮助的“有用文档”（useful documents）；另一种则是可能包含误导性信息、干扰判断、甚至导致错误答案的“噪声文档”（noisy documents）。

为了实现这一目标，研究者们首先通过让一个LLM与真实的商业搜索引擎（如Google）进行多轮交互来收集原始数据。在这些交互过程中，如果LLM最终能够依据检索到的信息给出正确的答案，那么该交互轨迹中的“查询-文档”对就被标注为“积极样本”，这意味着搜索引擎返回的文档被认为是有效的、有价值的。反之，如果LLM未能给出正确答案，则相应的“查询-文档”对就被标注为“消极样本”，表明这些文档中可能充满了干扰信息或未能提供关键线索。

接下来，研究者们从这些标注好的积极和消极交互轨迹中提取出大量的“查询-文档”对，用以对“模拟搜索引擎LLM”进行监督微调。如下方表1所示，通过在输入给模拟LLM的提示中策略性地调整几个关键词（例如，明确指示其生成“useful”或“noisy”类型的文档），便可以有效地引导该LLM产出符合预设质量标准的内容。值得一提的是，提示中还巧妙地融入了原始的待解决问题及其对应的标准答案。这一做法旨在进一步扩展模拟LLM的知识边界，使其在生成模拟文档时能够更贴近真实场景，更有“依据”和“针对性”。

表1: 模拟搜索引擎微调提示模板 (改编自原文Table 2)

| Prompt Component        | Content                                                                                                |
| :---------------------- | :----------------------------------------------------------------------------------------------------- |
| Role Definition         | You are the Google search engine.                                                                      |
| Task Description        | Given a query, you need to generate five [useful/noisy] documents for the query.                       |
| Contextual Information  | The user is trying to answer the question: [question] whose answer is [ground truth].                 |
| Document Specifications | Each document should contain about 30 words, and these documents should contain [useful/noisy] information. |
| Input Query             | Query: [query]                                                                                         |
| Output Type Indicator   | [Useful/Noisy] Output:                                                                                 |

注：在此模板中，[useful/noisy]、[question]、[ground truth] 以及 [query] 均为占位符，在实际的微调训练过程中，它们会被具体的文本内容所替换。

经过这番精心设计的监督微调之后，“模拟搜索引擎LLM”便如同一个训练有素的演员，能够根据“剧本”（即提示）的要求，惟妙惟肖地扮演好搜索引擎的角色，并按需生成不同质量的文档。这个可控的“文档生成器”的成功构建，为后续更为复杂的强化学习课程化rollout阶段奠定了坚实的基础。

🏋️‍♂️ AI“健身房”：ZeroSearch的强化学习特训——在模拟中超越模拟

拥有了专属的“模拟搜索引擎”之后，接下来的核心任务便是训练我们的“学员LLM”（在强化学习框架中，我们称之为策略模型 ${\pi }_{\theta }$），使其学会在这个模拟环境中高效地“遨游”、精准地“捕获”信息，并最终找到问题的答案。ZeroSearch为此精心设计了一套强化学习框架。其核心的优化目标，也就是我们希望学员LLM努力达成的“修炼心法”，可以用下面这个公式来精确描述：

$$\underset{{\pi }_{\theta }}{\max }{\mathbb{E}}_{x\sim \mathcal{D},y\sim {\pi }_{\theta }(\cdot \mid x;{\pi }_{\psi })}\left[r_{\varphi }(x,y)\right]-\beta \cdot {\mathrm{D}}_{\mathrm{KL}}\left[{\pi }_{\theta }(y\mid x;{\pi }_{\psi })\parallel {\pi }_{\mathrm{ref}}(y\mid x;{\pi }_{\psi })\right]$$

让我们像解剖精密仪器一样，一步步拆解这个公式的奥秘：

• ${\max }_{{\pi }_{\theta }}$: 这部分是我们的总目标——“最大化”。我们希望调整学员LLM（由参数 $\theta$ 定义的策略 ${\pi }_{\theta }$）的行为，使得整个公式右边的值达到最大。

• ${\mathbb{E}}_{x\sim \mathcal{D},y\sim {\pi }_{\theta }(\cdot \mid x;{\pi }_{\psi })}[r_{\varphi }(x,y$