世界模型的变革之道：PAN 架构的突破

Python_金钱豹

于 2025-07-12 19:54:32 发布

阅读量634

点赞数 7

CC 4.0 BY-SA版权

文章标签：深度学习人工智能机器学习语言模型自然语言处理

本文链接：https://blog.csdn.net/Python_cocola/article/details/149299119

“ 在追求智能体精准决策能力的道路上，世界模型的研究备受瞩目。然而，当下众多世界模型或局限于特定领域，或缺乏泛化与交互性。《Critiques of World Models》一文以其犀利的批判，直指现有模型的痛点，并且创新性地提出了 PAN 架构，为世界模型的发展提出了新思考。”

大家好，我是肆〇柒，今天要和大家探讨一篇来自卡内基梅隆大学等人工智能机构提出的论文《Critiques of World Models》。在科幻经典《沙丘》中，魁萨茨·哈德拉克（Kwisatz Haderach）能够继承祖先的记忆并模拟所有可能计划的结局，这种超凡的能力为我们提供了一个极具吸引力的设想：是否也能为计算机系统赋予类似的 “预知” 能力，使其能够在复杂多变的环境中做出精准决策？世界模型的研究正是致力于实现这一目标，而这篇论文则为我们提供了深入探索这一领域的全新视角。

在现实世界中，智能体（如机器人、自动驾驶汽车等）需要在复杂多变的环境中做出快速而准确的决策。世界模型作为一种算法化的替代模型，期望模拟真实世界环境的动态变化，以助力这些智能体进行推理和决策。它涵盖了物理世界、心理世界、社会世界和进化世界等多种场景的模拟。

一个熟悉的模拟推理的例子

通过类比人类在面对复杂决策时的心理模拟过程，我们能够更清晰地认识到世界模型的核心价值。例如，上图展示了一个熟悉的模拟推理的例子，一个人通过心理模拟多种可能的结果来决定是否帮助一个哭泣的人。

世界模型的定义与作用

定义概述

世界模型（World Model，WM）是一种生成模型，它以之前的世界状态 s 和动作 a 为输入，通过某种转换函数（例如条件概率分布）来预测或模拟下一个世界状态 s′。这种模型能够模拟真实世界环境的动态变化，为虚拟智能体在物理世界、心理世界、社会世界和进化世界等多种场景下的推理和决策提供支持。下图给出了一个可能的最优智能体的定义，展示了世界模型在智能体决策中的重要性。

最优智能体的定义

世界模型的作用在于使智能体能够在不与真实环境直接交互的情况下开展 “思想实验”。通过模拟未来可能发生的各种情况，智能体可以选择最优的行动方案。例如，自动驾驶汽车在虚拟环境中进行大量模拟训练，以优化其决策策略。与传统基于逻辑推理的方法相比，世界模型的优势在于它能够更灵活、更广泛地应对各种复杂场景。

在真实世界中世界模型对于模拟的重要性

上图展示了在真实世界中，由于无法直接体验或实验真实世界的状态和宇宙，世界模型对于模拟的重要性。

世界模型的研究现状

各类模型简介

近年来，世界模型领域的研究成果丰硕，涵盖了游戏世界模型、3D 场景世界模型、物理世界模型、视频生成模型和联合嵌入预测模型（JEPA）等。

游戏世界模型 ：如 Genie 2、Muse 和 Oasis 等模型能够基于视觉和动作输入渲染出合理的游戏轨迹，生成长达 1-2 分钟的连续游戏内容。然而，这些系统大多局限于特定的游戏领域，如 Genie 2 和 Muse 依赖于限制性的主机风格输入，Oasis 则仅限于类似我的世界的设置。此外，它们的时间连贯性较浅，当前的生成范围（1-2 分钟）难以代表完整的数小时游戏会话。
3D 场景世界模型 ：World Labs 等模型专注于风格化的 3D 场景生成和 egocentric 导航。尽管视觉效果引人注目，但从现有演示来看，这些模型似乎仅限于模拟静态环境，缺乏动态智能体、物理特性或丰富的交互性。这使得它们在涉及物理因果关系、多智能体行为或目标驱动规划的任务中存在不足。
物理世界模型 ：Wayve GAIA-2 和 NVIDIA Cosmos 等生成模型专门针对物理控制任务进行训练，包括自动驾驶、机器人操作和体现导航等。这些系统在模拟不同条件（如天气、照明和地理环境）下的低级物理和感官 - 运动控制方面表现出色，但它们与各自领域紧密耦合，通常依赖于特定任务的传感器、数据或控制架构。
视频生成模型 ：OpenAI 的 Sora 和 Google DeepMind 的 Veo 等模型是从文本提示和 / 或先前帧生成高质量的视频序列。尽管视觉效果惊艳，但这些模型仅生成固定轨迹，并且不支持基于替代动作的交互。它们缺乏对状态、动作以及可能的对象级或概念级表示的明确定义，也无法提供模拟控制以推理不同决策下的反事实结果。
联合嵌入预测模型（JEPA） ：包括 V-JEPA 系列、DINO-WM 和 Meta FAIR 的 PLDM 在内的模型，以其概念上的优雅方法吸引了广泛关注。这些模型放弃像素级生成，转而预测未来的潜在嵌入，通常采用编码器 - 编码器架构，并使用基于能量的损失函数在潜空间（latent space）中进行监督。尽管这种设计有望提高可处理性，但关于其实际可用性的证据仍然稀缺，因为这些模型主要在简单的玩具环境中通过简单的启发式方法和动作空间进行演示。V-JEPA 2 在应用于机器人手臂操作任务方面取得了进展，但其是否能够泛化到更多样化的任务（如制作早餐）或是否能够扩展到具有长期依赖性的更高复杂度环境（如登山）仍有待观察。

存在的不足

尽管上述各类模型在世界模型的某些方面取得了显著进展，但大多数模型在现实应用场景中仍存在不足，尤其是在泛化能力、交互性和长期推理能力等方面。

泛化能力不足 ：现有模型大多局限于特定领域或任务类型，难以将所学知识迁移到不同但相关的场景中。例如，游戏世界模型无法直接应用于物理控制任务，反之亦然。这种局限性限制了它们在现实世界中面对多样化任务时的适应性。
交互性有限 ：许多模型缺乏对动态智能体和丰富交互性的模拟。3D 场景世界模型通常只生成静态环境，无法捕捉智能体之间的复杂交互动态。这使得它们在涉及多智能体协作或竞争的任务中表现不佳。
长期推理能力欠缺 ：现有模型在长期规划和推理方面存在明显不足。游戏世界模型的生成范围较短，难以支持完整的数小时游戏会话。在更复杂的现实任务中，如自动驾驶或机器人导航，需要智能体进行长期的路径规划和决策，而现有模型往往难以满足这一要求。

对现有世界模型的批判

数据维度批判

一些观点认为感官输入（如视频、音频等）优于文本数据，因为物理世界的数据量更大。然而，这种观点忽略了数据的信息密度和语义内容的重要性。尽管感官数据流（如视频）在原始体积上看似庞大，但其中大量数据是低语义内容且高度冗余的。相比之下，自然语言是经过多代抽象交流和概念推理优化的，人类经验压缩形式。文本不仅捕捉物理现实，还涵盖了心理、社会和反事实现象，这些现象通过直接感官观察是难以或无法获取的。

例如，像正义、动机或后悔这样的概念在语言中被丰富地编码，但却没有直接的感官等价物。此外，语言还提供了与集体人类记忆的接口，包括记录的观察、科学发现和工程失败等，而这些仅通过原始感知输入很难或无法推导出来。模型在文本训练上可以编写软件或解决奥林匹克数学问题，而仅在原始视觉和运动数据上训练的模型更适合于物理导航或操作任务。因此，通用世界模型的构建必须利用所有体验模态，无论是文本、图像、视频、触觉、音频还是更多。这些模态并不是可以互换的，而是反映了体验的不同层次（例如，视频捕捉体现和物理世界的时空动态，而语言则编码抽象概念和社会规范）。

过分强调某一模态而忽视其他模态，反映了对世界模型的本质和功能的根本性限制或偏见。成功的通用世界模型必须从这种分层结构的体验中学习，以泛化到各种不同任务。

批判表示方式

关于世界状态的表示方式，有人主张应使用连续嵌入而非离散 token ，以支持基于梯度的优化。然而，人类在推理过程中是否进行基于梯度的优化（如 SGD）或基于模式搜索（如 kNN）尚不确定。实际上，推理可能是认知和生理的结合，或者两者兼而有之，不太可能有一种算法适用于所有情况。

连续表示虽然允许更平滑的梯度流动，但却忽视了连续感官输入固有的噪声和高变异性，这使得它们在推理中变得脆弱。人类认知通过将原始感知分类为离散概念来对抗这种变异性，这些概念通常以语言、符号和结构化思想的形式出现。基于词汇表的 token 不是负担，而是一种资产：它们为以各种抽象层次表示概念提供了稳定、可组合的介质。它们构成了构建现代基于语言的 AI 系统（如 LLM）的基础，这些系统基于离散单词序列进行推理，这些单词对应于人类从宇宙中各种感知（如物理、心理或社会世界）获得的 token ，并允许通过（理想情况下）动态可控的上下文长度实现一种长期记忆。下图展示了基于词汇表的 token 如何有效地将感知输入分类为离散概念用于推理，并说明了如何通过扩展或扩展离散代码来处理不断增加的数据复杂性。

基于词汇表的 token 如何有效地将感知输入分类为离散概念用于推理

此外，论文中的定理 1（公式太多请见参考资料原文）表明，离散表示在原则上能够保留实值输入之间的任意细微差别，只要我们适当地扩展它们。定理 1 证明了对于任何，存在一种语言，其中是词汇表，是最大句子长度，是映射函数，使得对于所有，如果，则。这意味着无论连续传感器读数或数据点之间的差异有多小，我们总能创建一种语言（一种单词或符号系统）来唯一地表示这些序列。这一发现支持了离散 token 的使用，尤其是在需要稳定、可解释和符号化推理的情况下。

架构层面批判

JEPA 等非自回归、非生成式模型的提出，是为了避免自回归生成模型在 token 生成过程中错误的指数级累积，并吸收信号变异性。然而，从本质上看，JEPA 的架构仍然是自回归和生成式的。它通过递归应用编码器 h 和世界模型 f 两个操作符，定义了一个潜在转换模型，这在功能上是自回归和生成的，尽管它在符号上缺乏一个显式的概率解码器来生成可与真实下一个观测数据进行比较的结果。下图展示了一个被广泛讨论的世界模型框架，它以感官输入（如视频、音频等）为基础，通过编码器将这些输入转换为固定大小的连续嵌入，然后通过世界模型预测下一个嵌入，并在潜空间（latent space）中进行重建损失的计算。

一个被广泛讨论的世界模型框架

此外，许多现实世界的系统（如三体问题、流体动力学或金融市场）本质上是混沌的，小偏差会随着时间的推移呈指数增长。在这种情况下，无论模型类别如何，精确预测都是不可能的。然而，结构良好的自回归模型（如连续情况下的卡尔曼滤波器和离散情况下的 HMM）仍然可以学习系统的一些有用、抽象属性，这些属性往往出奇地稳定和可预测。这表明，自回归模型并非因为错误累积而本质上存在缺陷。

相比之下，JEPA 框架通过仅在潜空间（latent space）而非观测空间进行监督，存在潜在的不可定义性风险：预测的潜在变量未直接基于可观测数据进行约束，这使得很难诊断模型是否正在学习有意义的动态或退化为平凡解决方案。

批判目标选择

JEPA 框架主张放弃基于概率的数据重建目标，转而采用基于能量的潜在重建目标，以提升模型的可处理性。然而，这种目标选择其实暗藏隐忧。下图对比了备受争议的 JEPA 世界模型架构（左侧）与研究者新提出的生成式潜在预测（GLP）架构（右侧）。GLP 架构涵盖一个以扩散模型为基础的下一个嵌入预测器，用于精准刻画连续感知动态；同时搭配一个增强型 LLM 骨干，专门应对离散长视野结构的复杂任务。

比较了被批判的 JEPA 世界模型架构和生成式潜在预测架构

潜在重建目标（）容易崩溃，因为模型可以通过将所有观测值映射到常数向量并学习不变转换来最小化损失。为了对抗这种倾向，JEPA 风格的系统通常需要复杂的正则化器（例如，最大化潜在状态的信息）。这些正则化器通常难以调整和理解，可能导致训练变得脆弱并限制可扩展性。

相比之下，生成式重建目标（）通过引入解码器 g，将学习目标基于可观测数据，从而避免了潜在损失所遭受的崩溃问题。

潜在重建损失与生成式重建损失之间的关系

上图直观地展示了潜在重建损失（）与生成式重建损失（）之间的关系。如图所示，在理论上是加上一个小的编码器 - 解码器重建误差（）的上界，这表明仅依赖潜在重建损失可能会遗漏一些在生成式重建损失下会被惩罚的重要错误，而基于观测数据的生成式损失则能提供更稳定、更可靠的训练信号，确保模型学习到的表示与真实世界的观测数据保持一致。下图比较了基于潜空间（latent space）重建的世界模型目标（左）和研究者提出的基于生成式数据重建的目标（右）。

比较了基于潜空间（latent space）重建的世界模型目标和基于生成式数据重建的目标

也就是，生成式损失 Lgen 锚定了学习表示与感官世界的结构，避免了潜在重建损失 Llatent 的崩溃。

批判使用方式

在使用世界模型进行决策时，模型预测控制（MPC）和强化学习（RL）是两种主要的方法。有人主张放弃 RL，转而采用 MPC，以减少训练期间所需的试验次数。然而，这两种方法各有优劣。下图比较了被批判的世界模型使用方法（左）与研究者提出的替代方法（右）。

比较了被批判的世界模型使用方法与替代方法

MPC 在推理期间的每个时间步都需要反复模拟潜在轨迹，这导致在推理期间计算开销高昂，难以在快速变化的环境中有效响应。此外，MPC 通常只规划几步（例如，最多 10-20 步）的搜索视野，这限制了它的远见能力。随着视野的增加，MPC 的实施和优化变得更加困难，因为提议分布必须一次性对整个规划视野内的整个动作序列进行采样。

相比之下，RL 是一种通用、灵活且可扩展的方法，用于训练智能体，不受决策方法或搜索视野的限制。特别是在使用世界模型进行探索和学习时，RL 显示出更大的优势。通过将真实环境替换为世界模型，智能体可以在模拟环境中进行训练，从而减少与真实环境的交互次数，并提高安全性。

PAN 世界模型的提出

架构设计思路

论文中所阐述的 PAN（Physical, Agentic, and Nested）世界模型基于层次化、多模态和混合连续 / 离散表示的设计理念，整合生成式和自监督学习框架，目的是打造一个通用的、可操作的世界模型架构。下图展示了研究者提出的通用世界建模框架 PAN-World 的架构。

PAN-World 架构

PAN 的设计原则包括：利用所有模态的体验数据；采用混合连续和离散表示；基于增强型 LLM 骨干和生成式潜在预测架构的层次化生成建模；基于观测数据的生成损失；以及利用世界模型模拟经验以训练智能体的强化学习（RL）。

特点详细介绍

多模态数据利用 ：PAN 能够处理来自不同模态的感官输入，如视频、音频、温度、运动甚至疼痛等。通过这种方式，它可以全面捕捉现实世界的复杂性和多样性。
混合表示方式 ：PAN 结合了离散和连续表示的优势。离散 token 为更稳健、可解释和符号化的推理提供了基础，而连续嵌入则有助于捕捉精细的感官细节。这种混合表示方式使得 PAN 能够在不同层次的抽象和细节之间灵活切换。
层次化生成模型支持 ：PAN 采用层次化的生成模型架构，将问题分解为多个层次的潜在预测。每个层次专注于不同粒度的表示，从而实现更高效、更准确的模拟和推理。
生成式损失函数应用 ：PAN 使用基于观测数据的生成式损失函数进行训练。这种损失函数确保了模型的预测与真实世界的观测数据保持一致，从而提高了模拟的准确性和可靠性。
模拟经验训练智能体 ：PAN 通过模拟经验来训练智能体，使其能够在虚拟环境中学习和优化决策策略。这提高了智能体的适应性和鲁棒性，也减少了在真实环境中进行训练的风险和成本。

PAN 世界模型的应用

登山探险案例展示

在登山探险这一复杂的任务中，PAN 世界模型展现出了其强大的能力和优势。

由 PAN 世界模型驱动的模拟推理智能体

上图描绘了研究者提出的由 PAN 世界模型驱动的模拟推理智能体。与传统的依赖反应策略的 RL 智能体或在决策时刻昂贵地模拟未来的 MPC 智能体不同，该智能体利用 PAN 世界模型预先计算并缓存各种可能的世界状态、相关动作及其模拟结果。在决策时，智能体根据当前的信念和预期结果选择动作，实现更高效、灵活且有意向的规划过程，更接近人类的思考模式。

多模态输入处理 ：PAN 能够接收并处理多种模态的感官输入，包括视觉、听觉、温度、运动信号等。这些输入共同构成了对登山环境的全面感知，使智能体能够准确地了解周围环境的状态。
未来状态模拟 ：基于接收到的多模态输入，PAN 可以模拟未来可能的世界状态。例如，它可以预测不同路线下的地形变化、天气条件以及团队成员的体力状态等。这为智能体的决策提供了丰富的信息支持。
长期规划与决策 ：借助模拟的未来状态，PAN 能够协助智能体进行长期规划和决策。智能体可以根据模拟结果选择最优的行动方案，如合理安排装备、规划行进路线、调整攀登节奏等。这种基于模拟和推理的决策方式有助于提高登山的成功率和安全性。

自动驾驶案例拓展

在自动驾驶领域，PAN 世界模型同样具有巨大的应用潜力。

多模态数据融合 ：PAN 可以融合摄像头图像、雷达信号、激光雷达点云等多种模态的数据，实现对周围环境的精确感知。通过这种方式，它能够更全面地了解交通状况、道路条件和其他车辆及行人的位置和运动状态。
环境感知与预测 ：基于多模态数据融合，PAN 能够实时模拟未来可能出现的交通场景，如其他车辆的行驶轨迹、行人的移动方向等。这使得自动驾驶汽车能够提前做出反应，避免潜在的危险情况。
路径规划与决策 ：结合模拟的未来交通场景，PAN 可以为自动驾驶汽车提供优化的路径规划和决策支持。例如，在面对复杂的交通拥堵或紧急情况时，它可以帮助车辆选择最佳的行驶路线，确保行驶的安全性和效率。

医疗诊断案例拓展

PAN 世界模型在医疗诊断领域也有着广阔的应用前景。

多模态医疗数据整合 ：PAN 能够整合患者的病历文本、医学影像（如 X 光、CT、MRI 等）、生理信号（如心电图、脑电图等）等多种模态的医疗数据。通过这种方式，它能够更全面地了解患者的病情和健康状况。
病情预测与治疗方案制定 ：基于多模态医疗数据整合，PAN 可以模拟患者病情的未来发展趋势，预测可能出现的并发症或疾病进展。这为医生制定个性化的治疗方案提供了有力的支持，有助于提高治疗效果和患者的生存率。
个性化治疗优化 ：结合模拟的病情预测，PAN 能够协助医生优化治疗方案，如调整药物剂量、确定手术时机等。这种基于数据驱动的个性化治疗方式有助于提高医疗质量和患者的生活质量。

多领域应用拓展

除了上述案例，PAN 世界模型在机器人控制、智能教育等领域也具有潜在的应用价值。

机器人控制 ：在机器人控制方面，PAN 可以通过模拟机器人的运动和与环境的交互，帮助优化机器人的任务规划和控制策略。例如，在工业生产线上，PAN 可以模拟机器人手臂的操作过程，提高其操作精度和效率。
智能教育 ：在智能教育领域，PAN 能够根据学生的学习进度、知识掌握情况等多模态数据，模拟学生的学习过程和未来学习效果。这有助于教师制定个性化的教学计划，提高教学效果和学生的学习积极性。

总结与感想：探索世界模型

我在阅读《Critiques of World Models》这篇论文之后，让我对世界模型有更全面的了解。论文从世界模型的定义和作用出发，详细探讨了其研究现状和存在的问题，并提出了 PAN 架构作为一种创新的解决方案。这一过程既让我们清晰地认识到世界模型的一些技术细节，也为人工智能领域的发展方向提供了新的思考。

现在，我们已经看到了好多不同类型的世界模型，它们各有各的本事。但说实话，这些模型都有点“挑食”，只在自己擅长的小领域里玩得转，一碰到复杂点的情况就不太行了。比如，有些模型擅长玩游戏的模拟，但一说到物理世界的复杂交互，就有点“懵”了。

论文指出，世界模型的核心在于模拟真实世界的可能性以支持智能体的推理和决策，而非仅仅生成视频或虚拟现实。通过批判性分析现有模型的不足，如泛化能力、交互性和长期推理能力的欠缺，论文为世界模型的研究和发展提供了新的方向和思路。这篇论文最精华的地方还在于，它不仅指出了这些模型的不足，还提出了一个全新的架构——PAN世界模型。这为世界模型的研究开辟了新的视野。它结合多模态数据、层次化表示和生成式学习，为构建通用人工智能（AGI）提供了全新的框架。与现有模型相比，PAN 在泛化能力、交互性和长期推理能力等方面具有显著优势。它能够更有效地处理复杂多变的现实任务，为智能体的决策提供更准确、更可靠的模拟支持。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述