World SLAM Model：面向SLAM与导航的联合世界建模

论文档案

• 标题：World SLAM Model: Joint World Modeling for SLAM and Navigation
• 作者：Minghui Qin、Yijun Yuan、Weicheng Zheng、Kenan Li、Weibang Wang、Chang Sun、Junhao Huang、Anmin Liu、Yicheng Yao、Hang Zhao
• 时间：2026 年 9 月 26 日提交至 arXiv
• 论文：https://arxiv.org/abs/2609.32626
• 项目页：https://tsinghua-mars-lab.github.io/WorldSLAMModel
• 代码状态：官方仓库 Tsinghua-MARS-Lab/WorldSLAMModel 目前只有说明文档，明确写着代码与检查点即将发布；本次解读不能核对实现细节或复现实验。

一句话总结：WSM 把 SLAM 的状态估计、反动力学与局部后端机制嵌入导航世界模型，让同一套深度和位姿专家贯穿“观察、想象、执行、修正”的闭环。

研究背景：导航缺的不是一张更漂亮的未来图

视觉导航长期存在两条路线。第一条是经典模块化系统：前端跟踪、SLAM 建图、全局优化、路径规划和控制依次工作，每个模块职责清楚，也便于诊断误差。问题在于模块边界会把不确定性一层层传递下去，而且系统需要专门的几何管线、传感器标定和工程调参。第二条是端到端策略：网络直接从图像预测动作或路径，减少接口损耗，但很多方法仍把机器人位姿、目标位置或深度图当作外部输入。也就是说，模块被藏进了输入接口，而不是从问题中消失。

近年出现的视觉几何基础模型进一步推动了这条路线。VGGT、D4RT 一类模型能从图像直接回归相机参数、深度和点图，LoGoPlanner 也尝试把视觉几何先验接进导航策略。不过，这些系统通常把高保真几何估计当成一次性的前向结果，真正决定长期导航稳定性的状态维护、漂移修正和历史更新并没有成为策略内部可学习的机制。对于从起点到目标的长时程任务，单帧预测再准确，也不能保证多步闭环后目标仍被正确地锚定在初始坐标系中。

另一条线索是视频世界模型。给定当前观察和动作条件，模型预测未来画面，再由逆动力学模型从相邻帧中恢复动作。这样的模型擅长表达“世界接下来会怎样”，但视觉上合理的梦境不一定对应度量一致的相机运动。生成器可以画出向前的走廊，却可能把十厘米位移画成两米，也可能在两个看似平滑的片段之间积累巨大的尺度误差。若直接执行这些想象轨迹，导航任务会把生成模型的视觉先验误当成几何测量。

论文提出的关键区分是“SLAM 的输出”和“SLAM 的机制”。先前工作或许会使用深度、位姿或点云作为监督与输入，WSM 则把增量状态估计、用观测持续更新地图、通过历史缓存保持时序上下文，以及在小窗口内重新估计最近状态这些操作直接纳入一个自回归模型。SLAM 不再只是上游提供坐标的插件，而成为世界模型维持空间事实的方式。

这使问题从单纯的视频预测变成联合建模：生成专家负责预测未来 RGB，SLAM 专家负责观察当前世界的度量状态，也负责从想象出来的视觉变化中反推相机运动。两者共享注意力，但保留不同的参数宽度和输出头。模型由此能在同一套坐标系里比较“我刚才看到的”和“我准备想象的”，并将执行后收到的真实观察写回持久历史。

问题定义：观察、度量状态与目标

论文使用 Wan2.2 因果变分自编码器表示图像序列，时间压缩比为 $M=4$，即一个潜帧覆盖四张原始帧。在潜时刻 $t$，输入观察记为 $\mathbf{o}_t$，对应的度量状态包含一幅深度图 $\mathbf{d}_t$ 和该潜帧内四张原始帧的相机位姿集合。其定义可以写成：

$$ \mathbf{s}_t=\left(\mathbf{d}_t,\{\mathbf{g}_{t,m}\}_{m=1}^{M}\right) $$

世界模型预测条件分布：

$$ \hat{\mathbf{o}}_{t+1}\sim p_\theta\left(\cdot\mid\mathbf{o}_{\leq t},\mathbf{s}_{\leq t}\right) $$

这里的“梦境”既依赖历史 RGB，也依赖历史度量状态。把后者放进条件中，意味着生成器不只是续写像素，还要知道此前相机在哪里、场景的尺度如何、哪些空间关系已经建立。SLAM 专家则定义为函数 $f_\psi$。在真实观察上，它估计世界状态：

$$ \mathbf{s}_{t+1}=f_\psi\left(\mathbf{o}_{t+1}\mid\mathbf{o}_{\leq t},\mathbf{s}_{\leq t}\right) $$

在模型自己生成的观察上，同一个函数承担反动力学角色：

$$ \hat{\mathbf{s}}_{t+1}=f_\psi\left(\hat{\mathbf{o}}_{t+1}\mid\mathbf{o}_{\leq t},\mathbf{s}_{\leq t}\right) $$

这两条式子的价值不在符号本身，而在参数共享。若观察分支与梦境分支使用两套互不相干的估计器，生成器可以发展出对导航有效、却与真实几何无共同尺度的隐含约定。共享 $f_\psi$ 迫使两类输入落到同一个深度与位姿解释空间中，想象轨迹才有可能被真实闭环修正。

为了减少增量估计的漂移，模型还运行局部后端。它不会一次重算整段历史，而是把当前块中最近的 $k$ 个潜帧放在一起重新估计：

$$ \mathbf{s}_{t-k+1:t}=f_\psi\left(\mathbf{o}_{t-k+1:t}\mid\mathbf{o}_{\leq t-k},\mathbf{s}_{\leq t-k}\right),\quad k\leq K $$

这个设计与完整 SLAM 系统中的局部窗口优化相近，但它由 Transformer 的前向推理实现。更新后的状态会替换 KV 缓存中的旧估计，而已经保存的 RGB 令牌不变。更早的历史不会无限重算，当前块结束后其状态也随之固定。作者没有把它描述成完整的光束法平差，而是视为一种可学习的局部一致性修正。

方法详解：一个注意力骨架，三类专家

生成与几何共享时序上下文

WSM 实例化成一个 Mixture-of-Transformers。RGB 生成、深度和位姿分别拥有自己的参数，但三个专家共享 30 层 Transformer 中的联合自注意力。生成专家的隐藏宽度为 3072，深度专家为 1536，位姿专家为 768。深度与位姿不是两个互不联系的预测头：它们的令牌在每个注意力层互相可见并联合回归，因此论文把二者合称 SLAM 专家。

MoT 的意义不是把三个网络简单拼接，而是在每个层内保留“共享通信、分工计算”的结构。RGB 令牌可以读取深度与位姿上下文，几何令牌也能利用外观特征判断遮挡、纹理和运动；同时，较窄的几何专家没有被强行扩展到生成网络同等宽度，计算量得以控制。对于需要同时输出高维视频潜变量和低维度量状态的系统，这比让单一宽网络承担所有输出更符合信息尺度差异。

目标位置 $\mathbf{p}_{\mathrm{goal}}$ 是初始相机坐标系中的三维点，不包含朝向。它被编码成目标令牌，只通过交叉注意力条件化生成专家，而不直接注入 SLAM 专家。这样，SLAM 专家估计的是“世界实际处于什么状态”，生成专家才有资格利用目标决定“下一步应该想象哪段未来”。这一隔离有助于避免目标先验污染几何测量。

导航梦境因此写成：

$$ \hat{\mathbf{o}}_{t+1}\sim p_\theta\left(\cdot\mid\mathbf{o}_{\leq t},\mathbf{s}_{\leq t},\mathbf{p}_{\mathrm{goal}}\right) $$

生成出来的 RGB 序列必须再由同一个 SLAM 专家解释为未来深度与位姿。最后，位姿序列成为低层控制器可跟踪的度量计划。论文没有从未来的 RGB 直接回归动作，而是先恢复相机运动，再由控制器执行一小段位姿前缀。这个顺序让视觉想象的语义与几何计划之间多了一次可检查的转换。

训练序列如何组织

预训练采用教师强制式联合训练。每个块同时包含干净的观察 $\mathbf{O}_n$ 和状态 $\mathbf{S}_n$，以及待预测的噪声 RGB 令牌 $\mathbf{O}_n^\tau$ 和以零深度、单位位姿初始化的状态查询 $\bar{\mathbf{S}}_n$。注意力掩码让模型在块内联合监督 RGB、深度和位姿，同时保持历史块作为因果上下文。这样，一整段 episode 的多个块可以在一次前向中并行训练，而不必逐帧串行等待。

视频生成使用流匹配目标。设真实潜变量为 $\mathbf{O}_n$，噪声为 $\boldsymbol{\epsilon}$，流时刻为 $\tau$，条件为 $\mathbf{c}_n$，网络 $v_\theta$ 学习从噪声指向数据的速度场：

$$ \mathcal{L}_{\mathrm{FM}}=\mathbb{E}\left[\left\|v_\theta\left(\mathbf{O}_n^\tau,\tau\mid\mathbf{c}_n\right)-\left(\boldsymbol{\epsilon}-\mathbf{O}_n\right)\right\|_2^2\right] $$

几何监督与生成监督相加。深度通过归一化对数表示以覆盖大范围尺度，路径为：

$$ u=\frac{\log\left(d/d_{\min}\right)}{\log\left(d_{\max}/d_{\min}\right)},\quad d_{\min}=0.2,\ d_{\max}=5 $$

位姿同时使用绝对和相对损失。绝对项约束每个相机位姿落在统一坐标系中，相对项约束任意两帧之间的刚体变换，后者对局部轨迹形状尤其重要：

$$ \mathcal{L}_{\mathrm{abs}}=\sum_j\left\|\hat{\mathbf{g}}_j-\mathbf{g}_j\right\|_\delta,\quad \mathcal{L}_{\mathrm{rel}}=\sum_{i,j}\left\|\hat{\mathbf{g}}_i^{-1}\hat{\mathbf{g}}_j-\mathbf{g}_i^{-1}\mathbf{g}_j\right\|_\delta $$

整体预训练目标可以概括为流匹配、深度损失与位姿损失的加权和：

$$ \mathcal{L}_{\mathrm{pre}}=\mathcal{L}_{\mathrm{FM}}+\lambda_d\mathcal{L}_d+\lambda_p\left(\mathcal{L}_{\mathrm{abs}}+\mathcal{L}_{\mathrm{rel}}\right) $$

这种联合监督使深度和位姿能帮助视频潜空间形成度量结构，但也带来一个权衡：深度仍被编码进为外观生成设计的 Wan2.2 VAE 潜空间。兼容预训练视频主干的代价是几何细节可能被平滑，这会在后面的重建误差中直接出现。

基于真实方法的闭环流程

WSM 的推理不是一次性生成整条路线。每次规划先生成四个未来潜帧，得到 16 个相机位姿，控制器只执行前四个位姿；随后接收四张新 RGB，更新历史，再重新规划。如此反复，当前动作总受最新真实观察约束。模型在每个块结束前还会用局部后端重新估计该块内已到达帧的状态，以减轻前缀执行期间逐渐增长的漂移。

flowchart TD
  A["Observed RGB history"] --> B["SLAM expert estimates depth and pose"]
  B --> C["Persistent observed-state KV cache"]
  C --> D["Generation expert dreams goal-conditioned RGB"]
  D --> E["Same SLAM expert serves as inverse dynamics"]
  E --> F["16 future poses from 4 latent frames"]
  F --> G["Controller executes first four poses"]
  G --> H["Four new RGB observations"]
  H --> B
  H --> I["Local backend re-estimates current chunk"]
  I --> C
  

KV 缓存策略是闭环可信度的重要部分。生成帧在每次规划后会被丢弃，缓存只追加真实观察及其估计状态。于是长期记忆不会混入大量未经验证的幻想内容，下一步梦境又可以通过缓存继承已经执行过的真实历史。代价是缓存没有压缩，观察帧越多，内存和注意力计算越大；论文自述这是限制长时程部署的问题。

后训练：让“会生成”变成“更适合导航”

预训练优化的是给定历史下的生成与几何误差，但导航成功还要求梦境产生安全、可达、朝目标推进的轨迹。为此，作者在约 10% 的困难训练轨迹上做一轮在线式后训练。每条查询采样 $G=16$ 个梦境，由冻结的 SLAM 专家恢复轨迹，再依据碰撞、目标进度和与专家轨迹的差异计算奖励。

候选轨迹按奖励做 softmax 加权，权重为：

$$ r_i=\frac{s_i\exp\left(-C_i/T\right)}{\sum_{j=1}^{G}s_j\exp\left(-C_j/T\right)} $$

其中 $s_i$ 表示轨迹无碰撞，$C_i$ 是轨迹每一步 geodesic progress 与专家轨迹进度之间的均方误差。奖励“按专家节奏接近目标”而不是“贴近专家空间路径”，允许模型绕开障碍选择不同路线，只要最终安全推进。这个设计比逐点模仿更符合导航目标，也解释了为什么后训练能主要改变所想象未来的分布。

训练目标依据奖励把采样轨迹划分为正负优势。令 $\rho_i$ 把优势 $A_i$ 裁剪并映射到零和一之间：

$$ \rho_i=\frac12+\frac12\operatorname{clip}\left(A_i/A_{\max},-1,1\right) $$

正速度模型被拉向实际噪声到数据的流方向，负速度模型被推离该方向，并加一项对参考模型的约束：

$$ \mathcal{L}_{\mathrm{post}}=\mathbb{E}\left[\rho_i\left\|v^+-\left(\boldsymbol{\epsilon}-\hat{\mathbf{O}}^{(i)}\right)\right\|_2^2+\left(1-\rho_i\right)\left\|v^-\left(\boldsymbol{\epsilon}-\hat{\mathbf{O}}^{(i)}\right)\right\|_2^2\right]+\lambda_{\mathrm{ref}}\left\|v_\theta-v^{\mathrm{ref}}\right\|_2^2 $$

只更新生成专家的自注意力 LoRA，SLAM 专家保持冻结。这个选择很关键：若同时更新位姿估计器，奖励也可能通过“把坏轨迹解释得更好”而上升，无法确认收益究竟来自更好的未来，还是来自更迎合奖励的测量。冻结几何专家后，后训练提高 SR 与 SPL，证据更能支持“梦境分布变了”这一解释。

实验设置与导航结果

训练数据来自 InternVLN-N1。作者将其中的 5% 轨迹留作 SLAM 测试集，并从预训练和后训练中完全排除。导航基准采用 InternVLA-N1 的闭环 start-goal 协议，包含 40 个 InternScenes 场景，Home 与 Commercial 各 20 个，每个场景 100 个 episode，全部与训练环境不重合。成功条件是机器人在距目标 1 米以内减速或停止，评价指标为成功率 SR 与路径长度加权成功率 SPL。

所有专家从 Wan2.2-5B 初始化。生成专家保留 3072 宽度，深度与位姿专家通过插值权重得到 1536 与 768 宽度。预训练使用 48 张 A100、10 个 epoch、全局批大小 48，随机采样 1 至 4 个潜帧的块。推理则在单张 RTX 4090 上完成：输入分辨率 320×192，每步生成 4 个潜帧，使用 8 个采样步，执行 16 个预测位姿中的前 4 个，历史最多缓存 128 个观察潜帧。

方法	Home SR	Home SPL	Commercial SR	Commercial SPL
DD-PPO	0.4	0.4	5.3	5.2
iPlanner	43.0	40.6	54.6	52.8
ViPlanner	45.0	43.2	63.7	61.9
LoGoPlanner	57.3	52.4	67.1	63.9
LoGoPlanner（重新评估）	59.6	53.6	65.8	62.0
WSM，仅 RGB	70.3	66.3	73.9	71.8

表 1 中，WSM 在 Home 和 Commercial 的 SR、SPL 都是最高。与论文所比较的 LoGoPlanner 原始结果相比，SR 分别高 13.0 和 6.8 个百分点；按摘要中的表述，相对 LoGoPlanner 基线为 10.7 与 8.1 个百分点，具体差值取决于表中采用哪一行作为主比较对象。更稳妥的读法是：即使对照最新官方代码重新评估后的 LoGoPlanner，WSM 仍高出 10.7 与 8.1 点 SR。Commercial 的增益较小，说明结构化室内场景中的尺度与遮挡仍更难处理。

WSM 的输入只有 RGB，相机位姿和深度都由自身估计，不使用外部里程计。因此优势不是“多传感器”带来的直接测量，而是联合模型把生成、定位和计划放进同一闭环。Home SPL 达到 66.3，距 SR 70.3 只差 4 点，说明成功案例整体没有严重绕路；相比之下，ViPlanner 的 SR 与 SPL 只差 1.8 点，路径效率更稳，但成功总量低得多。WSM 的改进主要体现在更多 episode 能完成任务。

图 4 提供了一个比单一成功率更直观的证据。地图中的实际路线到达目标，梦境序列展示了转向与接近目标的视觉变化，估计轨迹和真值高度贴合，预测深度也能抓住墙面、地面和家具的布局。论文将其归因于同一 SLAM 专家在真实观察和梦境上的共享作用。需要注意，这是作者选出的成功案例，不能替代误差分布、失败模式或置信区间。

SLAM 结果：位姿更强，重建并非全面领先

SLAM 评估使用前述 5% 的 InternVLN-N1 轨迹。相机中心 ATE 在逐序列 Sim(3) 对齐后计算；稠密重建则先对齐并做刚性 ICP 精修，再计算预测点到最近真值点的 RMSE。WSM 的输入分辨率为 320×192，SLAM-Former 为 518×518。WSM 只在导航数据集上训练，而 SLAM-Former 先从大规模三维数据预训练，再用同一训练集微调。

方法	ATE RMSE（米）	Accuracy RMSE（米）
SLAM-Former 发布检查点	0.051	0.057
SLAM-Former 同一训练集微调	0.041	0.041
WSM	0.021	0.062

位姿结果很有说服力：WSM 的 ATE 为 0.021 米，约为微调 SLAM-Former 的一半，也优于未微调检查点的 0.051 米。这说明联合世界建模没有把导航收益建立在松散的视觉轨迹上，模型确实获得了较强的度量状态估计。尤其在仅使用导航数据、较低输入分辨率和统一生成主干的情况下，这一差距值得关注。

重建结果则必须诚实呈现：WSM 的 Accuracy RMSE 为 0.062 米，比微调 SLAM-Former 的 0.041 米差。作者将原因指向深度被编码在外观导向的 VAE 潜空间，细节和边界可能因此变平滑。换句话说，模型足以维持导航所需的位姿和目标锚定，却不一定能替代专门的稠密几何系统。论文没有用总体平均或选择性指标掩盖这一不利结果。

这里还暴露出评测边界。只有一个 SLAM-Former 基线，且 WSM 与它的训练先验、输入分辨率不同；ATE 的明显优势可以支持“位姿估计很强”，但不足以支持“WSM 在所有 SLAM 维度都更强”。如果真实机器人需要高精度障碍物重建、厘米级操作或在线回环，外观潜空间与窗口式后端仍需独立验证。

消融：机制比输出更重要

第一组消融把 WSM 与纯逆动力学模型 IDM 对比。IDM 保留生成和位姿反演，但删除深度专家，也不对真实观察做定位与建图；它只从梦境帧之间恢复相机运动。两者初始化、训练数据和评测方式一致，而且都在未后训练阶段比较。这样可以把“会想象未来”与“能把未来落到持续度量世界中”分开。

方法	Home SR	Home SPL	Commercial SR	Commercial SPL
IDM，无 SLAM	28.1	27.1	32.1	31.2
WSM，无后训练	64.6	61.5	68.5	66.9

差距约为 36 个 SR 点，是本论文最有分量的消融。它说明目标固定在初始相机坐标系时，仅靠视觉逆动力学维持的轨迹会逐渐失去全局锚点。WSM 同时在真实帧上估计状态、在想象帧上反演运动，并让二者共享度量坐标，才使计划持续指向同一个目标。这个结果支持论文的核心论点：导航不仅需要 SLAM 给出的结果，还需要 SLAM 维护状态的方式。

第二组消融只改变局部后端。一个版本每帧估计一次后立即冻结，另一个版本在块内持续重估最近帧。两者从同一预训练模型做后训练，并在各自训练和评测阶段使用相同的状态更新规则。

方法	Home SR	Home SPL	Commercial SR	Commercial SPL
无局部后端	68.3	65.2	72.6	70.5
有局部后端	70.3	66.3	73.9	71.8

增益是 Home 的 2.0 SR、1.1 SPL 和 Commercial 的 1.3 SR、1.3 SPL。提升不巨大，却方向一致，说明最近状态的重估可以减少历史误差累积。由于 RGB 缓存不变，只替换深度与位姿估计，这部分收益也能与生成质量的变化区分开。局部后端不是完整全局优化，但它证明了“持续修正已写入历史的状态”确实比一次性估计更有用。

论文附录还报告后训练相较预训练模型的增益：Home 的 SR 与 SPL 分别提高 5.7 和 4.8 点，Commercial 分别提高 5.4 和 4.9 点。由于只有生成专家更新、SLAM 专家冻结，这些增益更适合解释为梦境选择发生变化。奖励优先无碰撞且按专家节奏接近目标的前缀，使生成器从“视觉上可信”进一步靠近“导航上有用”。

附加样例覆盖两个 Home 场景的四个 episode。它们延续相同面板：路线显示机器人如何绕开家具，三幅梦境给出时间上稀疏但语义连贯的未来观察，轨迹图与深度图检验这些观察是否对应一致的相机运动和场景结构。样本可以帮助理解模型失败或成功时的形态，但论文没有给出按场景类型拆分的成功率、碰撞率或失败原因统计。

局限与风险

第一项局限由作者明确承认：深度使用 Wan2.2 VAE 的外观潜空间表示，而非专门的几何潜变量。这样做让深度专家能与预训练视频生成器共享表示，却牺牲了边界、薄结构和细节精度。稠密重建 Accuracy RMSE 0.062 米落后于 SLAM-Former 的 0.041 米，正是这种代价的可测证据。对于需要精细障碍物表面或小目标抓取的机器人，导航级几何可能不够。

第二项局限也由作者指出：历史 KV 缓存没有压缩，内存和计算会随观察帧增加。虽然当前评测把缓存限制在 128 个观察潜帧，但论文没有报告超出这个窗口后的性能、内存曲线或吞吐变化。长走廊、大型商场和持续数小时的巡检任务会不断累积上下文，固定窗口是否会丢失远处目标关系，仍需明确实验。

第三项是评测外部有效性。所有结果来自 InternScenes 仿真与离线轨迹，没有物理机器人实验。仿真中的相机模型、运动执行和碰撞判定都较理想，真实世界的曝光变化、运动模糊、轮滑、动态行人以及传感器延迟没有进入指标。论文也没有报告单步延迟、端到端控制频率、峰值显存或能耗，因此“单张 RTX 4090 可推理”不能直接等同于“可实时部署”。

第四项是比较范围。导航只比较了 DD-PPO、iPlanner、ViPlanner 与 LoGoPlanner，SLAM 只比较了 SLAM-Former 的一个发布检查点及其微调版本。缺少经典视觉 SLAM、其他流式重建模型和更多生成式导航策略，使优势的稳健性仍有限。不同方法的训练数据先验和输入分辨率也不完全一致，尤其 SLAM-Former 用了大规模三维预训练。

第五项是复现条件。当前公开仓库只有 README，代码和检查点尚未发布。本文能核对的只有论文中的架构、公式和数值，无法检查训练数据清洗、局部后端实现、注意力掩码细节或奖励计算代码。项目页和论文给出了清晰方法，但第三方复现仍要等待实现公开。

总结与展望

WSM 的主要贡献不是把两个热门模块拼在一起，而是重新界定世界模型中的空间状态。未来画面由生成专家提出，但未来是否可执行，要由同一个 SLAM 专家在统一度量坐标中解释；真实观察回来后，历史状态还要被持续追加和局部修正。生成负责提出可能性，SLAM 负责维持世界事实，控制器只执行一小段经过几何解释的位姿前缀。

结果支持这一机制的价值：仅 RGB 输入下，Home 与 Commercial 的 SR 达到 70.3 和 73.9；去掉 SLAM 机制的 IDM 降至 28.1 和 32.1；局部后端带来的小幅稳定增益也方向一致。与此同时，位姿误差明显下降，稠密重建却没有同步领先，提醒读者不能把“导航更强”扩展成“几何全面更强”。

下一步最值得观察的是几何原生潜表示与压缩历史记忆。如果深度不再依附外观 VAE，重建细节可能改善；如果缓存能保留关键帧、地图锚点或层次化状态，长时程成本才可能受控。物理机器人上的延迟、漂移恢复与失败检测，则是从论文结果走向可用系统的必要条件。

金句：世界模型真正需要的，不只是生成一个看起来合理的未来，而是让这个未来持续服从同一套可被观察修正的空间事实。