Skip to content
←返回论文库

PAPER DEEP DIVE

世界模型机器人操控视频生成

OneWM:统一因果训练能否让世界模型与动作模型相互促进?

世界模型预测给定动作会带来怎样的未来观测,动作模型则根据视觉上下文生成控制。既有世界动作模型常让视频分支只接触噪声动作,或完全屏蔽动作信息,难以显式学习“指定动作会造成什么变化”。OneWM 在共享的视频—动作混合 Transformer 中引入全干净、部分干净与全噪声三种动作条件:干净动作作为未来视频的因果条件,噪声后缀作为动作去噪目标,并通过时间因果联合注意力耦合两个专家。作者在 LIBERO、LIBERO-Plus、RoboCasa365 与三项真实机器人任务上同时评估策略学习和世界预测,结果显示,指定动作的世界建模能提升策略,并改善分布偏移下的泛化;动作生成监督也会改善多视角未来视频预测,形成双向收益。

论文:Can World and Action Modeling Benefit Each Other under Unified Causal Training?

作者:Yue Su、Bokai Lin、Xinkai Wang、Chubin Zhang、Xiangnan Wu、Kuan Zhang、Weiyang Jin、Jiwen Yu、Yiming Li、Cewu Lu、Lixin Yang、Xihui Liu

机构:MMLab@HKU、MVIG@SJTU、THU、SII、UCAS、IAAI Team

论文链接:https://arxiv.org/abs/2610.21095

代码状态:公开代码已发布在 https://github.com/Interactive-Active-AI/OneWM,项目页为 https://selen-suyue.github.io/OneWMNet。本文核对的源码提交为 121e2e77f52200e040a5296a3bce605ce317de44。

一句话总结

OneWM 在同一个时间因果视频—动作混合 Transformer 中,把动作同时用作未来视频的干净条件和动作去噪目标,并通过三种动作条件混合训练,首次在同一架构下给出了“世界建模提升策略、动作学习反过来提升世界建模”的双向实验证据。

研究背景与动机

机器人要完成操作,既需要回答“执行这组动作之后画面会怎样变化”,也需要回答“为了完成语言指令,现在应该输出什么动作”。前者是动作条件世界模型,后者是策略或动作生成模型。两类问题共享机器人、物体、接触和场景变化的底层规律,因此很自然地被放进同一套视频—动作基础模型中训练。然而,共享网络并不自动意味着两个任务会互相帮助,关键是动作以什么形式进入视频分支,以及视频历史以什么方向影响动作分支。

已有的双向视频—动作模型通常让动作分支读取完整的视频表示,但视频分支仍然沿用预训练时的双向注意力,或者只接收带噪动作。动作掩码方案更直接:它禁止未来视频 token 读取动作,以免泄漏正在被预测的动作目标。这样虽然保持了训练稳定性,却也切断了“指定控制如何改变场景”的显式监督。视频模型看到的是未来画面,但不知道哪一段画面变化应该归因于哪一段控制。

另一类因果世界动作模型允许视频 token 关注动作,不过这些动作往往正处于联合去噪过程中。此时动作 token 是待预测变量,而不是确定的控制输入。对于动作生成,这没有问题;对于前向动力学,模型却没有被明确要求学习“给定这组真值动作,未来会如何变化”。论文把这两种端点分开:全干净动作对应纯世界预测,全噪声动作对应动作生成,中间的部分干净条件则把二者接起来。

由此形成两个需要实验回答的问题。第一,显式学习给定动作的未来视觉后果,能否改善动作学习本身,特别是在新背景、新相机、新布局和传感器噪声下改善策略泛化?第二,在完全相同的因果架构和干净动作推理条件下,额外加入动作生成监督,能否改善未来视频预测?这两个问题不能只靠总体分数回答,因为动作成功率和视频保真度衡量的是不同对象,甚至可能被不同机制推高。

OneWM 的设计价值在于控制变量。作者没有把“双向注意力”“动作条件”“联合训练”混成一个无法拆开的大模型,而是在同一个 Wan2.2-TI2V-5B 视频专家和动作专家组成的混合 Transformer 上,通过改变动作 token 的干净程度与损失来构造对照。动作掩码、全噪声条件和 OneWM 的混合条件共享大部分训练设置,因而更适合判断干净动作条件究竟贡献了什么。类似地,世界模型基线与 OneWM 共享 MoT 结构,只去掉动作预测损失。

预备知识:一条时间因果的信息通道

视频扩散模型把像素帧编码到潜在空间,再对未来的潜在帧去噪。动作模型则把连续控制块映射到动作 token。真正决定两个任务能否互相约束的,不是它们是否有相同参数,而是注意力可见性:视频 token 能不能读当前及过去的动作,动作 token 能不能读已经发生的视觉上下文,以及未来时刻的信息会不会倒流到过去。

OneWM 保留观察到的视觉前缀为干净输入,只把未来潜在帧作为视频去噪目标。设视觉上下文为 $\mathcal{C}=(\mathbf{z}^{\mathrm{ctx}},\ell)$,未来潜在帧为 $\mathbf{z}^{\mathrm{fut}}$,动作块为 $\mathbf{a}$。世界预测要求 $p_\theta(\mathbf{z}^{\mathrm{fut}}\mid\mathcal{C},\mathbf{a})$,动作生成要求 $p_\theta(\mathbf{a}\mid\mathcal{C})$。两者条件变量不同,却共享同一段因果视频—动作表示。

这种建模避免了“先生成完整视频再反解动作”的两阶段误差,也避免了“只预测动作、完全不合成未来”的表示瓶颈。模型在训练时同时看到未来画面真值和动作真值,但推理时可选择只做动作生成,不必为每个控制块生成完整未来视频。作者明确报告部署时不会运行视频生成,这意味着策略推理成本没有被未来视频合成无条件抬高。

方法详解

1. 双专家共享联合注意力

视频专家从 Wan2.2-TI2V-5B 初始化,并复用其视频变分自编码器与文本编码器;动作专家负责动作块。两者各有模态专属的查询、键、值投影与前馈层,因此不会强迫视觉潜在表示和动作表示使用完全相同的特征尺度。每个专家还各自接收一次语言交叉注意力,同一句任务指令可以分别控制“未来应该长成什么样”和“当前应该输出什么动作”。

视频块与动作块按时间对齐。记观察上下文为 $\mathcal{V}_0$,第 $i$ 个未来潜在帧的 token 为 $\mathcal{V}_i$,与该帧对齐的动作段为 $\mathcal{A}_i$。未来视频查询可见视频前缀与到当前块为止的动作,而动作查询只可见观察画面和对齐动作前缀。这个不对称可见性既阻止未来画面泄漏给过去的动作,又允许控制信号进入前向动力学。

$$ \begin{aligned} \mathcal{S}_v(i)&=\mathcal{V}_{\leq i}\cup\mathcal{A}_{\leq i},\\ \mathcal{S}_a(i)&=\mathcal{V}_0\cup\mathcal{A}_{\leq i}. \end{aligned} $$

两个专家不是各自独立运行后简单拼接。MoT 会把视频专家与动作专家的键和值放到联合序列中,让查询在各自允许的可见集合内做一次联合 softmax。查询仍由所属专家生成,输出也回到各自专家的后续层。因此跨模态信息共享和方法专属表示可以同时存在。

$$ U_m=\operatorname{softmax}_{\mathcal{S}_m} \left(\frac{Q_mK^\top}{\sqrt d}\right)V,\qquad K=\begin{bmatrix}K_v\\K_a\end{bmatrix},\quad V=\begin{bmatrix}V_v\\V_a\end{bmatrix}. $$

源码中的 onewm/modules/mot.py 分别计算各专家的查询、键和值,拼接后施加一个结构化因果掩码,再把联合注意力输出切回专家。训练入口 onewm/wam/mot_wam.py::_build_mot_attention_mask 将论文中的可见关系写成块级掩码。这使“因果”不是一个文字描述,而是能从张量形状、帧块边界和掩码依赖中核对的实现约束。

2. 用干净前缀统一两种任务

最关键的机制是干净动作前缀长度 $r$。当 $r=K$ 时,动作块的所有 token 都是干净条件,视频专家学习指定动作下的前向动力学;当 $r=0$ 时,所有动作 token 都是噪声目标,动作专家从观察和指令中生成控制;当 $0<r<K$ 时,干净前缀限定当前控制,噪声后缀参与动作去噪,视频专家同时看到确定条件和待推理控制。

$$ a_k^{(r,\tau)}= \begin{cases} a_k,&k\leq r,\\ \widetilde a_k(\tau),&k>r. \end{cases} $$

动作输入还附带噪声级别嵌入:干净前缀使用零噪声标记,噪声后缀使用相同的采样噪声级别。这样即使同一个序列中既有真值又有噪声,专家也能从构造上区分“这是条件”与“这是要预测的目标”。更重要的是,干净部分不是额外外挂的控制编码器,而是与噪声目标处在同一 token 序列和同一联合注意力中,因此视觉分支可以从指定动作的表示直接学习场景变化。

三种 regime 会在每个训练批次中按比例混合。默认比例是全噪声、部分干净、全干净分别占 $60\%$、$25\%$、$15\%$。部分干净边界并不总是严格落在视频块中心:其一是从与视频帧对齐的动作块边界附近选择,再以 $\pm 2$ 步抖动,权重为 $[0.1,0.15,0.5,0.15,0.1]$;其二是在合法范围均匀采样。源码 onewm/training/flow.py::add_partial_clean_action_noise 实现了这一逻辑。

作者还额外约束了部分干净边界以 $0.6$ 的概率对齐视频边界。这个细节看似只是数据增强,实际关系到跨模态块结构:若边界长期与视频帧错位,视频 token 读取的动作条件会对不上画面时刻,模型更容易通过全局平滑特征而不是局部动作时机来降低损失。对齐偏置与轻微抖动折中,让模型既看到规整条件,也看到边界不确定性。

3. 流匹配损失只监督有效目标

视频和动作都用流匹配训练。对干净目标 $\mathbf{x}$,在噪声级别 $\tau$ 下构造 $\mathbf{x}(\tau)=(1-\tau)\mathbf{x}+\tau\boldsymbol{\epsilon}$,网络预测从噪声指向干净目标的常速度 $\boldsymbol{\epsilon}-\mathbf{x}$。视频噪声级别与动作噪声级别独立采样,观察到的视觉上下文和动作干净前缀始终作为条件保留。

$$ \mathbf{x}(\tau)=(1-\tau)\mathbf{x}+\tau\boldsymbol{\epsilon}, \qquad \mathbf{u}^{*}=\boldsymbol{\epsilon}-\mathbf{x}. $$

视频损失覆盖未来潜在帧,动作损失只覆盖 $k>r$ 的后缀。全干净样本没有噪声动作目标,因此只贡献视频监督;全噪声和部分干净样本同时贡献动作监督。最终损失对两项加权求和。仓库中动作维度为 $7$、动作块长度为 $32$,视频与动作损失权重都为 $1.0$。

$$ \begin{aligned} \mathcal{L}_v&=\mathbb{E}\left[ w_v(\tau_v)\left\|\widehat{\mathbf{u}}_v- (\boldsymbol{\epsilon}_v-\mathbf{z}^{\mathrm{fut}})\right\|_{\mathrm{mean}}^2 \right],\\ \mathcal{L}_a&=\mathbb{E}_{r<K}\left[ w_a(\tau_a)\left\|\widehat{\mathbf{u}}_{a,>r}- (\boldsymbol{\epsilon}_{a,>r}-\mathbf{a}_{>r})\right\|_{\mathrm{mean}}^2 \right],\\ \mathcal{L}&=\lambda_v\mathcal{L}_v+\lambda_a\mathcal{L}_a. \end{aligned} $$

这里的“平均平方误差”只对有效目标元素求均值,避免不同前缀长度因为目标数量不同而产生隐式尺度偏置。动作损失的条件期望 $r<K$ 也保证全干净样本不会被错误地要求生成不存在的噪声后缀。视频损失则始终存在,因为未来潜在帧无论动作 regime 如何都要被预测。

4. 两种推理端点与闭环想象

世界预测推理采用 $r=K$:给定的动作块固定为干净条件,视频专家从高斯潜在表示开始去噪,观察画面和指令保持不变。动作生成推理采用 $r=0$:动作块从噪声开始去噪,观察视频表示在整个动作去噪过程中复用。闭环控制时,每个重规划步骤都使用最新观察生成新的动作块,而不会把想象画面冒充真实反馈。

两种端点还能首尾相接形成 Endless Dream。第 $j$ 轮先从当前想象上下文生成动作 $\widehat{\mathbf{a}}_j$,再把该动作固定为干净条件生成未来视频,最后只把解码后的最后一帧作为下一轮观察。整个循环不获得新的环境观测,因此它测试的是模型自己的动作和世界预测能否维持任务语义与管理时间一致性。

$$ \begin{aligned} \widehat{\mathbf{a}}_j&\sim p_\theta(\mathbf{a}\mid\mathcal{C}_j),\\ \widehat{\mathbf{z}}_{j}^{\mathrm{fut}}&\sim p_\theta(\mathbf{z}^{\mathrm{fut}}\mid\mathcal{C}_j,\widehat{\mathbf{a}}_j),\\ \widehat{\mathbf{o}}_{j+1}&=\operatorname{last} \left(D(\widehat{\mathbf{z}}_{j}^{\mathrm{fut}})\right). \end{aligned} $$

LIBERO 上的闭环实验运行 16 轮,每轮生成 32 个动作和 8 帧未来画面,合计 512 个动作,覆盖 25.6 秒的建模时间。需要注意,这不是在模拟器中执行 512 步得到的任务成功率,而是完全基于模型预测的想象轨迹。它证明了两种能力能够组合,但还不能单独证明想象轨迹可直接用于可靠规划或策略改进。

OneWM 架构与三种动作条件方式

图1:视频专家与动作专家通过时间因果联合注意力耦合,下方展示全干净、部分干净和全噪声三种动作构造。

5. 真实方法对应的训练流程

flowchart LR
  O["多视角观测"] --> E["视频 VAE 编码"]
  L["语言指令"] --> TV["视频专家文本交叉注意力"]
  L --> TA["动作专家文本交叉注意力"]
  E --> V["视频专家"]
  A["动作块"] --> R{"干净前缀长度 r"}
  R -->|"r = K"| C["全干净条件"]
  R -->|"0 < r < K"| P["干净前缀与噪声后缀"]
  R -->|"r = 0"| N["全噪声动作目标"]
  C --> J["时间因果联合注意力"]
  P --> J
  N --> J
  V --> J
  TV --> V
  TA --> AEXP["动作专家"]
  J --> AEXP
  J --> VP["未来潜在视频"]
  VP --> LV["视频流匹配损失"]
  AEXP --> LA["动作后缀流匹配损失"]
  

实验结果

论文在 LIBERO、LIBERO-Plus、RoboCasa365 和三项真实机器人任务上评估。LIBERO 检验分布内操作,LIBERO-Plus 覆盖背景、相机、语言、光照、布局、初始位姿和传感器噪声七类偏移,RoboCasa365 包含复杂场景中的固定与移动操作。真实任务为方块叠放、方块插入和早餐摆放,分别侧重相对位置、精密对齐与连续物体搬移。图2展示仿真与真实环境。

OneWM 的仿真基准与真实世界任务

图2:LIBERO、LIBERO-Plus、RoboCasa365 三个仿真测试床,以及叠方块、插入和早餐摆放三项真实任务。

动作条件世界建模改善策略

第一组比较针对“世界建模能否帮助动作学习”。所有内部变体都联合训练视频和动作,但 WAM mask 不允许未来视频 token 读取动作,WAM noisy 只让视频读取噪声动作,OneWM 则混合全干净、部分干净和全噪声动作。OneWM 在 LIBERO 平均成功率为 $94.95\%$,高于 WAM mask 的 $92.45\%$ 和 WAM noisy 的 $92.60\%$;在 LIBERO-Plus 上分别提高到 $59.27\%$ 对 $53.37\%$ 和 $52.50\%$;在 RoboCasa365 上为 $36.68\%$,明显高于 WAM mask 的 $28.32\%$。

Fast-WAM 在 LIBERO 上仍以 $97.60\%$ 高于 OneWM,说明更强的分布内策略仍可能来自不同的训练与架构取舍。但 OneWM 在 LIBERO-Plus 的全部七类扰动中平均优于 Fast-WAM,并在相机、布局和传感器噪声上表现出更大差距。论文据此强调泛化,而不是宣称在所有分布内指标上全面领先。这个表述与数据一致,也提示干净动作动力学带来的收益主要体现在场景变化下的可迁移表示。

真实世界结果提供了方向相同但样本更有限的证据。OneWM 总体成功率为 $73.3\%$,WAM mask 为 $60.0\%$。按任务看,叠方块为 $66.7\%$ 对 $60.0\%$,插入为 $20.0\%$ 对 $0\%$,早餐摆放为 $86.7\%$ 对 $40.0\%$。提升集中在需要持续跟踪物体关系与场景状态的任务,符合“动作条件未来预测塑造机器人—物体交互表示”的解释,但每项任务只有 15 次试验,置信区间仍然较宽。

方法LIBEROLIBERO-PlusRoboCasa365
OneWM94.9559.2736.68
WAM mask92.4553.3728.32
WAM noisy92.6052.50未报告
Fast-WAM97.6049.70未报告
π094.4053.6014.80

表1:仿真策略成功率,单位为百分比。OneWM 并非 LIBERO 分布内最优,但在两个偏移更明显的测试床上取得更高总体结果。

动作生成监督改善世界预测

第二组比较反过来检验动作学习。WM 基线与 OneWM 使用同一种 MoT 架构,也都在推理时接收干净动作,但 WM 不训练动作预测。OneWM 在三个基准上的 PSNR、SSIM 和 LPIPS 都优于 WM。例如 LIBERO PSNR 为 $22.95$ 对 $22.33$,LIBERO-Plus 为 $21.05$ 对 $20.54$,RoboCasa365 为 $25.21$ 对 $24.72$。由于架构相同,这些差异比跨模型比较更能支持动作损失本身带来的表示收益。

分布指标并不完全同向。LIBERO 上 OneWM 的 FID 是 $12.45$,反而差于 WM 的 $11.89$;WM AdaLN 的 FID 是 $12.88$,但与 OneWM 不是同一种耦合方式。作者没有掩盖这一点,而是指出 PSNR、SSIM、LPIPS 使用同一段动作条件逐帧对齐参考结果,FID 与 FVD 则比较整个集合的特征分布。若把生成片段与不同动作序列重新配对,汇总分布统计量原则上可以不变,因此更低的 FID 不必然表示更强的动作—结果对应关系。

FVD 在三个基准上则都支持 OneWM:与同架构 WM 相比分别为 $13.58$ 对 $13.68$、$31.66$ 对 $32.48$、$17.74$ 对 $18.55$。这说明动作监督既改善了配对条件预测,也改善了全局时序分布。论文进一步用主相机、腕部相机和 RoboCasa365 三视角的定性面板检查物体位置、抓取器姿态、门体运动和视角变化,这些比较比单一 FID 更贴近“给定动作是否被跟随”。

图3展示主相机预测。每行给出真值、OneWM 和一个匹配基线,并在 $t+32$ 的末列放大同一区域。重点不是画面是否漂亮,而是抓取器与目标物体的相对几何是否随动作推进。图4改用腕部相机,检查在近距离接触时物体边缘、瓶口和抓取器之间的局部对应。图5扩展到 RoboCasa365 的左、腕、右三个视角。图6展示 Endless Dream 的 16 轮纯想象轨迹。

OneWM 主相机世界预测

图3:LIBERO 与 LIBERO-Plus 主相机预测,比较未来帧和 $t+32$ 局部区域的物体—抓取器关系。

OneWM 腕部相机世界预测

图4:匹配动作条件下的腕部相机预测,重点显示近距离物体形状、位置与姿态。

基准方法PSNR ↑SSIM ↑LPIPS ↓FID ↓FVD ↓
LIBEROOneWM22.950.84230.145812.4513.58
LIBEROWM22.330.83250.152911.8913.68
LIBERO-PlusOneWM21.050.80490.193517.0131.66
LIBERO-PlusWM20.540.79370.201418.0632.48
RoboCasa365OneWM25.210.85150.10159.1617.74
RoboCasa365WM24.720.84330.10879.2018.55

表2:同架构世界模型消融。OneWM 的配对预测指标和 FVD 全面改善,但 LIBERO FID 表明分布指标并非同向证据。

条件混合比例需要平衡

作者测试了三种混合比例。$60/25/15$ 在 LIBERO-Plus 上取得 $59.27\%$,明显优于 $50/35/15$ 的 $56.98\%$ 和 $30/45/25$ 的 $38.01\%$。在 LIBERO 分布内,$50/35/15$ 反而略高,为 $95.95\%$ 对 $94.95\%$。这说明增加部分干净样本可以让熟悉场景的成功率略微上升,但会牺牲偏移场景的鲁棒性。

更大的变化出现在把干净条件提高到 $25\%$ 时。此时 LIBERO-Plus 成功率降到 $38.01\%$,而 PSNR、SSIM、LPIPS 并没有同步恶化,某些配对指标甚至略优。作者的解释是,更多干净条件强化了熟悉场景中的重建,但没有提供更多用于选择动作的监督;部署时动作仍要从噪声生成,因此保留足够的全噪声样本很重要。世界预测好并不自动等于策略会从干净条件中学到可泛化的控制表示。

全噪声 / 部分干净 / 全干净LIBERO 成功率LIBERO-Plus 成功率LIBERO PSNRLIBERO-Plus PSNR
60 / 25 / 1594.9559.2722.9521.05
50 / 35 / 1595.9556.9822.4420.57
30 / 45 / 2587.8038.0123.1220.90

表3:动作条件混合消融。世界预测质量对中等调整较稳定,策略分布外泛化却对干净条件占比明显更敏感。

RoboCasa365 多视角世界预测

图5:RoboCasa365 左、腕、右三视角预测,比较动作驱动的抓取器运动与场景几何。

Endless Dream 验证组合能力

在一段 16 轮想象中,OneWM 先生成 32 步动作,再用这些动作预测 8 个未来帧,并把最后一帧作为下一轮观察。任务包括打开抽屉、推动物体、搬运单件或多件物体。图6显示多视角画面能够在没有新真实观测的情况下持续演化,且动作与场景状态保持任务方向。这个结果的意义是验证两个端点能组成一套内部模拟器—策略循环,而不是报告更高的执行成功率。

OneWM Endless Dream 想象轨迹

图6:LIBERO 上的 Endless Dream,每轮由动作生成与干净动作世界预测交替组成,蓝色轮廓仅标记初始观测。

代码与论文的对应关系

公开实现与论文的核心描述可以逐项对应。onewm/training/flow.py 负责混合干净前缀与噪声后缀;onewm/wam/mot_wam.py 的训练步骤把视频和动作流匹配目标放进同一批次;onewm/modules/mot.py 的联合注意力拼接各专家键值;deploy/libero/endless_dream.py::imagine 交替调用动作生成与动作条件世界预测。configs/libero.yaml 中动作块长度为 32、动作维度为 7,损失权重均为 1。

这种可追溯性很重要。部分世界动作模型论文只给出概念图,读者无法判断视频 token 是否真的能读取动作,或干净前缀是否只是一条额外控制通路。OneWM 的掩码、动作构造和推理循环都有具体函数,论文中的三种 regime 可以落到代码路径上。本文因此把“方法贡献”与“工程实现”分开评价:概念上统一了条件与目标,工程上通过共享 MoT 与结构化掩码实现了选择性信息流。

局限性

第一,动作条件视频预测没有专门的验证集。LIBERO、LIBERO-Plus 和 RoboCasa365 原本是为策略评估设计的,作者分别用 π0.5 和小米机器人模型收集 100 个专家轨迹作为视频参考。这样可以统一条件动作和参考结果,但数据选择、机器人策略质量与任务覆盖会影响绝对值,也意味着无法用独立验证集估计泛化误差。

第二,真实世界证据规模有限。三项任务各采集 50 个演示,总计 150 个训练回合,每种模型每项任务只做 15 次测试。插入任务中 OneWM 为 $20.0\%$、WAM mask 为 $0\%$,提升幅度很大,但绝对样本数很少。真实环境的物体、相机和初始状态变化也远少于 LIBERO-Plus,因此真实实验支持方向性结论,却不能替代大规模多机器人验证。

第三,Endless Dream 没有在模拟器中执行动作,也没有用规划器验证想象状态是否能带来更高任务成功率。16 轮、512 个动作和 25.6 秒只说明生成链条能持续运行,不说明累计误差、接触动力学和任务完成判定可靠。作者在结论中也把“用学习到的动力学做规划和策略改进”列为未来工作,而不是已完成结果。

第四,混合比例虽然测试了三种,但训练预算和模型规模固定。更干净的条件可能在不同数据量、更长动作块或更强动作专家下呈现不同权衡。论文也没有对计算成本、推理延迟和训练吞吐做系统报告。由于 OneWM 需要视频基础模型和联合注意力,在真实闭环控制中的实时性仍需单独评估。

第五,指标之间的因果解释仍有边界。OneWM 在配对指标上更好,但 LIBERO FID 差于同架构 WM,说明动作监督没有同时改善所有统计维度。论文用相机面板补足动作对应性检查,不过定性案例是精选窗口,不能代替覆盖全部任务和失败模式的大规模动作敏感性测试。

总结与展望

OneWM 的核心贡献不是提出一个更庞大的通用机器人模型,而是把“动作作为条件”和“动作作为目标”放进同一个时间因果架构,做出了可分离的双向实验。结果支持两个有限但明确的判断:显式学习指定动作的视觉后果可以改善策略,尤其能改善分布偏移下的泛化;在相同架构下加入动作生成监督可以改善动作条件世界预测的配对保真度。

下一步最有价值的方向不是继续扩大单一指标,而是检验这种互促能否支持可靠规划。例如,用想象 rollout 做候选动作评估,再在真实模拟器中闭环纠正;测试不同接触、遮挡和长时序任务下的误差累积;在更多机器人形态与数据规模上观察混合比例是否仍成立。若这些环节得到验证,世界模型与动作模型的关系才会从“联合训练互相正则”推进到真正的“预测服务于决策”。

金句

干净动作让视频模型学会“控制会改变什么”,动作生成又迫使同一表示理解“此刻需要改变什么”;OneWM 的互促来自这两种监督对同一因果结构的双向约束。

相关论文

Thinker-WM:共享多模态具身世界模型

Thinker-WM:共享多模态具身世界模型

统一建模 RGB、度量深度与机器人动作,在共享表征中完成世界预测、策略推断与多模态生成。

Thinker Team, Peng Gao, Jichao Jiao · 97次阅读 · 2026年10月13日
世界模型具身智能
2026年10月13日
SuperMimic:用一个可微世界模型扩展人形机器人全身控制

SuperMimic:用一个可微世界模型扩展人形机器人全身控制

SuperMimic 用一个可微世界模型复用共享动力学,单卡 3 小时超过 128 卡 SONIC,双卡 9.8 小时后 129,514 条动作零失败。

Qiayuan Liao, Yiyang Shao, Junfeng Long · 739次阅读 · 2026年10月20日
人形机器人世界模型
2026年10月20日
WildAWM:为计算机使用智能体合成可执行世界与长程任务

WildAWM:为计算机使用智能体合成可执行世界与长程任务

WildAWM 针对的痛点很具体:计算机使用智能体不缺模型,缺的是能让它反复试错的环境。在真实系统上直接做交互式学习既慢又有副作用,而现有合成环境的状态规模只有千级 token、任务也偏短。这篇工作把环境合成拆成两段:先由人格与日程驱动,生成 640 个可执行状态、中位 52.4K token 的世界(对照 CUA-Gym 的 1.1K),并配 83 个技能与 17.16 万条数据库记录;再用五道门禁(裁判一致性、初始未满足、可解性、难度、反事实探针)筛出 341 个长程任务,其中 273 个困难、68 个中等,平均 4.2 个子任务、3.1 次界面切换,74.5% 的任务需要重访同一界面。训练侧用 18 个模型-框架组合跑出每题 6 条轨迹,SFT 预热后接带自适应 rollout 与清单式奖励的 GRPO:4B 平均提升 8.21 分、35B 提升 10.58 分,而 GPT-6-Astra 在这套题上也只有约 60% 通过率。代价同样写得很清楚:单题合成约 6980 万输入 token(p90 1.309 亿),而按题目难度分箱后,最难的那四分之一(多为 OS-2 / ALE 上的超长任务)对所有变体都几乎没有增益,说明这套流水线抬高了中位难度,天花板还没顶开。

Zhaoyang Wang, Qianhui Wu, Haorui Wang · 186次阅读 · 2026年10月19日
Computer-Use Agent世界模型
2026年10月19日
Social-WM:面向机器人社交导航的安全感知隐空间世界模型

Social-WM:面向机器人社交导航的安全感知隐空间世界模型

社交导航不只要求机器人预判动作后果,还要求它判断一条名义动作在当前物理与社交约束下是否真能执行。Social-WM 从第一视角 RGB 序列训练一个轻量隐空间世界模型,把名义动作与可实现动作之间的系统性偏差直接用作安全信号:冻结的 DINOv2-small 把 224×224 画面编码为 16 个 384 维 token,六层 Transformer 在 T=8 的历史上预测 H=8 的未来隐状态;再用可实现逆动力学目标,以里程计恢复出的真实运动而非下发指令来监督隐空间转移。部署时 CVAE 一次提出 K=8 条动作块,全部在世界模型中想象,由逆动力学估计每条转移的可实现动作,残差超阈值的候选在执行前即被判为不安全并剔除,其余按目标代价择优。在 Habitat Social-HM3D 上取得 63.77% 成功率与 94.37% 个人空间合规率,与人碰撞率降至 21.67%(相对 NavThinker 降低 44.6%),零样本迁移到 Social-MP3D 仍为成功率最高、碰撞率最低,全程只用离线 RGB 轨迹,不需显式行人跟踪、特权人体状态或在线强化学习。

Zhihao Zheng, Mooi Choo Chuah · 163次阅读 · 2026年9月30日
Social Navigation世界模型
2026年9月30日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。