UniWAM：统一世界动作模型

作者：UniWAM Team（项目负责人：Wenxuan Song；核心贡献者：Jiayi Chen、Jingbo Wang、Shuai Zhou、Xicheng Gong；项目主管：Shunbo Zhou；项目负责人：Haoang Li）
论文：arXiv:2610.02054
项目页：https://uniwam.github.io
代码：https://github.com/UniWAM/UniWAM，已公开基础模型、RoboTwin 与 LIBERO 训练推理代码。

一句话总结

UniWAM 把物理推理、未来视频生成和连续动作预测放进同一个三专家联合注意力架构，并用人类第一视角视频与机器人示范共同训练，使动作模型同时获得语义泛化和世界动力学先验。

研究背景：动作策略缺少世界模型，世界模型又缺少语义推理

视觉语言动作模型的主要优势来自大规模视觉语言预训练。模型在互联网图文与视频中获得的物体知识、场景关系和指令理解，可以迁移到机器人控制。可是标准视觉语言动作模型通常只在机器人轨迹上优化动作输出，训练信号集中在“看到当前画面后应该输出什么动作”，没有显式要求模型预测未来画面或理解接触之后的物体状态变化。动作标签能够提供执行监督，却不能完整表达动力学，因此模型在分布外场景中容易抓住与动作偶然相关的视觉线索。

世界动作模型从另一条路线出发。视频生成骨干在大量自然视频上学习时空变化，能够提供关于物体持续存在、运动趋势和接触结果的先验。它们通常把未来视觉潜变量和动作序列放在同一个生成过程中，借由预测未来来约束当前动作。问题在于，视频生成骨干的语义理解与组合推理并不等于视觉语言模型的能力。当指令包含多物体指代、空间关系或动作方式时，仅靠生成先验不一定能把语言正确落到任务对象上。论文把这两类模型的缺口写成一对互补问题：视觉语言动作模型懂语义但缺少动力学监督，世界动作模型懂动态但语义泛化有限。

UniWAM 的研究目标不是简单把两个大模型首尾相接，而是让三类表示在每个解码层持续交换信息。物理推理器负责解释指令和场景，世界生成器负责形成未来视觉潜变量，动作预测器负责把当前状态、历史和未来想象转换成动作块。三个专家各有参数与归一化方式，却在联合注意力中共享查询、键和值所在的公共空间。这样既保留骨干网络的模态专长，又让动作 token 在每个层中看到语义 token 和正在演化的视觉 token。

训练难点主要来自数据异质性。视觉问答数据适合训练语义理解，人类第一视角视频包含丰富的操作和世界变化，却缺少与目标机器人严格一致的动作标签；机器人示范具有最准确的末端执行器动作，但规模和场景覆盖有限。作者没有让所有数据监督所有输出，而是为三个专家分配互补监督：视觉问答维持物理推理器原有的知识，人类视频同时约束物理推理器与世界生成器，机器人示范则监督推理、生成和动作三个部分。这个分配原则是理解全文的关键。

从工程角度看，另一项难点是推理效率。流匹配通常需要多步去噪，如果每一层还要联合处理语言、视频和动作 token，部署成本会迅速增加。UniWAM 的后训练设计正是围绕这一点展开：未来视觉潜变量只做部分加噪，使动作专家不能盲信某一条未来画面；动作流从带轻微扰动的历史动作出发，而不是每次从高斯噪声重建。两者共同缩短推理路径，并使动作生成保留时间连续性。

图1：论文首页总览，左侧是多源预训练数据，中部是三个专家通过联合多模态注意力连接，右侧汇总跨基准表现。对应论文 Figure 1。

问题定义与统一架构

给定当前观测 $o_t$、机器人本体状态 $s_t$ 和任务指令 $I$，UniWAM 希望联合建模语言输出、未来观测与动作块。论文把目标写成：

$$ p_{\theta}\left(y,o_{t+1:t+h},a_{t+1:t+h}\mid o_t,s_t,I\right), $$

其中 $y$ 是物理语言 token 或视觉问答答案，$h$ 是预测时域长度，$\theta$ 是模型参数。这个分布把“回答看到了什么、想象接下来会发生什么、生成该执行什么动作”放在一个目标里，而不是先训练一个独立视觉语言模型，再额外接一个动作头。

三个专家都是 30 层。物理推理器基于 Qwen3-VL-2B-Instruct，隐藏维度为 512；世界生成器基于 Wan2.2-TI2V-5B，隐藏维度为 3072，使用 24 个注意力头；动作预测器隐藏维度为 1024。模型接收 14 维机器人状态与动作，预测 8 个未来视频帧，空间分辨率为 384×320，并输出长度 16 的动作块。公开说明把完整系统称为约 80 亿参数模型。

每一层中，模态 $m\in\{u,v,a\}$ 分别表示理解、视频和动作。专家先进行各自的归一化，视频与动作 token 还要接受时间步调制；随后它们被投影到公共注意力空间：

$$ Q_m=\widetilde X_m^\ell W_m^Q,\qquad K_m=\widetilde X_m^\ell W_m^K,\qquad V_m=\widetilde X_m^\ell W_m^V. $$

投影后的 token 沿序列维拼接，再执行带掩码的缩放点积注意力：

$$ O=\operatorname{softmax}\left(\frac{QK^\top}{\sqrt d}+M\right)V, \qquad Q=[Q_v;Q_a;Q_u]. $$

键与值按同样的视频、动作、理解顺序拼接，$d$ 是单头维度，$M$ 是注意力掩码。输出再按模态拆开，经过各专家自己的输出投影、残差连接与前馈网络。这个设计意味着动作专家不必被动等待一个已经完成的视频预测；它在每一层都能读取当前视频潜变量，而视频专家也能接收动作 token 提供的控制意图。

flowchart TB
    O["Observation o_t"] --> PR["Physical Reasoner
Qwen3-VL 2B
hidden 512"]
    I["Instruction I"] --> PR
    S["State s_t"] --> AP["Action Predictor
hidden 1024"]
    H["History action chunk"] --> AP
    O --> WG["World Generator
Wan2.2 TI2V 5B
hidden 3072, 24 heads"]

    PR --> JA1["Layer 1 joint attention"]
    WG --> JA1
    AP --> JA1
    JA1 --> JA2["Layer 2 to layer 30"]
    JA2 --> LT["Language head
physical language or VQA"]
    JA2 --> VH["Video flow head
8 future frames"]
    JA2 --> AH["Action flow head
14-D, chunk 16"]

    VH -. "future latent feedback" .-> JA2
    AH -. "control intent feedback" .-> JA2

图注：该图不是通用多模态流程图，而是依据论文的 30 层三专家结构、隐藏维度和联合注意力实现绘制。动作及视频 expert 在每个解码层参与注意力，并不是最后阶段才融合。

代码中的对应位置很清楚。models/motus.py 的 process_joint_attention 先把动作 token 用 1024 到 24×128 的投影送入视频注意力空间，再把理解 token 从 2048 维投影到同一空间，最后调用世界生成器的自注意力并分别接回三个专家的残差。这与论文公式中的模态投影和拼接完全一致。

# models/motus.py:248-324，节选
def process_joint_attention(
    self, video_tokens, action_tokens, video_adaln_modulation,
    action_adaln_modulation, layer_idx, action_block,
    und_tokens, und_block, und_k_lens=None,
):
    """Trimodal joint self-attention: WAN + Action + Understanding."""
    norm_video = wan_layer.norm1(video_tokens) * (1 + v_mod[1]) + v_mod[0]
    norm_action = action_block.norm1(action_tokens) * (1 + a_mod[1]) + a_mod[0]
    a_qkv = torch.einsum("BTD,KNDE->KBTNE", norm_action,
                         action_block.wan_action_qkv)
    u_qkv = torch.einsum("BTD,KNDE->KBTNE", norm_und,
                         und_block.wan_und_qkv)
    y, action_out_h, und_out_h = wan_layer.self_attn(
        norm_video, seq_lens, self.grid_sizes, freqs,
        action_q=a_q, action_k=a_k, action_v=a_v,
        und_q=u_q, und_k=u_k, und_v=u_v,
    )
    und_tokens = und_tokens + und_block.wan_und_o(und_out_h)
    action_tokens = action_tokens + action_block.wan_action_o(action_out_h)
    video_tokens = video_tokens + y * v_mod[2]
    return video_tokens, action_tokens, und_tokens

预训练数据：机器人、人类视频与视觉问答的互补分工

论文的预训练数据由三部分组成。视觉问答集合共约 829.3 万对，覆盖空间理解、目标指代、通用推理、视频时序、具身交互和规划。机器人数据来自 AgiBot World 2026、AgiBot World Alpha、Bridge、Droid、Fractal、Robocoin 与 Interdata-A1，既包含单臂也包含双臂和移动平台。人类第一视角数据来自 EgoVerse、EgoDex 与 VITRA，总计约 5072 小时。

数据类别	来源与处理重点	论文表中的规模
机器人示范	AgiBot World、Bridge、Droid、Fractal、Robocoin、Interdata-A1；监督动作、视频和物理语言	表 1 小计约 4958 小时
人类第一视角视频	EgoVerse、EgoDex、VITRA；监督语义与未来视频，不直接使用低精度机器人动作	约 5072 小时
视觉问答	空间、指代、通用推理、时序、具身交互与规划问题	约 829.3 万对

正文对机器人数据的小计存在一处内部不一致：3.1.1 节称筛选后约 4363 小时，而表 1 的来源求和给出约 4958 小时，缩放实验最后一点也使用 4958 小时。本文保留这两个数字而不自行抹平，因为两者可能分别对应“叙述中的入选数据”和“表中最终训练集合”。读者在使用总训练时长时应以表格和缩放实验的实际配置为主要依据。

数据清洗并非简单删除坏帧。作者从时序统计、几何一致性和视觉有效性三个方向检查轨迹。对每个状态或动作维度，先用级联中值滤波和 Savitzky-Golay 平滑构造参考，再要求残差、加速度与加加速度同时异常才标记尖峰，以避免把正常快速运动误判为噪声。对状态和动作共享的维度，系统通过互相关估计时间偏移，补偿后再比较方向一致性；增量动作先积分成绝对轨迹再检查。

几何检查把关节状态、末端执行器位姿、坐标系约定和旋转表示放在一起验证。只有在机器人模型和末端语义可靠时才做正运动学一致性检查，避免在元数据不完整时制造新的错误。视觉侧会删除黑帧、损坏帧、严重模糊帧和长时间静止片段，但保留夹爪闭合等对接触判断关键的时刻。这个取舍说明数据清洗的目标是保留控制相关信息，而不是追求画面变化幅度。

EgoDex 原始长视频缺少统一直观的分段描述，因此论文构建 EgoANT 自动标注流程。它先把整段视频每 0.5 秒取一帧，最多 20 帧拼成带时间戳的接触表，用视觉语言模型做整集粗分段；随后在候选边界附近建立局部窗口，再次判断动作的起止；最后通过原始帧、另一种视频解码路径和基于前序描述的候选生成，得到多条文本描述，再由纯文本选择器挑选最终动作短语。输出是时间区间与“动作、对象、目标状态”描述的组合。

图2：论文架构与预训练数据总览。三个专家逐层联合注意，人类、机器人和视觉问答数据分别监督相应专家。对应论文 Figure 3 及其数据统计部分。

物理语言：把连续动作改写成视觉语言模型能读的目标

直接让视觉语言模型回归 14 维连续动作，会把它推离原有 token 预测分布。UniWAM 沿用语言动作预训练思路，把滑动窗口内的末端执行器位移和旋转改写成结构化自然语言。平移以厘米为单位取整，旋转以 10 度为粒度取整；沿三个轴的正负变化分别映射为前、后、上、下、左、右，姿态变化映射为左右倾斜、前后倾斜和顺逆时针旋转。没有变化的维度直接省略，夹爪最终值以 0.5 为阈值描述为打开或关闭。双臂动作分别加“左臂”“右臂”前缀。

这套模板的价值不只是给动作换一种表示。机器人示范与人类第一视角视频都使用同一套物理语言描述局部末端运动，于是两个 embodiment 在语言空间中对齐。人类数据没有可靠的机器人关节动作，却可以通过手腕位置、朝向和夹爪状态生成共享描述。物理推理器因此同时学习“任务指令说明总目标”和“物理语言描述当前局部行为”两个层级。

语言监督采用答案 token 上的自回归负对数似然：

$$ \mathcal L_{\mathrm{lang}} =-\sum_{j=1}^{T}\log p_\theta \left(y_j\mid o_t,I,y_{<j}\right). $$

损失只计算答案部分，不要求模型重新生成输入问题。对视觉问答数据，$y$ 是问题答案；对机器人和人类轨迹，$y$ 是物理语言。这个统一形式让物理推理器既能保留通用视觉语义，又能适配局部控制描述。论文的 t-SNE 结果显示，加入物理语言监督后，机器人与人类表示的分布重叠明显增加。

预训练目标：视觉流、动作流与语言损失共同优化

世界生成器与动作预测器都采用流匹配。令 $\hat u_\theta^v$ 与 $\hat u_\theta^a$ 分别是模型在噪声水平 $\tau_v$ 和 $\tau_a$ 下预测的视频速度场与动作速度场，$Z_t^0$ 是由冻结视频自编码器编码的未来视觉潜变量，$A_t^0=a_{t+1:t+h}$ 是目标动作块。视觉与动作损失可以写成：

$$ \mathcal L_v=\mathbb E\left[ \left\|\hat u_\theta^v-(Z_t^1-Z_t^0)\right\|_2^2 \right], \qquad \mathcal L_{\mathrm{act}}=\mathbb E\left[ \left\|\hat u_\theta^a-(A_t^1-A_t^0)\right\|_2^2 \right]. $$

预训练阶段，视频源 $Z_t^1$ 与动作源 $A_t^1$ 都是高斯噪声。两个模态独立采样噪声水平，并分别形成插值样本：

$$ Z_t^{\tau_v}=(1-\tau_v)Z_t^0+\tau_vZ_t^1, \qquad A_t^{\tau_a}=(1-\tau_a)A_t^0+\tau_aA_t^1. $$

当前观测对应的视频潜变量不进入视觉损失，因此模型不会通过重建已知首帧获得无意义收益。动作与视觉的速度场在同一次前向中预测，再与语言损失合并。论文主文使用带权重的一般形式：

$$ \mathcal L =w_a\mathcal L_{\mathrm{act}} +w_v\mathcal L_v +\mathcal L_{\mathrm{lang}}. $$

附录 G 给出了实际预训练权重为 1:1:0.1：

$$ \mathcal L_{\mathrm{pretrain}} =\mathcal L_{\mathrm{video}} +\mathcal L_{\mathrm{action}} +0.1\mathcal L_{\mathrm{language}}. $$

因此，主文中的 $w_a,w_v$ 不应被理解为最终实验里随意搜索的自由参数。公开实现和附录说明视觉与动作损失权重均为 1，语言损失为 0.1。这个较低的语言权重既保留语义监督，又不让长文本 token 数压过稠密视频潜变量和连续动作目标。

后训练一：未来视觉噪声增强

如果联合注意力在训练时总是看到接近干净的未来视觉潜变量，动作专家可能学会依赖精确的未来画面。部署时世界生成器只能给出近似预测，视觉误差会直接破坏动作。论文因此只扰动未来帧，不扰动当前条件帧，也不改变原流匹配目标。对每个样本以 0.5 概率执行：

$$ \widetilde Z_t^{\tau_v} =s_{\mathrm{aug}}Z_t^{\tau_v} +(1-s_{\mathrm{aug}})\epsilon_v, \qquad s_{\mathrm{aug}}\sim\mathcal U(0.5,1), \qquad \epsilon_v\sim\mathcal N(0,\mathbf I). $$

这里 $s_{\mathrm{aug}}$ 越接近 1，保留的真实潜变量越多；越接近 0.5，噪声比例越高。当前观测始终保持干净，时间步嵌入也不因输入扰动而改变。动作专家仍然通过联合注意力读取未来视觉 token，但必须从可能不准确的特征中提取对控制有用的结构。这个设计没有切断视觉与动作的信息通路，反而让通路在噪声条件下更稳健。

utils/video_noise_augmentation.py 把论文公式逐项写进实现：首帧索引之前完全保留，未来帧按 (1-scale) * noise + scale * future 混合，并记录每个样本是否被扰动及实际采样尺度。models/motus.py 在视频流匹配插值后调用该函数。训练配置把概率设为 0.5，尺度设为 0.5 到 1.0，扰动从第 1 个潜变量帧开始，因此第 0 个条件帧不会被污染。

后训练二：从动作历史初始化流匹配

标准流匹配从高斯噪声开始生成动作，每一步都丢弃已有的运动上下文。UniWAM 利用机器人连续控制的先验，把前一个长度相同的动作块 $A_{t-1}=a_{t-h+1:t}$ 作为源，并加入小方差扰动：

$$ A_t^1=A_{t-1}+\epsilon_a, \qquad \epsilon_a\sim\mathcal N(0,\eta^2\mathbf I), $$

其中论文和配置都把 $\eta$ 设为 0.02。随后在干净目标 $A_t^0$ 与历史源 $A_t^1$ 之间插值：

$$ A_t^\tau=(1-\tau)A_t^0+\tau A_t^1, \qquad u_t^a=A_t^1-A_t^0. $$

动作预测器学习从历史源指向目标动作块的速度。由于起点已经包含上一时段的运动趋势，模型不需要从完全无序的状态重新发现姿态、速度和夹爪节奏。视觉源仍保持高斯噪声，不受动作历史策略影响。论文报告四步动作到动作生成即可达到或超过十步噪声到动作的结果，并将四步设为默认推理配置。

# models/motus.py:928-980，节选
video_source = condition_frame_latent.expand_as(clean_full_latent)
noisy_video_latent = clean_full_latent * (1 - sigma) + video_source * sigma
noisy_video_latent = apply_future_frame_noise_augmentation(
    noisy_video_latent,
    probability=self.config.future_video_noise_aug_probability,
    min_scale=self.config.future_video_noise_aug_min_scale,
    max_scale=self.config.future_video_noise_aug_max_scale,
)

if self.config.flow_source_mode == "history":
    action_source = history_actions + (
        torch.randn_like(history_actions)
        * self.config.flow_source_action_noise_std
    )
else:
    action_source = torch.randn_like(actions)
noisy_actions = actions * (1 - sigma_action) + action_source * sigma_action
action_target = action_source - actions

这段实现揭示了论文中两个容易混淆的点。第一，未来视觉增强发生在潜变量插值之后，属于输入扰动，不修改视频流目标。第二，动作历史只替换动作源，视频源默认仍采用高斯噪声；配置文件中 video_mode: gaussian 与此一致。

仿真实验：组内性能与分布偏移下的稳定性

LIBERO 标准套件包含空间、物体、目标和长程四组任务。UniWAM 分别达到 99.6%、99.6%、99.2% 和 98.4%，平均 99.2%，比表中此前最高的小米机器人模型高 0.5 个百分点。这个结果说明三专家结构没有牺牲标准操作能力。LIBERO 的物体和指令分布相对固定，因此更能检验动作精度、任务完成与长程组合是否因多模态训练发生退化。

方法	空间	物体	目标	长程	平均
π0.5	98.8	98.2	98.0	92.4	96.9
Motus	96.8	99.8	96.6	97.6	97.7
LingBot-VA	98.5	99.6	97.2	98.5	98.5
Xiaomi-Robotics-0	98.8	100.0	98.8	97.2	98.7
UniWAM	99.6	99.6	99.2	98.4	99.2

RoboTwin 2.0 的 50 个双臂任务更接近本文强调的复杂操作。UniWAM 在干净到干净设置中达到 75.14%，在只用干净示范训练、测试时引入随机化环境的设置中达到 68.32%，平均 71.73%。它的平均成绩高于 OpenWAM-α 的 69.0%，但 C2C 单项低于后者的 89.4%。因此不能把平均领先解释为所有设置都占优。UniWAM 的真正优势是 C2C 到 C2R 只下降 6.82 个百分点，而 π0.5 与 Spatial Forcing 分别下降 24.70 和 50.46 个百分点。

方法	干净到干净	干净到随机化	平均	跨域下降
GR00T-N1.7	43.60	20.70	32.20	22.90
π0.5	70.70	46.00	58.35	24.70
Spatial Forcing	77.20	26.74	51.97	50.46
4D-WAM	81.50	41.80	61.70	39.70
OpenWAM-α	89.40	48.70	69.00	40.70
UniWAM	75.14	68.32	71.73	6.82

LIBERO-Plus 用七个维度检验分布偏移。UniWAM 总体成功率 92.6%，机器人初始状态扰动下为 89.5%，语言为 92.2%，光照为 97.9%，背景为 97.6%，噪声为 94.3%，相机为 92.0%，布局为 84.6%。它在相机和布局两项并非最高，却凭机器人、语言、光照与背景的稳定表现取得最高总分。这与训练设计相符：物理语言把语义和局部动作绑定，视觉问答维持语言理解，视频预训练学习跨外观变化的动力学。

图3：真实世界任务。上四组分别检验物体指代、动作方式、空间关系和抽屉协作，最下方是六阶段桌面整理长程任务。对应论文 Figure 5 与 Figure 6 的任务展示。

真实世界实验：语言落地比单纯完成任务更能区分模型

真实实验使用两台 AgileX Piper 六自由度机械臂，每台带平行夹爪和腕部相机，另有一台第三人称相机提供全局视角。每个任务采集 200 条示范，所有任务联合训练一个通用策略。UniWAM、Motus 和 π0.5 都在 8 块 H100 上训练 80K 步。评测包含拾取任意物体、按指令执行不同交互、按空间关系放置、把物体放入抽屉四个指令跟随任务，以及一个需要完成六个连续里程碑的长程桌面整理任务。

四个指令任务上，UniWAM 平均任务成功率 67.5%，指令跟随率 82.5%，分别比 π0.5 高 13.1 和 21.9 个百分点。差距最大的是组合动词与名词的 Diverse-Interaction：成功率从 40.0% 提升到 72.5%，指令跟随率从 50.0% 提升到 80.0%。长程任务只给“整理桌面”这样的高层指令，模型需要自行推断放杯、开抽屉、放物体、关抽屉和放置记号笔的顺序。UniWAM 的六阶段平均进度为 5.0，π0.5 为 4.8，Motus 为 3.2。

真实世界指标	UniWAM	π0.5	Motus	解读
四任务平均成功率	67.5%	54.4%	未报告该平均值	完整执行能力领先 13.1 个百分点
四任务平均指令跟随率	82.5%	60.6%	未报告该平均值	正确对象与交互方式领先 21.9 个百分点
Diverse-Interaction 成功率	72.5%	40.0%	未报告	名词与动词组合接地提升 32.5 个百分点
长程任务进度（满分 6）	5.0	4.8	3.2	高阶指令下的连续子目标执行更完整

这组结果需要分两层理解。UniWAM 与 π0.5 的平均完成率只差 13.1 点，但指令跟随率差 21.9 点，说明 UniWAM 更常先选对目标与动作，再进入执行阶段。长程任务上，5.0 与 4.8 的差距并不大，真正的分界是 Motus 的 3.2：没有语义推理支撑的世界生成策略能够完成前几个阶段，却更容易在多个子目标之间失配。

缩放规律：人类数据不是无条件有益

作者用 250、500、1000、2500 和 5000 小时机器人数据做预训练，并在相同机器人规模上加入等量人类第一视角数据。纯机器人策略在 RoboTwin 干净到随机化设置中的平均完成率从 250 小时的 0.35 提升到约 5000 小时的 0.67，在所测范围内没有饱和迹象。人类数据的作用依赖规模：机器人数据少于约 1000 小时时，加入人类视频反而降低性能；达到 1000 小时后开始产生增益，并随规模扩大而增强。

作者把收敛后的验证损失对数据量拟合为：

$$ L(D)\approx0.03205-0.00302\ln D, \qquad R^2\approx0.983. $$

$D$ 表示机器人与人类预训练数据小时数，$L$ 是验证均方误差。这个关系说明数据量每按倍数增长，损失的下降更接近对数尺度上的稳定改善，而不是已经进入平台。作者进一步观察到验证损失与真实机器人成功率同步下降，因此提出它可以作为具身控制能力的离线指标。

图4：左为验证损失，右为 RoboTwin 干净到随机化成功率。横轴按对数显示机器人数据小时数，最后一点为约 4958 小时机器人数据加 5072 小时人类数据。对应论文 Figure 7。

这篇论文没有把人类视频描述成免费增益，反而明确报告了小数据阶段的负迁移。这一点很重要。人类手部外观、相机运动、工作空间标定和机器人末端执行器并不相同；只有当数据量足以让物理语言和世界动态形成共享结构时，跨 embodiment 的共同部分才压过域差异。t-SNE 可视化提供了另一个侧面证据：没有物理语言监督时，人类与机器人表示分成大片区域；加入监督后，样本在中心与下部明显交叠。

图5：物理推理器表示的 t-SNE。左侧没有物理语言监督，右侧加入监督后机器人与人类样本重叠增加。对应论文 Figure 8。

消融实验：预训练、语义训练与动作历史各自贡献多少

多源预训练消融显示，不预训练时 RoboTwin 平均成功率为 46.23%；只加入机器人预训练后升到 67.53%；完整加入机器人、人类与视觉问答数据后达到 71.73%。视觉问答主要改善随机化测试，说明它提供的是高层感知与语义稳定能力；人类数据在干净和随机化设置均有增益，支持其补充世界动力学的作用。

语言模型训练策略的累积消融更能解释“物理推理器为什么要训练”。冻结推理器时平均为 42.61%，解冻后为 46.49%，加入物理语言后为 51.74%，再加入完整预训练后达到 71.34%。从 51.74 到 71.34 的跃升不代表单独某条监督造成全部提升，而是说明模型容量、共享物理语言目标与大规模预训练必须同时成立。

动作生成策略中，噪声到动作的平均成功率为 64.80%，历史动作到动作升到 69.73%，再加入未来视觉噪声增强后达到 71.34%。由此可见，历史初始化贡献了主要性能增量，未来视觉增强再补上约 1.61 个百分点。附录的总成功率和推理步数比较进一步显示，动作到动作只用 2 到 4 步即可达到较强结果，而噪声到动作在十步时仍未必达到同样水平。

消融维度	配置	平均成功率	观察
预训练数据	无预训练	46.23%	仅有下游示范，缺少通用物理与语义先验
预训练数据	机器人预训练	67.53%	最大单项提升，说明真实动作数据最贴近下游
预训练数据	机器人 + 人类 + 视觉问答	71.73%	人类动态与视觉问答带来互补增益
推理器训练	冻结	42.61%	现有视觉语言表示未充分适配具身动作
推理器训练	解冻	46.49%	仅解冻不足以形成有效具身监督
推理器训练	解冻 + 物理语言	51.74%	动作语义开始进入共享表示
动作生成	噪声到动作	64.80%	每步从无序源重建，推理路径长
动作生成	动作历史到动作	69.73%	时序连续性带来 4.93 点提升
动作生成	再加未来视觉增强	71.34%	降低对精确未来画面的依赖

图6：三组消融。上半部比较多源预训练，中部比较视觉语言模型训练策略，下部比较噪声到动作、历史到动作与未来视觉增强。对应论文 Figure 9。

实现细节与复现边界

预训练在 32 块 H800 上运行七天。RoboTwin 后训练使用 AdamW、学习率 $5\times10^{-5}$、权重衰减 0.01、线性调度、200 步预热、梯度范数裁剪 0.5，批量大小为 40，训练 200000 步。论文附录写 RoboTwin 后训练在 8 块 H800 上运行 12 小时，公开仓库说明则写 8 块 H100 上约 10 小时。两者可能是不同硬件与软件版本的记录，读者复现时应以代码配置和实际日志为准，而不是把两个墙钟时间直接比较。

公开仓库已经提供基础模型、RoboTwin 干净子集后训练权重、Qwen3-VL-2B-Instruct、Wan2.2-TI2V-5B 与对应推理入口。RoboTwin 和 LIBERO 的训练、LIBERO-Plus 评测代码可见，分支说明明确把 Bridge、DROID、Fractal 和真实世界部署排除在当前发布范围之外。因此论文的完整预训练数据管线与真实双臂推理不能仅凭当前仓库一键复现，这也是判断结果可迁移性时必须考虑的事实。

局限性

第一，未来视觉质量仍然会影响控制。噪声增强的目标正是让动作专家容忍不准确的未来潜变量，但训练分布仍以世界生成器产生的特征为中心。论文没有系统测试严重遮挡、快速相机运动、反光材质或视频骨干完全未见过的场景。若未来视觉 token 连物体关系都无法保持，联合注意力能否稳定提取控制信息仍缺少边界实验。

第二，人类数据迁移依赖规模，而且在小数据阶段会产生负迁移。论文直接报告机器人数据少于约 1000 小时时加入人类视频会降低表现。这说明该方法不是“任何人类视频都能提升机器人策略”的通用结论，数据比例、动作模板、相机坐标系与机器人平台都会影响迁移。

第三，物理语言模板会丢失部分连续动作细节。附录明确写出平移取整到厘米、旋转取整到 10 度、没有变化的维度省略、夹爪用 0.5 阈值离散为打开或关闭。稠密动作流仍然保留连续监督，但语言分支无法表达低于量化粒度的微调，也可能在接近抓取阈值时产生语义跳变。模板的简洁性帮助跨 embodiment 对齐，同时限制了精细动作描述。

第四，真实世界证据集中在桌面双臂操作。四个指令任务和长程整理都在同一 AgileX Piper 平台上完成，每任务 200 条示范，每组 40 次试验。结果足以支持该平台上的指令落地与长程执行，却不能直接外推到移动操作、接触丰富装配、柔性物体或多人协作。论文的仿真规模更广，但真实机器人实验的 embodiment 多样性有限。

第五，论文对机器人训练时长的叙述不完全一致。3.1.1 节写约 4363 小时，表 1 与最终缩放点使用约 4958 小时。这个差异不影响各基准的比较结论，却会影响训练成本与数据缩放规律的复现解释。严谨的复现实验应记录实际进入优化器的轨迹小时数与过滤规则。

结论

UniWAM 的核心贡献是把“理解、想象、行动”从三个松散串联的模块变成同一解码过程中的三类专家。物理语言为人类与机器人动作提供共享描述，联合注意力让语义 token、视频潜变量和动作 token 持续互相约束，未来视觉噪声与历史动作流匹配则把训练目标对齐到推理时的不确定性和连续控制需求。LIBERO 的 99.2% 平均成绩证明它没有牺牲组内操作能力，RoboTwin 从 C2C 到 C2R 仅下降 6.82 点则说明联合世界建模提高了分布偏移下的稳定性。

这项工作也给出一个可检验的训练判断：世界模型的价值不只在“生成更像样的未来”，而在于动作专家是否学会从不完美未来表示中提取控制结构；人类视频的价值也不只在数据更多，而在于物理语言与足够规模是否把两个 embodiment 映射到共享动力学。UniWAM 的数据缩放曲线和表示重叠结果支持这一方向，但真实平台覆盖、动作模板精度和视觉失效边界仍需后续实验补齐。

当动作模型开始用语言解释世界、用视频预演变化，它预测的就不只是下一段轨迹，而是轨迹为何应该这样发生。