PAPER DEEP DIVE
EWAM：统一具身模型中涌现的深度分工
EWAM 让动作查询逐层读取视觉语言、预测未来与动作表示，在无逐层监督下形成“理解—预见—行动”的深度分工，并提升仿真与真机性能。
一句话总结
EWAM 把视觉语言、视频预测和动作生成放进同一组深度对齐的 Transformer 层，只允许动作 token 读取另外两个专家；在没有任何逐层监督的情况下，模型自发形成“浅层读语义、中层读预测未来、深层回到动作”的计算路径，并用可干预实验证明这条路径不是可视化假象，而是动作成功所依赖的内部机制。
研究背景与动机
机器人策略需要同时解决三个问题：理解语言和当前场景，预测环境接下来可能怎样变化，以及输出连续、精确、可执行的动作。视觉语言动作模型通常在语义理解和指令泛化上占优，因为它们继承了大规模视觉语言模型的表征；世界动作模型则从视频中学习物体运动、接触和场景演化的先验，对物理动态更敏感。两类模型各自强调了“理解”或“预见”，但真正的操作任务往往需要二者协同。
此前常见的组合方式有两种。第一种是在单一策略中增加辅助预测头，例如让动作模型顺便预测未来图像或潜变量，但动作计算仍然主要依赖一个主干。第二种是把世界模型与策略串联，先生成未来帧或子目标，再交给下游动作模型。这样做可以增加信息，却不一定在模型内部建立稳定的分工，也可能带来误差累积和额外延迟。更重要的是，模型是否真的在不同深度使用了不同来源的信息，通常没有被直接验证。
EWAM 关注的不是“是否把两个模块放在一起”，而是“统一训练后，动作查询会在哪里寻找信息”。论文提出一个很具体的问题：当语义、视频未来和动作 token 同时可见时，动作计算会永远偏向某一个来源，还是会随着网络深度形成有序转变？如果这种转变存在，它能否跨 50 个 RoboTwin 任务复现，能否在去噪步骤之间保持稳定，能否被训练轨迹解释，又能否通过遮蔽或注入反事实特征证明其因果作用？
作者的判断是，若让动作流成为唯一的跨模态接口，不对每个层规定“此处必须使用视觉语言”或“此处必须使用视频”，模型可能会在优化过程中发现一条自然顺序：先确认任务语义，再用预测的未来补充空间和动态信息，最后在动作表示内部完成轨迹细化。这种顺序不是模板化的三段模块，而是连续、重叠且可干预的深度分工。
问题定义与预备知识
给定当前图像观测 $o_t$、语言指令 $\ell$，策略需要同时生成未来视觉轨迹 $v_{t+1:t+H}$ 和一段动作块 $a_{t:t+K-1}$。未来视频不是单独的训练装饰，而是动作专家在每个中间层都可读取的键值记忆。论文沿用流匹配训练，对干净目标 $x$ 与高斯噪声 $\epsilon$ 构造线性插值：
$$x_\tau=(1-\tau)x+\tau\epsilon,\qquad u^\star(x_\tau,\tau)=\epsilon-x.$$
模型回归的是从噪声指向目标的速度场，而不是直接回归干净样本。视频和动作的噪声等级独立采样，避免模型通过“只要知道视频的去噪进度，就能猜出动作的噪声状态”这种捷径来降低损失。
EWAM 使用三个深度对齐的专家。视觉语言专家以 Qwen3-VL-2B 初始化，负责把指令和当前图像编码成语义 token；视频专家以 Wan2.2-TI2V-5B 初始化，处理当前条件帧潜变量和带噪未来视频潜变量；动作专家参数较轻，接收机器人状态、带噪动作块和少量寄存器 token。三个专家不是先后串行，而是在 30 个统一块中逐层交换信息。
方法详解
动作中心的三专家统一架构
EWAM 最关键的设计不是把三个编码器拼接起来，而是让动作流成为唯一的跨模态集成接口。视觉语言专家和视频专家都保留自己的归一化、投影、注意力和前馈参数，但它们不会互相读取，也不会读取动作流。动作查询则可以从视觉语言键值、视频键值和动作键值中同时取信息。若用 $V$、$A$、$L$ 分别表示视频、动作和视觉语言 token，可见关系被硬编码为：
$$A\leftarrow\{V,A,L\},\qquad V\leftarrow V,\qquad L\leftarrow L.$$
这条非对称注意力规则保护了预训练专家的角色。视频流不会被语义 token 改写，视觉语言流也不会被动作损失直接塑造成控制器。两个感知专家只通过暴露给动作查询的键和值影响动作生成，因此研究者可以把“动作在每个层分别读取了多少来源”定义成一个干净的统计量。论文的实现把三组查询拼接后执行一次带掩码的注意力，而不是维护三条互相通信的图结构，这既减少了调度开销，也保证每个深度只能通过动作流进行跨模态融合。
Qwen3-VL 原始有 28 个隐藏状态，而统一网络使用 30 层。作者没有简单复制或线性插值，而是将序列对齐为前 28 层原状态，再把第 26 和第 27 层状态重复到末端。若 $q_l^L$ 是对齐到第 $l$ 块的语义特征，$z_{l-1}^L$ 是前一块累计得到的语义状态，则输入融合为：
$$x_l^L=\begin{cases}q_l^L,&l=0,\\[2pt]\frac{1}{2}\left(q_l^L+z_{l-1}^L\right),&l>0.\end{cases}$$
这种做法让每层既保留 Qwen3-VL 原生层的语义信息，又允许动作目标通过注意力和残差更新逐步改变可直接读取的语义键值。它不额外给视觉语言流加一整套前馈网络，因为对齐后的 $q_l^L$ 已经包含原模型该层的语言模型前馈计算。
联合视频与动作流匹配
训练时，视频目标被编码到 Wan VAE 潜空间，当前条件帧固定在序列首位，未来帧与动作块分别采样噪声。视频专家输出未来潜变量速度，动作专家输出动作速度，两者在同一前向过程中并行更新。基础目标为：
$$\mathcal{L}_{\mathrm{base}}=\lambda_v\left\lVert\hat{u}_v-u_v^\star\right\rVert_2^2+\lambda_a\left\lVert\hat{u}_a-u_a^\star\right\rVert_2^2.$$
这里的 $\hat{u}_v$ 和 $\hat{u}_a$ 是预测速度，$u_v^\star$ 与 $u_a^\star$ 是流匹配目标，$\lambda_v$、$\lambda_a$ 控制两项权重。推理时，模型同样联合积分视频和动作速度场。动作 token 每层都能看到“正在生成中的未来视频特征”，而不是等未来视频完整生成后再作为静态提示输入。这一点是 EWAM 与“世界模型生成子目标，再由 VLA 执行”的流水线方案之间的核心差异。
图 1：EWAM 将视觉语言专家、视频专家和动作专家放在同一组深度对齐层中，动作流是唯一可以读取三种 token 的接口。
非对称联合注意力的实现
论文代码中的 models/ewam.py::process_joint_attention 展示了这条规则如何落到张量层面。视频 token、动作 token 和视觉语言 token 分别通过自己的 QKV 投影映射到相同的 24 个注意力头、每头 128 维空间；随后构造一个布尔掩码：视频行只能看视频列，视觉语言行只能看视觉语言列，动作行允许看到全部列。三组查询和键值进入同一个注意力函数，最终再按各自输出投影和残差返回。
代码中的动作专家并不直接实现完整的联合注意力。$ActionExpertBlock$ 只提供动作侧的 QKV、归一化、输出投影和前馈网络，真正的联合注意力由视频主干统一执行。这种安排与论文强调的“专家保留独立角色、动作负责集成”一致。它也解释了为什么模型中层的未来帧 token 可以直接影响动作速度，而不需要额外跨模态适配器。
可测量的深度分工
为了判断动作究竟读到了什么，作者对每个动作查询到每个键的 softmax 注意力权重做归一化。设 $\mathcal{Q}_A$ 是动作查询集合，$\mathcal{K}_m$ 是来自来源 $m$ 的可见键，$\alpha_{qk}^{(l)}$ 是第 $l$ 层查询 $q$ 到键 $k$ 的权重，则该来源在第 $l$ 层的注意力占比为：
$$R_l^m=\frac{\sum_{q\in\mathcal{Q}_A}\sum_{k\in\mathcal{K}_m}\alpha_{qk}^{(l)}}{\sum_{q\in\mathcal{Q}_A}\sum_{k\in\mathcal{K}}\alpha_{qk}^{(l)}}.$$
论文进一步把来源分成视觉语言文本、视觉语言图像、条件帧、未来帧和动作五类。因为未来帧和条件帧的 token 数量不同，作者还用均匀分布作为参照计算“富集度”：
$$E_l^m=\frac{R_l^m}{|\mathcal{K}_m|/\sum_j|\mathcal{K}_j|}.$$
当 $E_l^m>1$ 时，说明动作查询对该来源的注意力高于按 token 数量均匀分配时的期望。这个归一化很重要，因为未来帧 token 数量通常明显多于文本，若只看原始占比，容易把“键更多”误判为“语义更重要”。
涌现出的理解、预见与行动阶段
在 RoboTwin 随机化协议下，论文取 50 个任务各一条代表性序列，先在每个任务内平均 5 个去噪步骤，再对任务做宏平均。第 0 至 9 层中，视觉语言 token 获得动作注意力的 75.4%，视频只有 14.1%，动作自注意力为 10.6%。浅层动作查询主要确认指令和当前场景，符合“先理解”的行为。
第 10 至 19 层中，注意力变为视觉语言 36.6%、视频 24.3%、动作 39.1%。原始未来帧与视觉语言图像注意力的交叉点中位数为第 13 层，四分位区间是第 12 至 13 层。更细粒度地看，图像 token 的注意力快速下降，预测未来帧上升，而当前条件帧始终较弱。这说明中间层不是笼统地“看视频”，而是把依赖从当前观测转向预测中的场景演化。
第 20 至 29 层中，动作自注意力升到 59.5%，视觉语言和视频分别降到 25.2% 和 15.3%。第 16 至 29 层平均看，视觉语言图像只占 1.3%，预测未来帧占 11.8%。深层保留了少量高层语义和未来上下文，但主要计算转向动作轨迹细化。三个阶段存在重叠，不是三个硬切换模块，更像逐步交接。
图 2：传统 VLA、WAM 和混合多专家模型往往集中依赖单一来源，EWAM 的动作注意力则随深度从视觉语言转向预测未来，再转向动作自身。
分工是否在训练中形成
论文追踪了同一个 32 卡训练运行的 12 个检查点，范围从 50 步到 40,000 步。50 步时，动作查询在几乎所有深度都偏向视觉语言图像，文本注意力在浅层只有 2.9%，尚未出现明显分工。到 150 步，浅层文本注意力升到 22.6%，图像注意力集中在浅层，未来帧原始注意力在第 8 层首次超过图像。到 40,000 步，浅层理解、预测未来交叉和深层动作细化已经稳定出现。
注意力掩码只规定“哪些来源可访问”，没有规定“在哪个深度使用哪个来源”。因此，跨深度路由是训练动力学的结果，而不是结构一开始就写死的模块边界。论文也指出，归一化后的富集度并非单调改善，例如浅层图像富集在第 5,000 步曾回升到 1.79，最终深层图像富集降到 0.04。这说明涌现过程包含阶段性重组，不能简化成一条平滑曲线。
图 3：从训练早期到收敛，未来帧相对视觉语言图像的注意力优势逐渐向更浅层扩展，最终形成稳定的中层视觉预见区。
用遮蔽和反事实注入验证因果作用
仅凭注意力曲线不能证明该来源真的影响动作。论文做了两类干预。第一类是独立训练的结构消融，测试去掉某些层的跨模态访问后模型能否适应；第二类是在固定预训练检查点上推理时遮蔽键值，不允许模型通过重训补偿。固定检查点的全模型成功率为 92.80%。遮蔽第 0 至 9 层全部视频键只降到 91.98%，但遮蔽同层视觉语言键降到 76.53%，说明浅层真正依赖语义而非视频。
在第 10 至 19 层，遮蔽条件帧仍有 81.40%，遮蔽全部视频却只剩 0.25%，遮蔽未来帧单独导致成功率降到 3.55%。这表明中层视频路径的关键不是当前帧，而是预测未来。第 20 至 29 层遮蔽全部视频会降到 65.82%，说明深层仍需要一定未来信息，但依赖程度低于中层。
| 固定检查点干预 | RoboTwin 随机化成功率 | 相对变化 |
|---|---|---|
| 完整 EWAM | 92.80% | 基线 |
| 遮蔽第 0 至 9 层视觉语言键 | 76.53% | -16.27 个百分点 |
| 遮蔽第 10 至 19 层条件帧键 | 81.40% | -11.40 个百分点 |
| 遮蔽第 10 至 19 层未来帧键 | 3.55% | -89.25 个百分点 |
| 遮蔽第 10 至 19 层全部视频键 | 0.25% | -92.55 个百分点 |
| 遮蔽第 20 至 29 层全部视频键 | 65.82% | -26.98 个百分点 |
第二类反事实实验更直接。作者从成功轨迹中缓存第 10 至 19 层的未来帧键值，再把它们注入五个目标任务的前三次策略调用，同时保留目标自己的条件帧、视觉语言、状态和动作表示。五个任务在无注入时全部 25/25 成功，注入后只有 4/25 成功。在调整瓶子方向的任务中，注入会让多个目标 rollout 采用供体的机械臂选择；当注入停止后，部分策略还能重新定位并恢复成功。这类行为变化证明未来帧表示携带的是可控制的空间与动作信息，而非仅仅满足辅助预测损失的旁路特征。
人类第一视角数据如何接入
人类视频没有机器人关节和夹爪动作，直接混合训练会面临动作空间不一致的问题。EWAM 使用锚定相机坐标系下的手腕运动作为共享接口。给定手腕在世界坐标中的位姿 $(R_{we},t_{we})$、后续帧位姿 $(R_{we^\star},t_{we^\star})$ 和相机朝向 $R_{wc}$，先把运动转换到手腕自身坐标系，再映射到相机坐标系：
$$\Delta R_c=R_{ce}R_{ee^\star}R_{ce}^{\top},\qquad \Delta t_c=R_{ce}t_{ee^\star},\qquad \Delta\omega_c=\log_{SO(3)}(\Delta R_c).$$
两只手各提供三维平移和三维旋转向量，再各留两个保留维度，形成 16 维动作：
$$a=\left[\Delta t_c^L,\Delta\omega_c^L,0,0,\Delta t_c^R,\Delta\omega_c^R,0,0\right].$$
机器人侧在保留维度中放夹爪命令。每个动作块都相对同一个锚点位姿和同一个锚定相机，因此第 $i$ 个动作是从锚点到后续帧的位移，而不是相邻帧的增量。该表示去掉了世界坐标原点与轴向依赖，并保留米制平移尺度，但仍不消除不同具身之间的运动学差异。
图 4：第一视角视频、相机位姿和双手 6 自由度追踪共同构造相机相对手腕动作，使人类示范可以进入机器人动作空间。
子任务与相位监督
长时序任务需要模型知道自己当前处于哪个语义阶段。EWAM 将示范按标注转换点切成 $N$ 个阶段，若当前阶段为 $k_t$，则相位索引归一化为：
$$p_t=\frac{k_t}{\max(N-1,1)}.$$
子任务文本由一个轻量自回归解码器生成。它读取动作最终表示和视觉语言最终表示的线性拼接：
$$\mathrm{Mem}_t=\left[W_Ah_t^A;W_Lh_t^L\right].$$
文本解码概率为：
$$p_\theta(y_t\mid\mathrm{Mem}_t)=\prod_{j=1}^{M}p_\theta(y_{t,j}\mid y_{t,<j},\mathrm{Mem}_t).$$
相位头对动作表示做平均池化，再通过两层 MLP 回归 $p_t$。后训练总目标为：
$$\mathcal{L}_{\mathrm{post}}=\mathcal{L}_{\mathrm{base}}+\lambda_p\mathcal{L}_{\mathrm{prog}}+\lambda_s\mathcal{L}_{\mathrm{sub}}.$$
这两个监督项共享同一套阶段划分，不需要外部高层规划器。消融显示，教导模型关注当前子任务，可以提高长时序块操作的最后阶段完成率和整段成功率。例如“排序并堆叠”任务从 1.5% 提升到 16.0%，说明即使整体成功率仍不高，持续的子任务信号也显著缓解了长流程中的阶段遗忘。
实验结果
论文在 RoboTwin 2.0、LIBERO、跨具身迁移和真实机器人上做了系统评估。RoboTwin 的 clean-to-random 协议只使用干净示范微调，再在随机化场景中测试。EWAM 达到 82.2% 干净场景成功率和 72.1% 随机化成功率，平均 77.2%，高于 GigaBrain-0.7 的 67.3%，也明显高于 π0.5 的 58.35% 和 Fast-WAM 的 39.85%。
| 模型 | 类型 | RoboTwin 干净场景 | RoboTwin 随机化 | 平均 |
|---|---|---|---|---|
| π0.5 | VLA | 70.7% | 46.0% | 58.35% |
| Fast-WAM | WAM | 77.8% | 1.9% | 39.85% |
| 4D-WAM | WAM | 81.5% | 41.8% | 61.6% |
| GigaBrain-0.7 | VLA + WAM | 66.8% | 67.9% | 67.3% |
| EWAM | 统一模型 | 82.2% | 72.1% | 77.2% |
在 in-domain 设置中，所有方法都使用干净和随机化示范训练。EWAM 得到 93.0% 干净成功率、92.8% 随机化成功率和 92.9% 平均成绩。干净与随机化之间只差 0.2 个百分点，说明性能没有依赖对训练场景分布的过拟合。LIBERO 四个套件分别达到 98.6%、99.8%、98.6%、98.2%，平均 98.8%。
真实机器人包括 Franka 单臂、Dobot 双臂和 Unitree G1-D 双臂人形机器人，共七项任务。EWAM 在每项任务上都取得比较表最高成绩。与 π0.5 相比，六项更高、一项打平；堆碗从 70% 提升到 80%，物体装箱从 80% 提升到 90%，G1-D 倒豆子从 60% 提升到 80%。这些结果覆盖重排、柔性物体操作和倒液，说明统一注意力并不只适用于仿真。
人类数据、迁移与鲁棒性
人类第一视角预训练采用约 2,084 小时公开视频，机器人数据约 1,800 小时、30 万条轨迹。在留出构型 Aloha-Agilex-2 上，12 万机器人训练步匹配预算下，人类预训练把成功率从 36.2% 提升到 66.9%；比较各自最佳检查点则是 40.1% 对 66.9%。
在 G1-D 倒液任务中，60 条机器人遥操作加 30 条人类重定向数据的混合条件下，机器人预训练初始化成功率是 40%，人类预训练初始化提高到 60%，训练损失从 0.068 降到 0.034，留出集动作 L2 从 0.0231 降到 0.0164。90 条纯机器人数据可达到 70%，但因为数据组成改变，不能直接用于隔离“增加人类数据”的效果。
在最严格的固定机器人数据实验中，作者保持 60 条机器人示范不变，只增加人类第一视角数据。加入 30 条时，桌布和杯子变化条件下的真机成功率从 10% 升到 20%；增加到 1,000 条时升到 60% 且尚未饱和。仅 30 条人类示范就达到 90 条纯机器人示范的鲁棒性，这对昂贵真机数据的替代具有实际意义。
实时推理
EWAM 在单张 RTX 5090 上生成 16 个动作、每个动作 16 维，使用 5 个流积分步骤时延迟为 258 ms。推理时省略未来帧 VAE 解码，机器人控制仍可使用潜伏在视频专家中的未来特征。图优化的 RoPE 和全图编译把十步推理从 1,668 ms 降到 461 ms，加入块重叠修正后为 464 ms；五步推理则为 258 ms。这个速度约为 2.13 秒动作时域的 12%，支持边执行当前动作块边生成下一块的实时分块控制。
代码与论文的对应关系
公开仓库不是空壳说明。models/ewam.py 的 Ewam 类同时初始化 Wan2.2 视频模型、Qwen3-VL 模块和动作专家；process_joint_attention 明确构造非对称布尔掩码，并把三组 QKV 送入统一注意力。models/action_expert.py 的 StateActionEncoder 把机器人和动作块送入多层 SiLU MLP，并加入正弦位置编码；ActionExpertBlock 将动作维投影到 Wan 的 24 头注意力空间。training_step 则分别采样视频和动作噪声，分别计算速度目标，并只用有效动作维度计算损失。
推理实现同样与论文一致。inference_step 先编码当前帧，初始化视频潜变量和动作潜变量，随后在统一层中共同去噪；动作速度切片会跳过状态 token 和寄存器 token。视觉语言逐层特征只在去噪循环外计算一次，因为该输入与去噪步无关，这是官方代码已实现的延迟优化，而不是论文之外另行推断的加速。
局限性
第一，注意力分配说明动作查询从哪里取信息，遮蔽和注入说明这些来源具有功能必要性，但并不能完整解释每一层表示的具体内容。不同来源之间可能存在非线性补偿，注意力权重也不能等同于语义因果分解。作者建议后续使用表示探针、激活替换和跨层中介分析进一步验证。
第二，三个大专家同时部署仍然昂贵。虽然动作查询只输出动作速度，视频专家的中间未来特征仍必须计算，且 258 ms 延迟只是单张 RTX 5090、批大小一的测量，不能直接外推到低功耗机器人控制器。
第三，人类数据重定向保留了米制尺度和相机相对运动，但没有消除人体与机器人之间的运动学差异，也不能把标定误差从数据中完全移除。论文对真实机器人泛化的评估主要集中在桌布、杯子和背景变化，尚未覆盖开放环境中的极端光照、遮挡、工具使用或长期自主运行。
第四，子任务与相位监督仍依赖人工标注阶段转换。它不需要外部规划器，但需要为每个长时序任务定义语义阶段。若阶段边界与真实执行状态不一致，进度回归和子任务预测可能给模型提供错误监督。
总结与展望
EWAM 的主要贡献不是刷新一个仿真榜单，而是给出了一种可以测量、可以训练、也可以因果干预的统一策略组织方式。它让动作 token 成为语义和预测未来的唯一读取者，随后发现这种非对称接口会在训练中自发形成深度分工。浅层依赖视觉语言，中层依赖预测未来，深层回归动作自身；跨 50 个任务、五个去噪步骤、多个检查点和多类机器人平台都能观察到这条趋势。
未来最有价值的方向有两个。第一，把固定的深度交接变成任务和状态条件下的自适应路由：模糊指令可能需要更久的语义计算，接触不确定场景需要更多未来预测，而动作已明确的阶段可以更早进入轨迹细化。第二，不只预测一条未来，而是生成多个动作条件下的候选未来并比较后果，使模型从“预见一个结果”走向“评估多个可能的行动结果”。
金句
统一不是把三个专家放在同一张图里，而是让动作查询在正确的深度找到正确的信息。
flowchart LR
X["图像与语言指令"] --> L["视觉语言专家
仅自身注意力"]
O["当前帧与噪声未来潜变量"] --> V["视频专家
仅自身注意力"]
A0["状态与噪声动作块"] --> A["动作专家"]
L --> J["动作查询为中心的非对称联合注意力"]
V --> J
A --> J
J --> A1["预测动作块"]
J --> P["阶段进度"]
J --> S["当前子任务"]
V --> F["预测未来视频"]
