LeWAM：端到端世界与动作建模

论文元信息

标题：LeWAM：端到端世界与动作建模（End-to-End World and Action Modeling with JEPAs）。

来源：arXiv:2610.12818，全文见 https://arxiv.org/abs/2610.12818 。项目页见 https://le-wam.github.io/ ，官方代码见 https://github.com/MinghaoFu/lewam 。

代码状态：仓库包含编码器、Mixture-of-Transformers 预测器、训练目标、梯度规划、CEM 与行为克隆评测代码。训练配置将帧间隔设为 5，SIGReg 权重设为 0.04，动作流推理使用 8 个欧拉步，与论文描述一致。

一句话总结

LeWAM 把动作条件潜在动力学、动作流匹配策略和视觉表示学习放进同一个端到端模型。它能直接输出动作块执行任务，也能冻结网络参数、对候选动作序列沿潜在世界模型做梯度规划。论文在 10 个视觉规划任务上取得平均 93.5% 的成功率，比 LeWM 与 CEM 组合高 42.7 个百分点；在 100 步目标偏移的四任务平均成功率上达到 46.2%，而基线只有 10.9%。同时，每次规划调用达到 52.50 个计划每秒，比基线快 32.3 倍。

图 1：LeWAM 训练总览（论文图 1）。同一编码器编码历史、目标和未来观测；干净动作用于潜在状态预测，噪声动作用于流匹配动作学习，两条监督共同训练编码器。

研究背景与动机

视觉控制的关键问题不只是把当前像素映射到动作，还要预判动作会把世界带到哪里。世界模型因此成为机器人学习的核心组件：策略可以在执行前想象候选动作的后果，也可以在真实世界滚动时反复重规划。联合嵌入预测架构不重建像素，而是在紧凑潜在空间中预测未来状态，天然适合这一目标。

然而，已有的 JEPA 流水线常把表征学习、动作条件动力学和策略学习拆开。一种做法先冻结视觉编码器，再训练潜在动力学或逆动力学模型；另一种做法先训练世界模型，再外挂动作头。这样虽然降低了工程复杂度，却让动作监督无法直接塑造视觉表征。潜在空间若丢掉控制相关细节，规划就会失败；若保留过多无关细节，又会增加搜索成本。

规划侧同样存在张力。从宽高斯先验出发的 CEM 需要大量候选与 rollout 才能找到可行动作序列。在动作维度升高、任务时域变长或系统出现接触切换时，宽搜索尤其昂贵。接触模式的变化还会让局部优化掉进错误模式，导致看似低代价却物理上不可行的候选。直接训练动作预测器能提供较好先验，但若预测器建立在冻结特征上，动作信息又难以反馈回表征。

LeWAM 的回答是把三件事合到一个训练阶段：共享编码器学习观测表示，Mixture-of-Transformers 同时预测未来潜在状态和动作速度场，SIGReg 约束潜在分布避免坍缩。训练后，动作分支既是直接策略，也是规划候选的来源；状态分支既用于世界模型想象，也用于评估候选动作的目标代价。

图 2：LeWAM 的研究定位（论文图 2）。与冻结编码器、外挂求解器或先训世界模型再加策略头的路线不同，它让表征、动力学和动作分布在同一训练目标中互相约束。

问题定义与表示

设观察序列为 $\boldsymbol{o}_{1:T}$，动作序列为 $\boldsymbol{a}_{1:T}$，第 $t$ 帧的潜变量为 $\boldsymbol{z}_t=\mathrm{Enc}(\boldsymbol{o}_t)$。时间索引按环境原始步计算。帧间隔 $K$ 表示状态动力学一次预测跨越 5 个环境步；策略块长度 $C$ 表示一次生成 10 个连续动作。历史上下文包含两个最近潜变量，规划时还会加入目标图像嵌入和归一化剩余时域。

状态分支和动作分支的形式为：

$$\hat{\boldsymbol{z}}_{t+K}=f_z(\boldsymbol{q}_{t+K}^z;\boldsymbol{z}_{\leq t},\boldsymbol{A}_{t,K}),\qquad \hat{\boldsymbol{v}}_{t,C}=f_a(\boldsymbol{A}_{t,C}^{(s)};s,\boldsymbol{z}_{\leq t},\boldsymbol{c}_t).\tag{1}$$

这里 $\boldsymbol{A}_{t,C}^{(s)}$ 是第 $s$ 个流噪声水平下的噪声动作块，$\boldsymbol{q}_{t+K}^z$ 是学习到的状态查询。动作分支输出的速度场积分后得到动作块。两个分支共享注意力，但保留各自模态专用的查询、键、值和前馈投影。

架构：共享编码器与 Mixture-of-Transformers

仿真视觉规划模型的观测编码器采用 ResNet-18 风格卷积主干。卷积层使用 16 组的 GroupNorm，输入先从 $224\times224$ 随机裁剪到 $202\times202$，推理时中心裁剪。一个 $1\times1$ 卷积产生 32 张空间图，空间 softmax 池化把每张图变成归一化图像坐标的期望，得到 64 维特征。随后一个带 BatchNorm 的两层 MLP 从 64 维经 384 维投影到 192 维潜变量。

Mixture-of-Transformers 预测器宽 192、深 4 层、4 个注意力头，dropout 为 0.1。其词元序列包含 2 个历史潜变量、1 个状态查询、5 个干净动作词元和 10 个噪声动作流槽。学习到的类型嵌入与位置嵌入区分不同组。整模型约 16.9M 可训练参数，规模刻意保持很小，便于单独任务训练和快速规划。

图 3：Mixture-of-Transformers 注意力掩码（论文图 3）。深色格子允许注意力，白色格子被屏蔽。掩码防止干净动作或状态目标通过历史潜变量泄漏到动作流分支。

没有可选目标条件时，词元顺序可以写成：

$$[\boldsymbol{z}_{t-\Delta},\boldsymbol{z}_t,\boldsymbol{q}_{t+K}^z,\boldsymbol{A}_{t,K},\boldsymbol{A}_{t,C}^{(s)}].\tag{2}$$

干净动作组 $\boldsymbol{A}_{t,K}$ 展开为 5 个词元，噪声动作组 $\boldsymbol{A}_{t,C}^{(s)}$ 展开为 10 个词元。状态查询读取两个历史潜变量和干净动作；每个噪声动作词元读取历史和自身因果前缀；历史词元只注意历史，不读取任何动作。这种隔离保证动作分支不能通过注意力偷看当前批量里的干净目标动作。

训练目标：状态、动作与分布约束

流匹配把真实动作块与高斯噪声插值，让模型回归从噪声到数据的速度。设 $s\in[0,1]$，$\boldsymbol{\epsilon}\sim\mathcal{N}(\boldsymbol{0},\boldsymbol{I})$，则有：

$$\boldsymbol{A}_{t,C}^{(s)}=(1-s)\boldsymbol{\epsilon}+s\boldsymbol{A}_{t,C},\qquad \boldsymbol{v}_{t,C}=\frac{\mathrm{d}\boldsymbol{A}_{t,C}^{(s)}}{\mathrm{d}s}=\boldsymbol{A}_{t,C}-\boldsymbol{\epsilon}.\tag{3}$$

状态分支与动作分支都用均方误差：

$$\mathcal{L}_{\mathrm{dyn}}=\mathbb{E}_{\mathcal{D}}\!\left[\mathrm{MSE}(\hat{\boldsymbol{z}}_{t+K},\boldsymbol{z}_{t+K})\right],\qquad \mathcal{L}_{\mathrm{act}}=\mathbb{E}_{\mathcal{D},s,\boldsymbol{\epsilon}}\!\left[\mathrm{MSE}(\hat{\boldsymbol{v}}_{t,C},\boldsymbol{A}_{t,C}-\boldsymbol{\epsilon})\right].\tag{4}$$

SIGReg 对潜变量施加各向同性高斯分布约束，防止 JEPA 坍缩到常数编码。设 $\boldsymbol{Z}$ 收集一个批内的历史和目标观测潜变量，$\boldsymbol{u}^{(m)}$ 是随机单位方向，$T$ 是对标准正态分布的 Epps–Pulley 检验统计量，则：

$$\mathcal{L}_{\mathrm{sig}}=\frac{1}{M}\sum_{m=1}^{M}T(\boldsymbol{Z}\boldsymbol{u}^{(m)}).\tag{5}$$

完整目标把三项线性组合。论文取 $\lambda_{\mathrm{sig}}=0.04$：

$$\mathcal{L}_{\mathrm{LeWAM}}=\mathcal{L}_{\mathrm{dyn}}+\mathcal{L}_{\mathrm{act}}+\lambda_{\mathrm{sig}}\mathcal{L}_{\mathrm{sig}}.\tag{6}$$

目标条件只进入噪声动作词元，包含目标图像嵌入和归一化剩余时域。时域通过 128 维正弦嵌入变成条件向量，再由隐藏宽度 512 的 AdaLN-Zero 模块调制噪声动作槽。目标缺失时，模型退化为无目标行为克隆；目标存在时，同一个模型又能做视觉目标到达。

直接执行与梯度规划

直接执行时，模型从高斯噪声开始，沿学习到的速度场积分得到动作块。论文使用 8 个欧拉步：

$$\frac{\mathrm{d}\boldsymbol{A}_{t,C}^{(s)}}{\mathrm{d}s}=f_a(\boldsymbol{A}_{t,C}^{(s)};s,\boldsymbol{z}_{\leq t},\boldsymbol{c}_t),\qquad \boldsymbol{A}_{t,C}^{(0)}\sim\mathcal{N}(\boldsymbol{0},\boldsymbol{I}),\qquad \hat{\boldsymbol{A}}_{t,C}=\boldsymbol{A}_{t,C}^{(1)}.\tag{7}$$

规划时，模型先从动作分布采样 $N$ 个候选。每一步用候选动作块的前 5 个动作推进潜在动力学，把预测潜变量追加到固定长度历史，并更新剩余目标时域，直到覆盖整个规划时域。随后冻结所有网络参数，只把归一化动作作为可训练变量，通过目标潜变量代价做梯度下降：

$$\mathcal{C}(\boldsymbol{A})=\mathrm{MSE}(\hat{\boldsymbol{z}}_{t+L}(\boldsymbol{A}),\boldsymbol{z}_g).\tag{8}$$

第 $k$ 个动作的更新形式为：

$$\boldsymbol{a}_{t+k}\leftarrow\boldsymbol{a}_{t+k}-\eta\frac{\partial\mathcal{C}}{\partial\boldsymbol{a}_{t+k}},\qquad k=0,\ldots,L-1.\tag{9}$$

实际实现还加一个二次邻近惩罚，避免动作流先验被局部梯度破坏。设采样候选为 $\boldsymbol{A}^{\mathrm{sample}}$，惩罚项为：

$$\mathcal{J}_{\mathrm{prox}}(\boldsymbol{A};\boldsymbol{A}^{\mathrm{sample}})=\mathcal{C}(\boldsymbol{A})+\lambda_{\mathrm{prox}}\left\|\boldsymbol{A}-\boldsymbol{A}^{\mathrm{sample}}\right\|_F^2.\tag{10}$$

最终选择和保留候选时使用未加惩罚的目标代价。Adam 学习率为 0.05，梯度范数裁剪为 10，动作截断幅度 $a_{\max}=3$，$\lambda_{\mathrm{prox}}=0.01$。规划器执行候选的前 5 个动作，观察真实环境，再重复采样、想象、细化和执行。Push-T 上的敏感性扫描显示，5 次 Adam 细化后成功率基本平台化，继续增加细化步只增加延迟；候选数超过 8 后也没有一致收益。

图 4：LeWAM 规划流程（论文图 4）。每个阶段从噪声动作生成候选，用前 5 个动作推进想象状态，再对完整候选做梯度细化，最后选择目标代价最低的候选执行。

flowchart TD
    O["当前观测"] --> E["共享编码器"]
    E --> H["历史潜变量"]
    H --> M["Mixture-of-Transformers"]
    M --> Z["状态分支
预测 z_t+5"]
    M --> A["动作分支
预测 10 步动作流"]
    A --> S["采样 32 个候选"]
    S --> R["冻结网络
沿潜在动力学 rollout"]
    R --> C["目标潜变量 MSE"]
    C --> G["Adam 5 步细化
邻近惩罚 动作截断"]
    G --> B["选择最低代价候选"]
    B --> X["执行前 5 个动作"]
    X --> O

评测协议

视觉规划给模型目标图像，要求从随机起点在固定预算内到达目标状态。无目标任务补全不给目标图像，直接从演示起点执行到任务完成。十个仿真环境包括导航和操作，动作维度、视角数量、数据来源和轨迹长度各不相同。其中四个环境沿用 LeWM 协议，另外六个加入迷宫、交互物体、耦合按钮、工具放置、双手传送和抽屉清理等更难的场景。Cube 的成功判定同时检查物体位置和末端执行器位置，避免只看物体中心造成的假成功。

图 5：十个仿真环境（论文图 5）。任务覆盖二维平面操作、三维物体操纵、迷宫导航和双手协作，验证同一架构在不同动作维度与时域上的适配能力。

视觉规划结果

在 25 步目标偏移和 50 步执行预算下，LeWAM 在全部十个任务上超过 LeWM 与 CEM 的组合，平均成功率为 93.5%，基线为 50.9%。差异最大的是接触丰富的双手 Transport：LeWAM 为 83.3%，LeWM 只有 2.8%。ToolHang 上是 94.7% 对 35.4%。逻辑结构较强的 Puzzle 上，LeWAM 达到 80.7%，目标条件行为克隆 GCBC 只有 44.0%。

图 6：视觉规划结果（论文图 6）。多数任务在 25 步目标偏移、50 步执行预算下评测；Two-Room 沿用 100 步目标偏移和 150 步执行预算，LeWM 使用 10 个种子以稳定估计。

长时域实验把目标沿记录轨迹推远到 25、50、75 或 100 步，起点固定为每个回合第一帧。在 Push-T、Cube、Scene 和 Puzzle 四个任务上，LeWAM 的 100 步平均成功率为 46.2%，LeWM 只有 10.9%。这说明学到的动作先验不只是缩短了短程搜索，也帮助模型在更长行为序列中保持合理候选。

任务	方法	25 步	50 步	75 步	100 步
Push-T	LeWAM	94.7 ± 3.1	60.7 ± 3.1	44.0 ± 3.5	43.3 ± 4.6
Push-T	LeWM	68.7 ± 3.1	12.0 ± 4.0	3.3 ± 2.3	2.7 ± 1.2
Cube	LeWAM	100.0 ± 0.0	88.0 ± 2.0	80.7 ± 2.3	82.0 ± 2.0
Cube	LeWM	100.0 ± 0.0	0.0 ± 0.0	4.0 ± 3.5	4.0 ± 3.5
Scene	LeWAM	82.7 ± 3.1	73.3 ± 8.1	65.3 ± 3.1	56.0 ± 4.0
Scene	LeWM	44.7 ± 13.0	31.3 ± 2.3	37.3 ± 5.8	36.0 ± 6.0
Puzzle	LeWAM	74.0 ± 12.5	14.0 ± 3.5	4.0 ± 3.5	3.3 ± 1.2
Puzzle	LeWM	10.0 ± 0.0	4.7 ± 2.3	4.0 ± 2.0	0.7 ± 1.2

表 1：不同目标偏移下的成功率，单位为百分比（论文表 5）。Puzzle 在 100 步时仍然很难，但 LeWAM 的绝对成功率和相对差距都明显更高。

速度是这项工作的另一个重点。LeWM 使用 $300\times30$ 的 CEM；LeWAM 使用 32 个候选和 5 次 Adam 细化。在 Scene、Puzzle、Cube、Push-T 四个任务上，LeWAM 平均 52.50 计划每秒，LeWM 只有 1.62 计划每秒，加速比 32.3 倍。加速来自两件事：动作流先验缩小搜索空间，批量梯度细化利用 GPU 并行性。

任务	动作维度	LeWM 毫秒每计划	LeWM 计划每秒	LeWAM 毫秒每计划	LeWAM 计划每秒	加速比
Scene	5	705	1.42	18.8	53.19	37.5×
Puzzle	5	731	1.37	16.3	61.35	44.8×
Cube	5	771	1.30	21.1	47.39	36.5×
Push-T	2	414	2.42	20.8	48.08	19.9×
平均	—	—	1.62	—	52.50	32.3×

表 2：规划速度对比（论文表 6）。所有神经网络的计时都在同一块 H100 上；一个计划指一次完整规划调用，不等于一次模型前向。

表征、动力学与动作分布的消融

线性探针表明联合动作监督提高了控制相关信息的可解码性。与 LeWM 相比，LeWAM 在多任务平均上把本体感知、动作和逆动力学的 $R^2$ 分别提高 0.21、0.20 和 0.19。SIGReg 也不只是防坍缩：在 Push-T 上，去掉 SIGReg 后规划增益从 14.7 个百分点降到 2.7 个百分点；LeWM 去掉 SIGReg 后，物体、本体感知和动作探针的 $R^2$ 全部变成 0。

环境	模型	SIGReg	有效秩	物体 $R^2$	本体感知 $R^2$	动作或逆动力学 $R^2$
Push-T	LeWAM	是	42.90	0.90	0.86	0.40（0.75）
Push-T	LeWAM	否	10.94	0.88	0.85	0.38（0.73）
Push-T	LeWAM 均值动作头	否	6.96	0.66	0.86	0.36（0.74）
Push-T	LeWM	是	94.20	0.95	0.80	0.29（0.71）
Push-T	LeWM	否	16.23	0.00	0.00	0.00（0.00）

表 3：Push-T 上的线性探针与有效秩（论文表 1）。括号中的逆动力学探针同时使用当前和未来潜变量。

端到端编码器同样重要。在 Push-T、Cube、Scene、Puzzle 四任务平均上，LeWAM 的端到端特征直接执行成功率为 86.7%，规划后为 91.5%；冻结 DINOv2 的 CLS 特征分别是 79.0% 和 82.7%；冻结 DINOv2 的 patch 均值特征分别是 75.8% 和 77.7%。联合训练因此改变了动作选择真正需要的特征，而不是只提供一个通用视觉底座。

视觉编码器	模式	Push-T	Cube	Scene	Puzzle	平均
LeWAM 端到端	直接	85.3 ± 5.0	100.0 ± 0.0	88.0 ± 6.9	73.3 ± 5.8	86.7
LeWAM 端到端	规划	98.7 ± 1.2	100.0 ± 0.0	93.3 ± 3.1	74.0 ± 12.5	91.5
冻结 DINOv2 CLS	直接	72.7 ± 7.6	98.7 ± 1.2	82.0 ± 4.0	62.7 ± 7.0	79.0
冻结 DINOv2 CLS	规划	78.7 ± 6.4	99.3 ± 1.2	91.3 ± 1.2	61.3 ± 13.0	82.7
冻结 DINOv2 patch 均值	直接	66.0 ± 12.5	93.3 ± 2.3	84.0 ± 2.0	60.0 ± 7.2	75.8
冻结 DINOv2 patch 均值	规划	67.3 ± 8.1	98.7 ± 1.2	86.0 ± 4.0	58.7 ± 7.6	77.7

表 4：视觉编码器消融（论文表 8）。直接模式不使用测试时搜索，规划模式通过学习到的动力学细化动作候选，成功率为百分比。

随机动作分布的价值在多路径导航任务中最直观。作者收集了从固定起点到固定目标的两门导航演示，一半走上门，一半走下门。流匹配动作头在闭环 rollout 中覆盖两条路线；把动作头换成确定性均方误差后，策略集中到下门，并出现撞墙失败。这说明流匹配保留的不只是单点最优动作，而是能让规划继续探索的完整条件动作分布。

为了验证动作分支没有破坏动力学学习，作者在评测时移除动作头，只保留状态分支，并用 CEM 规划。LeWAM 在 Push-T 上为 84.0%，略低于 LeWM 的 92.4%；在 Cube 上为 86.0%，比 LeWM 的 63.8% 高 22.2 个百分点。结合开放环预测可视化，这证明动作监督与状态预测不是二选一，而是可以互相强化。

行为克隆与真实机器人

无目标行为克隆训练保留状态预测和动作流匹配，但移除目标条件。仿真任务补全上，LeWAM 在 DrawerCleanup、Transport、ToolHang 三个任务平均 64.7%，扩散策略为 61.6%。Transport 上 LeWAM 为 61.3%，扩散策略为 45.3%；ToolHang 上扩散策略更强，为 84.7% 对 80.0%。

真实机器人实验覆盖 Pick and Place T、Push-T 和 Tape Stack，每个任务 30 次试验。LeWAM 端到端变体平均 33.3%，冻结 V-JEPA 2.1 编码器变体平均 35.6%，扩散策略平均 38.9%，π0.5 平均 28.9%。端到端 LeWAM 并没有超过扩散策略，但在计算量上有明显优势：一次完整动作块推理为 270.2 GFLOPs，π0.5 为 3603.6 GFLOPs，操作数效率相差 13.3 倍。

方法	Pick and Place T	Push-T	Tape Stack	平均	GFLOPs
扩散策略	19/30	16/30	0/30	38.9%	270.0
π0.5	14/30	3/30	9/30	28.9%	3603.6
LeWAM 冻结编码器	15/30	12/30	5/30	35.6%	270.2
LeWAM 端到端	16/30	8/30	6/30	33.3%	270.2

表 5：真实机器人 30 次试验结果（论文表 2）。GFLOPs 统计一次完整动作块推理，包含所有去噪或欧拉积分步。

训练数据规模也能说明实验基础。仿真环境合计约 71,988 条轨迹、13.1M 帧和 235.5 小时，包含专家演示、随机策略交互和混合质量数据。单个模型按任务或本体分别训练或适配，而不是一次训练所有任务。论文没有声称大规模多任务通用策略，重点仍是一个 16.9M 参数模型能否同时支持直接策略和测试时规划。

代码实现与关键细节

官方代码中，`lewam/models/encoders.py` 实现带 GroupNorm 的 ResNet 编码器、空间 softmax 和 BatchNorm 投影器；`lewam/models/lewam.py` 实现 MoTBlock、词元布局、流损失与 ODE 积分；`lewam/eval/planners.py` 实现梯度规划、best-of-k、steer 和 CEM；`scripts/train_lewam.py` 组合状态、动作与 SIGReg 损失；`configs/train/base.yaml` 固定帧间隔 5、动作块 10、SIGReg 权重 0.04 和 8 个流步。这些实现细节与正文公式一一对应。

训练配方分两种。视觉目标规划使用批大小 128、50 个 epoch、基础学习率 $1.5\times10^{-4}$ 和 5 个 epoch 线性预热。无目标任务补全使用批大小 64、120 个 epoch、基础学习率 $10^{-4}$ 和 10 个 epoch 预热。两者都用 AdamW、权重衰减 $10^{-4}$、余弦学习率调度、梯度范数裁剪 1 和种子 42。训练按 90/10 划分训练与验证，选择验证动作流损失最低的检查点，而不按任务成功率选模型。

局限与失败模式

第一，数据覆盖仍然有限。任务库混合专家与非专家数据，但对更难的接触转换、非结构化场景和探索行为的覆盖不足。作者也承认更广的 play data 可能改善接触丰富任务。

第二，泛化边界没有被充分检验。主要评测仍来自相似视觉分布与任务内的目标构造，对陌生物体、陌生视角和未见接触状态的泛化还需要更多实验。

第三，模型按任务和本体分别训练或适配，还不是多任务、多本体或语言条件策略。共享动力学只有在更大数据和多任务训练下才有机会真正扩展。

第四，规划停留在低层连续控制。长程任务如果需要子目标分解、符号约束或任务阶段切换，还需要外层层级规划器。

第五，训练与测试搜索规模都不大。视觉规划模型约 17M 参数，候选数 32、Adam 细化 5 步。更大模型可能学到更通用动力学，但也会改变延迟权衡。

第六，接触求解仍依赖启发式。作者在附录中明确表示，三维接触丰富操作中的严格保证还是未来工作；邻近惩罚、动作截断和流先验都是实用选择，而不是完整的接触模式推理。

还应补充一个实验边界：真实机器人上 LeWAM 的平均成功率低于扩散策略。它把 GFLOPs 从 π0.5 的 3603.6 降到 270.2，展示了效率优势，但表 2 里的绝对性能不能被过度解读为全面领先。

结论与启示

LeWAM 的价值在于把“策略先验”和“世界模型想象”接在同一批梯度里。动作流不是孤立的模仿学习头，它给测试时搜索提供低熵初始分布；潜在状态预测也不是只在离线评测里成立的动力学，它接受动作监督塑造，并把控制相关细节留在潜空间。这样，直接执行负责快速反应，规划负责修正偏差，两种模式共享一个约 16.9M 参数的模型。

对机器人系统设计者，最重要的启示是先验比候选数量更关键。CEM 在宽先验下需要 9000 个候选，LeWAM 只需要 32 个候选加 5 步细化就能得到更高成功率。这个变化使潜在世界模型从研究性 slower planner 变成更接近实时控制的组件。接触丰富任务中的 32.3 倍加速也说明，学习到的动作分布本身就是一种可优化的搜索结构。

不过，它仍然不是通用机器人基础模型的完整答案。单任务训练、有限数据、真实机器人平均成功率与层级规划缺位都提醒我们：LeWAM 是一个强而干净的端到端 JEPA 控制证明，而不是一个已经覆盖所有机器人问题的系统。

金句

动作分布既是策略，也是搜索先验。 当候选动作来自学习到的流模型，测试时优化不再从盲目噪声开始，而是从可行行为附近开始。

潜在世界模型必须保留控制相关细节。 状态、动作和分布约束共同塑造编码器，才能让目标代价的梯度指向真正会改变物理结果的动作。

参考链接

论文：https://arxiv.org/abs/2610.12818
项目页：https://le-wam.github.io/
代码：https://github.com/MinghaoFu/lewam