强化学习实现通用机器人策略规模化改进

论文：Reinforcement Learning Enables Scaling Generalist Robot Policy Improvement

作者：Michal Korniak、Marco Bagatella、Ralf Römer、Michal Nauman、Yarden As、Pranav Vignesh、Manan Agarwal 等，合作机构包括 ETH Zurich、MPI for Intelligent Systems、Technical University of Munich、University of Warsaw、Carnegie Mellon University、UC Berkeley、Amazon FAR 与 Physical Intelligence。

版本：arXiv:2611.06905v1，2026 年 11 月 4 日。

链接：论文 · 项目页 · 代码仓库

代码状态：公开仓库已包含 FSFT、Best-of-N、训练循环与 MolmoSpaces/LIBERO 适配；README 明确写明“OGPO implementation is on its way”，因此本文最重要的 OGPO 结果目前只能按论文附录复述，不能假装已在开源代码中完整复现。

一句话总结

这篇论文把 VLA 的在线强化学习从“针对一个部署任务做专家微调”推进到“在多样化任务集合上训练一个可继续泛化的改进器”：当 critic 引导策略更新且任务覆盖足够多样时，π0.5 不仅能提升训练任务，还能在未见场景上最高提升 58 个百分点，在未见物体上最高提升 39 个百分点。

研究背景与动机

视觉语言动作模型已经把大量视觉、语言和操作行为压进同一个策略。π0.5、Octo、OpenVLA 一类模型能够在零样本条件下处理许多日常任务，但这种“会很多”并不等于“每个任务都足够可靠”。真正进入家庭或仓储环境后，机器人仍需要用自己的失败数据继续改进。问题在于，目前大多数在线强化学习仍然沿用单任务范式：部署到一个任务，收集这个任务的轨迹，再把这个任务的成功率推高。

单任务改进的收益很直接，也很容易测量，可它浪费了通用策略最重要的资产：跨任务共享的表征和行为先验。假设一个机器人要学习拿起杯子、锅铲、刀叉和瓶子。若每次只针对一个物体做 SFT，实际上会得到一组彼此独立的专家，既需要重复采样，也可能把一个任务上的改进变成另一个任务上的遗忘。作者提出的核心问题是：能否一次在多个相关任务上做在线后训练，并让总收益超过单个任务各自改进的成本？

更激进的问题是，多任务训练能否产生“训练集之外”的提升。这里必须区分两种泛化。第一种是同一物体、不同场景，例如训练时见过叉子，但测试厨房台面、光照和摆位变化。第二种是不同物体，例如训练过锅铲与盒子，测试时第一次看到刀。前者主要考验视觉与布局鲁棒性，后者要求策略提炼出可迁移的抓取几何与动作模式。作者没有把两者混成一个平均分，而是用 MolmoSpaces 的结构化任务切分分别测量。

论文的名字强调“强化学习”，但实验真正要回答的不是“RL 是否比 SFT 好”这么简单。作者把改进拆成三个机制：只更新策略的过滤监督微调；冻结策略、只用 critic 在测试时为多个候选动作排序；以及用 critic 的价值信号把更好的动作蒸回策略。三种机制在训练任务上都能涨分，但在未见任务上的表现差异很大。这个分解才是论文最有价值的部分。

因此，本文不是提出一个只需更换损失函数的新算法。它更像一份受控的实验研究：固定基座模型、数据采集协议与计算预算，只改变“为什么动作会变好”和“任务多样性如何增加”。这种设计牺牲了算法新颖性，却让结论更容易解释。尤其重要的是，它没有只报告成功案例，还专门展示了 LIBERO 上完全新任务无法泛化的反例。

问题定义与预备知识

把任务记为 $c$，状态为 $s$，动作块为 $a$，策略为 $\pi$，转移分布为 $P$，奖励为 $R$。在任务 $c$ 中，状态动作价值函数定义为折扣回报的期望：

$$Q^{\pi}(s,a,c)=\mathbb{E}\left[\sum_{t=0}^{\infty}\gamma^{t}R(s_t,a_t,c)\mid s_0=s,a_0=a\right].$$

这个公式回答的是：在当前任务与状态下手动执行某个动作块，之后继续按策略行动，长期能拿到多少折扣收益。本文的奖励非常稀疏，每一步为 $-1$，成功为 $0$，所以 Q 值可以理解为“距离成功还要多久”的负时间成本。

测试任务来自分布 $\rho_{\mathrm{test}}$，而在线训练任务来自 $\rho_{\mathrm{train}}$。作者希望优化的目标是：

$$J(\pi;\rho_{\mathrm{test}})=\mathbb{E}_{c\sim\rho_{\mathrm{test}},s_0\sim\mu_0(c)}\left[V^{\pi}(s_0,c)\right].$$

关键在于 $\rho_{\mathrm{test}}$ 不要求等于 $\rho_{\mathrm{train}}$。若两者相同，问题只是普通多任务微调；若两者不同，才真正考验“generalist improvement”。当然，论文也承认任意任务之间的零样本迁移不现实，因此训练与测试集合必须共享某种结构，例如相同任务族、相似物体形状或相近操作技能。

在线协议是迭代式的。每一轮从 $N_{\mathrm{task}}$ 个训练任务中各收集 $K=20$ 条 episode，把数据放入共享 replay buffer，再执行梯度更新。普通配置跑 $M=10$ 轮；144 个任务的 BoN 与 OGPO 因曲线尚未饱和，延长到 15 轮。这个协议介于单任务在线 RL 与大规模离线 RL 之间，作者称其为面向部署的多任务在线后训练。

方法详解

1. 直接策略适应：只相信成功轨迹

第一条路线是 filtered supervised fine-tuning，简称 FSFT。它从 replay buffer 中只取成功 episode 的状态动作对，最小化负对数似然：

$$\mathcal{L}_{\mathrm{DPA}}(\theta)=-\mathbb{E}_{(s,a,c)\sim\mathcal{D}}\left[w(s,a,c)\log\pi_{\theta}(a\mid s,c)\right].$$

FSFT 把权重设为成功指示器：完整回报超过阈值的轨迹权重为一，否则为零。对于 flow matching 策略，实际训练使用可计算的 flow loss 替代显式似然。它非常接近普通行为克隆，因此稳定、简单，也最容易规模化；但它的信息来源只有“哪些动作出现过”，没有显式比较“同一状态下哪个动作更好”。

这个限制在单任务中不致命，因为成功样本本身会收缩到一条较窄的轨迹分布。到了多任务场景，成功轨迹可能包含完全不同的物体、抓取姿态和空间布局。模型只能提高所有成功动作的概率，无法知道在一个具体状态下 A 动作为什么比 B 动作更接近成功。作者用 FSFT 作为“没有 critic 的强基线”，正是为了把价值引导的贡献单独隔离出来。

2. critic 学习：把稀疏成功变成可比较的动作分数

critic 使用状态、任务和动作块预测长期价值。训练时同时学习动作价值 $Q_{\psi}$ 与状态价值 $V_{\eta}$，用 TD 目标相互约束：

$$\mathcal{L}_{Q}(\psi)=\mathbb{E}_{(s,a,r,s',c)\sim\mathcal{D}}\left[\left(Q_{\psi}(s,a,c)-\left(r+\gamma V_{\eta}(s',c)\right)\right)^2\right],$$ $$\mathcal{L}_{V}(\eta)=\mathbb{E}_{(s,a,c)\sim\mathcal{D}}\left[\left(Q_{\psi}(s,a,c)-V_{\eta}(s,c)\right)^2\right].$$

直观地说，Q 网络学习“这个动作块值多少”，V 网络学习“当前状态平均还能得到多少”。成功前每多走一步都会损失一点回报，于是同一个状态下，更接近成功的动作块会得到更高 Q。与直接模仿不同，critic 可以把失败轨迹也用于学习，因为它可以从失败中区分“差一点成功”和“完全偏离”。

实现中，critic 并不直接读取原始图像，而是读取 π0.5 主干已经编码好的 prefix token，并对 token 维做均值池化，再拼接本体状态与展平的动作块。由于 BoN 冻结策略，prefix embedding 可以在数据收集时缓存，训练时只更新较小的 residual MLP。这一设计显著降低了 critic 训练成本，也解释了为什么 BoN 能在相同数据预算下比持续微调大模型更便宜。

作者用 BroNet 残差 MLP 代替普通 MLP。每个残差块先做线性投影，再经过 LayerNorm 与激活，第二个线性层后再次归一化，最后与输入相加。与直接堆叠 MLP 相比，这种结构给 critic 更稳定的优化路径。消融显示，仅加入残差连接就让成功率提高超过 10 个百分点。

class _BroNetBlock(nnx.Module):
    def __call__(self, x, activation):
        res = self.linear1(x)
        res = self.norm1(res)
        res = activation(res)
        res = self.linear2(res)
        res = self.norm2(res)
        return res + x

上面是公开仓库 src/rl/networks/bronet_critic.py 的核心残差块。它对应论文所说的 BroNet critic：动作价值不是由一个巨大的网络直接从像素预测，而是在已有 VLA 表征上增加一个可稳定训练的残差价值头。默认隐藏宽度为 1024，深度为 2，critic 学习率为 $10^{-4}$。

3. Best-of-N：冻结策略，只在测试时挑选

BoN 保持 π0.5 参数不变。在每个决策点，它从同一个状态采样 $N=32$ 个动作块，再让 critic 给每个候选打分，只执行价值最高的一个：

$$i^{\star}=\arg\max_{i}Q_{\mathrm{targ}}(s_t,a_t^{i},c),\qquad a_t^{i}\sim\pi_{\theta}(\cdot\mid s_t,c).$$

这与“让策略学会变好”不同。策略本身仍然可能生成坏动作，只是采样足够多以后，critic 有机会从候选集合里挑出更好的那个。只要 critic 能正确排序，BoN 即使完全不改变 VLA，也能把在线数据转化为更好的测试时行为。

公开实现与公式一一对应。每次调用先按 prompt 对环境分组，一次生成所有候选，随后缓存 prefix embedding、拼接状态与动作，最后选出 Q 值最高的动作块。源码中的 _best_of_n 包含了完整路径：

candidates = self._sample_candidates(
    processed_obs, rng, n_samples
)
raw_state = _raw_state(processed_obs)
critic_obs, prefix = self._critic_observation(
    processed_obs, raw_state, policy_model,
    n_samples, droid_layout=droid_layout,
)
scores = self._score_candidates(
    q_model, critic_obs, candidates,
    raw_state, n_samples,
    droid_layout=droid_layout,
)
return _select_best(candidates, scores), prefix

这段代码位于 src/rl/best_of_n/best_of_n_learner.py。它解释了 BoN 的代价：策略只查询一次时，现在要生成 32 个候选，并对每个动作块计算 critic。论文报告 $N=32$ 的单步耗时是 $N=1$ 的 3.49 倍，而 $N=8$ 只有 1.59 倍；仿真里作者优先性能，真实机器人上则建议优先 $N=8$。

4. OGPO：把 critic 的排序能力写回策略

BoN 只在推理时改变行为，OGPO 则让策略本身变得更好。抽象目标很直接：最大化策略采样动作的 critic 价值。

$$\mathcal{L}_{\mathrm{CPE}}(\theta)=\mathbb{E}_{(s,c)\sim\mathcal{D}}\mathbb{E}_{a\sim\pi_{\theta}(\cdot\mid s,c)}\left[Q_{\mathrm{targ}}(s,a)\right].$$

难点在于现代 VLA 通过多步去噪生成动作，不能像普通连续动作策略那样直接对 Q 反向传播。OGPO 把动作生成看成一个小型生成 MDP，对每个状态采样一组 $G$ 条去噪轨迹，再计算组内相对优势：

$$\widehat{A_i}=Q_{\mathrm{targ}}(s,a^{i,(0)})-\frac{1}{G}\sum_{j=1}^{G}Q_{\mathrm{targ}}(s,a^{j,(0)}).$$

这里不再问“这个动作的绝对值有多高”，而是问“在同一批候选中，这个动作比平均候选好多少”。随后对每条去噪轨迹计算当前策略与慢更新策略的概率比 $\omega_i(\theta)$，用 PPO 风格的裁剪目标更新策略：

$$\mathcal{L}_{\mathrm{OGPO}}(\theta)=-\mathbb{E}\left[\frac{1}{G}\sum_{i=1}^{G}C_{\epsilon}\left(\omega_i(\theta),\widehat{A_i}\right)\right].$$

这个转换避免了“对 Q 直接求导”的不稳定，同时让高价值候选的去噪路径获得更高概率。为了防止 critic 早期不准导致策略被带偏，OGPO 还保留成功样本上的 BC 项，并采用保守优势。critic 端则用 $N_{vr}=16$ 个当前策略动作的平均 Q 构造目标，以降低 TD 目标方差：

$$\mathcal{L}_{\mathrm{critic}}=\mathbb{E}\left[\left(Q(s_t,a_t)-\left(r_t+\gamma\frac{1}{N_{vr}}\sum_{i=1}^{N_{vr}}Q(s_{t+1},a_{t+1}^{(i)})\right)\right)^2\right].$$

从机制上看，OGPO 同时具备 FSFT 的“改变策略参数”和 BoN 的“比较动作价值”。它不是把 critic 当成永久外挂，而是把 critic 当教师，让下一次采样不依赖 32 倍推理成本也能产生更好的动作。这解释了为什么它在训练任务上比 BoN 更高，同时仍保留 critic 引导带来的跨任务迁移。

5. 三条路径的论文专属流程

flowchart TB
    A[Shared π0.5 rollouts
K=20 per task] --> B[Shared replay buffer]
    B --> C[FSFT
success-only SFT]
    B --> D[Critic training
BroNet Q and V]
    D --> E[BoN
rank N=32 candidates]
    D --> F[OGPO
group advantage + PPO]
    F --> G[Updated action expert]
    C --> H[Evaluate seen tasks]
    E --> H
    G --> H
    H --> I[Unseen scenes]
    H --> J[Unseen objects]
    I --> K[Generalization only when
task diversity is sufficient]
    J --> K

这张图对应该论文最核心的实验逻辑：同一批跨任务轨迹进入共享 buffer，之后分成“只学成功动作”“只学价值排序”“把价值写回策略”三条路径。场景与物体两个测试维度从评测阶段分开，不把两类泛化混在一起。

实验设计

主实验使用 MolmoSpaces 的 pick 任务套件。环境包含 18 种物体，每种物体有 55 至 56 个不同家庭场景。训练集从 1 个任务扩展到 4、16、64、144 个任务，并按“物体数量 × 每个物体的场景数量”同步扩大。所有切分都保证基座 π0.5 的初始成功率约为 30%，因此后续差异不是由某个切分太简单造成的。

每个训练切分都有两类测试。第一类是未见场景：物体仍是训练物体，但换成没有参与在线训练的 8 个场景。第二类是未见物体：固定 6 个从未出现在任何训练切分中的物体，每个物体测试 8 个场景。论文还单独构造了“场景扩展”和“物体扩展”实验，以判断两种多样性各自迁移到哪个方向。

为了验证结论不只适用于一个模拟器，作者还在 LIBERO-90 上训练 FSFT 与 BoN，规模为 1、4、16、64 个任务，并用 25 个完全未见任务测试。LIBERO 的初始成功率在 23.4% 到 27.0% 之间，未见任务平均为 26.9%。这个子实验非常重要，因为它没有配合作者想要的结论：在不超过 64 个任务的规模内，LIBERO 上的完全新任务没有出现正向泛化。

所有结果取 3 个随机种子的均值，并报告 95% 分层 bootstrap 置信区间。每个配置每轮每任务收集 20 条 episode，最终评测每任务 32 条 episode。单任务训练约需 2 至 5 小时，144 任务的最大运行约 200 小时，每个节点使用 4 张 GH200。

训练切分	任务数	训练任务初始成功率	未见场景初始成功率	任务构造重点
MolmoSpaces 1 task	1	30.2%	30.0%	单物体单场景
MolmoSpaces 4 tasks	4	30.2%	30.0%	2 物体 × 2 场景
MolmoSpaces 16 tasks	16	29.2%	29.9%	4 物体 × 4 场景
MolmoSpaces 64 tasks	64	29.5%	29.9%	8 物体 × 8 场景
MolmoSpaces 144 tasks	144	29.0%	29.7%	12 物体 × 12 场景
固定未见物体	6 物体 × 8 场景	平均约 28.9%	不适用	所有训练切分均未包含这些物体

表中最值得注意的是“初始成功率几乎不随切分变化”。如果只用平均成功率比较，训练后曲线可以干净地归因于算法和任务多样性，而不是切分选择偏差。未见场景从 30.0% 到 29.7% 的小幅差别也说明基座对场景变化原本就较稳定，真正困难的是未见物体。

主要实验结果

在训练任务上，三种方法都能提升。单任务时，OGPO 相对 FSFT 高 53 个百分点，BoN 高 26 个百分点。多任务时，OGPO 相对 FSFT 的优势仍为 43 至 50 个百分点，BoN 为 15 至 21 个百分点。这个结果首先否定了“只要多任务 SFT 就足够”的简化观点：在不改变 critic 机制的情况下，简单增加成功样本并不能达到同样的提升。

更有说服力的是未见场景。随着训练任务从少量扩展到 144 个，FSFT 仍然容易在训练分布外下降；BoN 和 OGPO 则从“会遗忘”转向“能迁移”。在保持物体不变、只替换场景时，critic 引导方法相对基座最高提升 58 个百分点。由于场景变化主要影响视觉布局与空间关系，这说明多任务 critic 学到了可复用的“动作离成功还有多远”的排序能力，而不只是记住某个场景的动作序列。

未见物体的结果更意外。训练集中没有刀、叉、遥控器、酒瓶等物体时，OGPO 与 BoN 仍能在部分物体上超过基座，最高提升 39 个百分点。作者没有把所有物体说成都能泛化。逐物体结果显示，迁移与训练物体的形状和抓取方式有关：盒子训练出的 critic 更容易迁移到碗，锅铲更容易迁移到刀；而酒瓶对策略更新最不友好。

例如 atomizer 在 144 个任务切分中，BoN 从 0.29 提升到 0.42，OGPO 从 0.42 提升到 0.58；该切分新增了皂液瓶与盐胡椒瓶等瓶状物体。酒瓶上 BoN 从 0.24 提升到 0.44，而 OGPO 只有从 0.09 到 0.12。这个对照很关键：当目标物体离训练分布很远时，更新策略参数可能把原有行为带偏；冻结策略、只用 critic 重排候选反而更稳。

多样性到底沿哪个方向迁移

作者进一步把“任务数增加”拆成两个轴。第一个轴固定一个物体，只增加场景数，从 1、4、8 到 16；第二个轴固定每个物体一个场景，只增加物体数，从 1、4 到 8。两个实验使用相同的未见场景与未见物体评测。

结果呈现出明显的同轴迁移。增加场景数主要改善未见场景，BoN 提升 36.5 个百分点，FSFT 提升 31 个百分点；但这些场景多样性几乎没有帮助模型处理新物体，两者在未见物体上都低于基座。反过来，增加物体数最终能同时改善未见场景与未见物体。8 个任务匹配预算下，场景轴在未见场景上的额外优势为 6.6 个百分点，物体轴在未见物体上的额外优势为 9.4 个百分点。

这不是一个可有可无的消融。它把“更多任务”从模糊口号变成可操作的数据设计原则：如果部署时的主要变化是房间布局，采集更多场景有效；如果目标是获得新的抓取技能，必须让训练任务覆盖不同物体和不同解法。作者据此认为，泛化到新物体需要训练分布中存在多样的动作策略，而不只是视觉增强。

实验维度	报告数字	解释
单任务训练任务提升	OGPO 比 FSFT 高 53 pp；BoN 高 26 pp	critic 引导在单任务上已明显优于成功样本 SFT
多任务训练任务提升	OGPO 比 FSFT 高 43–50 pp；BoN 高 15–21 pp	价值引导优势随任务规模保留
未见场景	最高比基座高 58 pp	物体不变，考验视觉与布局迁移
未见物体	最高比基座高 39 pp	目标物体从未参与在线训练
16 任务训练效率	比 16 个单任务运行少 2.9 倍梯度步	共享 critic 与共享 buffer 摊薄多任务成本
场景多样性	BoN 未见场景 +36.5 pp；FSFT +31 pp	场景轴主要迁移到新场景
物体多样性	8 任务时未见物体额外 +9.4 pp	物体轴更能迁移到新物体
BoN 推理	N=32 为 3.49×；N=8 为 1.59×	性能提升伴随明显的推理成本

从工程角度看，这组数字意味着通用策略后训练的预算不应只用于增加同一任务的轨迹。重复采集同一个杯子的 1000 个场景，可能让视觉编码更稳，却不会自动学会使用夹爪处理新的几何形状。任务集合需要覆盖“变化轴”，而不是单纯增加样本量。

算法消融与成本

直接策略适应部分，作者比较了完整 VLA 微调与只训练 action expert。完整微调在分布内和未见场景上都比只调 action expert 高超过 12 个百分点，说明视觉语言主干中的任务条件表征确实需要改变。代价是未见物体性能相对基座下降 10.6 个百分点，而只调 action expert 只下降 2.2 个百分点。这里存在清晰的取舍：更强适配换来更好的分布内表现，也带来更高过拟合风险。

critic 设计方面，BroNet 残差结构比普通 MLP 高超过 10 个百分点；TD 目标加简单回归损失在实验中最大且最稳定；分布式 critic 在多任务设置中反而变差。作者推测，不同任务的回报尺度与分布差异太大，共享分类式价值分布会互相干扰。这一结果提醒我们，单任务 RL 中有效的分布 critic 不能无条件迁移到多任务 VLA 后训练。

策略提取部分，OGPO 优于 AWR，也优于“先 FSFT、再在测试时 BoN”的直组合。FSFT+BoN 已经同时拥有成功样本更新和 critic 排序，但它仍是两个模块的松散拼接。OGPO 在训练时直接优化去噪轨迹的相对价值，因此下一次策略采样就带着 critic 的偏好，不用在部署时承担 32 候选的推理成本。

数据与算力分配也有反直觉结论。增加每轮 episode 数有收益，但边际递减；增加梯度步并不总是更好，过长的更新会损害稳定性；在总数据与总算力固定时，把预算分给更多短迭代比一次性收集全部数据后长时间训练更有效。作者最终采用 10 轮、每轮每任务 20 条 episode 的中等配置。

预训练 critic 没有成为加速器。一个先在 64 个 MolmoSpaces 任务上训练过的 critic，在切到新任务的第一轮确实起点更高，但差距很快消失，随后在未见场景与未见物体上都落后于从零训练的 critic。作者把可能原因归为可塑性下降，但没有证明具体机制。这也说明“先预训练所有价值模型”并不是本文结果支持的默认工程路线。

设计轴	主要对照	论文结论
VLA 微调范围	完整 VLA vs 只调 action expert	分布内和未见场景均 +12 pp 以上；完整微调在未见物体上 -10.6 pp
critic 架构	BroNet vs 普通 MLP	BroNet 提升超过 10 pp
critic 目标	TD 回归、MC、分类、分布式	TD + 简单回归最稳；分布式 critic 在多任务中较差
策略提取	OGPO、AWR、FSFT+BoN	OGPO 与 AWR 总体优于松散组合，OGPO 为本文主方案
数据分配	少轮次大 batch vs 多轮短更新	更频繁的在线迭代更好
critic 预训练	64 任务预训练 vs 从零训练	只在最开始更快，之后反而落后

LIBERO 的反例说明了什么

如果只看 MolmoSpaces，读者很容易得出“价值 RL 可以让 VLA 泛化到所有新任务”的过强结论。作者专门加入 LIBERO 来收窄范围。LIBERO-90 的初始成功率为 23.4% 到 27.0%，25 个未见任务平均 26.9%。在 1、4、16、64 个训练任务上，FSFT 与 BoN 都能改善训练任务，但完全新任务没有出现正向泛化。

原因之一是任务间差异的性质不同。MolmoSpaces 的测试任务与训练任务共享 pick 任务族，差异主要是物体和场景，策略仍可以复用抓取、接近、抬升等技能。LIBERO 的未见任务可能改变目标、物体组合、动作顺序与环境结构，任务之间并不沿一个连续轴变化。此时多任务训练更像是在不同技能之间竞争容量，而不是在共享分布中提取可组合规律。

即便没有正向泛化，BoN 仍然比 FSFT 更安全。FSFT 在未见任务上表现出明显遗忘，而 BoN 只出现最小幅度的下降，因为它冻结了基座策略，只改变候选选择。这个对照与酒瓶上的结果一致：当目标远离训练分布时，critic 外挂比直接改写策略更保守。

因此论文的主张应当准确表述为：任务集合足够大且测试任务与训练任务保持结构化关联时，critic 引导的通用改进可以迁移；不是任何 64 个任务都能自动产生任意任务泛化。任务多样性的“方向”和“可迁移性”比单纯计数更重要。

局限分析

作者自述的第一个局限是评测全部集中在操作环境。MolmoSpaces 与 LIBERO 能控制物体、场景和任务数量，但不能代表移动操作、全身控制或长时序规划。VLA 在家庭抓取中的 critic 学习可能依赖动作块较短、目标较明确、成功判定清晰等条件；这些条件在开放世界机器人中未必成立。

第二个局限是计算成本。单任务运行需 2 至 5 小时，最大 144 任务运行约 200 小时并使用 4 张 GH200。论文证明多任务比逐任务专家更省梯度步，但没有证明它已经便宜到可以在普通机器人集群上持续运行。BoN 还要在每一步采样 32 个动作块，仿真里可以接受，真实闭环控制则可能被推理延迟限制。

我的独立判断是，OGPO 的公开性限制了复现。公开仓库当前只完整提供 FSFT、BoN 和 critic 训练，README 明确说 OGPO 尚未发布。论文附录给出了组相对优势、概率比、裁剪目标与方差缩减，但缺少与作者内部实现逐行对应的代码，外部团队无法确认 ODE-to-SDE、慢策略更新、保守优势和成功 buffer 的具体工程细节。

另一个未被充分回答的问题是 critic 什么时候会“看起来正确但实际错误”。本文用最小集成与下界聚合降低过估计，却没有系统测量 critic 在未见物体上的排序校准。若 critic 在陌生物体上偏好一个高 Q 但不可执行的动作，BoN 会放大错误；OGPO 把这种错误写回策略后，修正成本可能更高。酒瓶上 OGPO 明显弱于 BoN，正是这种风险的可见信号。

此外，任务多样性仍依赖人工设计。论文能沿场景与物体两个轴构造切分，是因为 MolmoSpaces 给了精细控制；真实部署中，我们通常不知道未来任务会沿哪个轴变化，也无法保证训练任务覆盖正确技能。如何从无标注部署流中自动发现缺失的“变化轴”，是比增加样本数量更难的问题。

结论与展望

这篇论文的主要贡献不是单个网络结构，而是把“通用机器人策略能否自我改进”拆成可测量的实验问题。它证明 FSFT、BoN 和 OGPO 都能提升训练任务，但只有 critic 引导的方法在任务多样性增加时出现跨场景、跨物体的正向迁移。OGPO 进一步说明，测试时选择可以被蒸回策略，使改进不必永久依赖大 N 推理。

对机器人基础模型团队，最直接的启示是：后训练数据采集应该围绕部署变化轴设计，而不是把单任务专家重复 100 次。场景与物体的多样性不能互相替代；若目标是新物体抓取，训练集中必须出现足够多样的抓取几何。对 critic 系统，冻结策略的 BoN 是可靠的安全基线，OGPO 则是更高上限但需要更谨慎验证的路线。

下一步值得研究三个方向。第一，在真实机器人上测量 critic 排序误差与推理延迟，而不只报告模拟成功率。第二，将任务多样性与 critic 校准联系起来，判断何时应该只重排、何时可以更新策略。第三，把“场景轴”和“物体轴”扩展为自动发现的技能轴，让系统能从部署数据中判断还缺哪类经验。

金句

通用策略的规模化改进，不是把同一个任务做得更熟，而是让价值判断在多任务之间学会迁移；策略可以冻结，critic 却必须见过足够多样的世界。