AgenticRoboRL：将编码智能体后训练引入机器人智能体

核心主张

机器人智能体的后训练可以复用执行框架，但应当重新组织模型调用的上下文；真正需要学习的是规划器如何选择工具、代码和恢复动作，而不是重新拟合一个固定控制器的低层轨迹。

这一定位使方法的可训练范围很清晰。感知模块、运动规划器、视觉语言动作执行器和工具的语义都保持冻结，只有 Qwen3.5-9B 规划器的参数被更新。因而实验中的增益可以归因于规划能力变化，而不是底层技能库被重新训练或测试时额外加入了外部记忆。

问题形式化

设机器人任务为 $\xi_i=(x_i,s_i^0)$，其中 $x_i$ 是任务与指令，$s_i^0$ 是初始环境状态。执行框架记为 $\mathcal H$，第 $t$ 次规划调用的上下文由任务、截至当前的观测和此前已生成响应共同构造：

$$c_{i,t}=\Phi_{\mathcal H}(x_i,o_{i,\leq t},y_{i,\lt t})$$

规划器据此采样当前响应：

$$y_{i,t}\sim\pi_\theta(\cdot\mid c_{i,t})$$

框架执行 $y_{i,t}$ 后返回新观测，直到回合终止。训练目标是最大化任务分布上由当前规划器和固定执行框架共同诱导的期望收益：

$$\max_\theta J(\theta)=\mathbb E_{\xi\sim\mathcal D,\tau\sim P_{\theta,\mathcal H}(\cdot\mid\xi)}[R(\tau)]$$

本文使用最简单的二值终局奖励：

$$R(\tau)=\mathbf 1[\text{任务成功}]$$

该定义把中间步骤的判断权交给规划器，而不是人为规定“先抓取、再移动、最后放置”的稠密过程奖励。它也使同一个优化器能够跨越两种框架，但代价是信用分配只能依赖同组多次尝试之间的结果差异。

训练系统：在模型调用边界记录真实上下文

代理服务器位于规划器与机器人框架之间，记录每次模型请求的上下文、图像引用、工具定义、输出词元编号和采样时的词元对数概率。系统在强化学习更新前会重新渲染提示，并逐词元检查它与记录是否一致。只要提示词元发生不匹配，该样本的优化权重就为零。

这一检查看似工程细节，实际上决定了离线训练是否能保持策略梯度语义。机器人框架可能为了节省上下文而删除旧图片、省略先前推理、改写工具返回，或者在不同请求之间改变历史格式。若训练器仅从最终轨迹重新拼接上下文，它优化的是另一个策略产生的样本，重要性比率也就失去意义。

每个执行框架还需要实现一个无参数适配器，报告五个字段：任务标识、初始状态标识、尝试编号、奖励以及样本是否有效。前两个字段定义同组比较的边界，尝试编号区分同一配置下的不同采样。奖励为零可能表示真实任务失败，也可能是模拟器崩溃、服务超时或记录不完整；有效性标志只排除后一种基础设施问题，任务失败仍作为有信息的零奖励保留。

第一阶段：成功轨迹监督微调

在 RPent 设置中，教师是 Qwen3.8-27B，并使用框架提供的任务记忆与全局记忆。学生 Qwen3.5-9B 看不到这些记忆，因此不能直接复制教师的完整上下文。作者从记录的教师回合中回收每一轮学生应当看到的上下文，删除记忆访问工具及其结果，再判断教师响应是否依赖被移除的信息。

依赖检测包含三类证据：响应直接提到记忆相关关键字；响应重复了记忆文本中的连续八个词；响应使用了只在被删除结果中出现的数字。对识别出的响应，教师推理和解释文字会以学生上下文为依据重写，并由裁判模型判断是否只改写了推理与文本、没有改变工具参数。只有通过检查的响应才成为监督目标，其余轮次可能仅作为历史，或被完全丢弃。

CaP-X 不需要记忆剥离，因为教师和学生使用相同的执行配置。系统直接取成功回合中正常结束的模型调用，用学生的聊天模板重新渲染提示，并以教师记录的实际输出词元作为目标。两类框架最终都转化为“学生可见上下文 + 响应目标”的样本集合。

监督损失按批次内全部目标词元归一化，而不是先对每条响应求平均再对响应求平均：

$$\mathcal L_{\mathrm{SFT}}=-\frac{\sum_{s\in\mathcal B_{\mathrm{SFT}}}\sum_{j=1}^{L_s}\log\pi_\theta(y_{s,j}\mid c_s,y_{s,\lt j})}{\sum_{s\in\mathcal B_{\mathrm{SFT}}}L_s}$$

上下文词元被掩码，损失只覆盖接受响应的推理、文本、序列化工具调用或代码，以及结束词元。分母使用批次总监督词元数，避免长响应因独立平均而获得与短响应相同的权重。

第二阶段：多轮交互强化学习

强化学习从监督检查点开始。每个任务与初始状态的组合构成一个组，每组采样六次；只有至少包含两次有效尝试的组才参与比较。第 $i$ 次尝试的奖励为 $R_i$，作者使用其余尝试的平均奖励作为基线，得到留一法优势：

$$A_i=R_i-\frac{1}{G_g-1}\sum_{k\in\mathcal V_g\setminus\{i\}}R_k$$

这里不使用学习到的评论家，也不按同组奖励标准差归一化。一个回合内的所有选中响应共享该回合的优势，因此规划器的优化目标不是判断单个工具调用是否“更像教师”，而是让导致成功的多轮决策序列整体获得更高概率。

为了控制长回合成本，每个回合最多选择 16 个满足记录有效性、词元长度和后成功过滤规则的响应。若回合 $i$ 共选中 $K_i$ 条响应，则每条响应的回合内权重为 $u_s=1/K_{i(s)}$，策略目标写为：

$$\mathcal L_{\mathrm{RL}}=\frac{\sum_{s\in\mathcal B_{\mathrm{RL}}}\frac{u_s}{L_s}\sum_{j=1}^{L_s}w_{sj}\ell_{\mathrm{DC}}(\rho_{sj},A_{i(s)})}{\sum_{s\in\mathcal B_{\mathrm{RL}}}u_s}$$

其中 $L_s$ 是响应长度，$\rho_{sj}$ 是当前策略与采样策略在某词元上的概率比。这样先让每个回合总权重接近一，再在回合内部按词元归一化，避免长轨迹或长回答仅因词元更多而支配优化。

稳定的策略更新：截断重要性采样与双裁剪

分布式采样和训练后端可能产生数值差异，因此实现使用截断重要性采样权重。若采样概率为 $q_{sj}$、训练前向概率为 $b_{sj}$，权重为：

$$w_{sj}=\operatorname{sg}\left[\min\left(\frac{q_{sj}}{b_{sj}},C\right)\right]$$

$\operatorname{sg}$ 表示停止梯度，$C=2$ 是上限。该权重只校正采样端点与训练端点之间的概率偏差，不会让一次极端比率持续放大梯度。策略比率与双裁剪损失分别为：

$$\rho_{sj}=\frac{\pi_\theta(y_{s,j}\mid c_s,y_{s,\lt j})}{q_{sj}}$$

$$\ell_{\mathrm{DC}}(\rho,A)=\begin{cases}\min\{\ell_{\mathrm{PPO}},-dA\}, & A \lt 0,\\ \ell_{\mathrm{PPO}}, & A\geq 0.\end{cases}$$

其中 $\ell_{\mathrm{PPO}}$ 是常规近端策略优化替代目标，负优势时另加 $-dA$ 下界。主配置取负优势双裁剪系数 $d=3$，下界与上界裁剪参数分别为 $0.2$ 和 $0.28$。这组设置既节约负样本梯度，又允许成功正样本以稍宽的上界更新。源代码中的 `rl_loss.py` 实现了同一公式，`check_gate_a.py` 则负责提示词元逐项一致的门禁。

方法数据流

flowchart LR
  T["Qwen3.8-27B 成功教师轨迹"] --> C["RPent 去记忆依赖
CaP-X 直接重用"]
  C --> S["学生上下文与目标响应"]
  S --> F["监督微调
Qwen3.5-9B"]
  F --> P["规划器多轮采样"]
  P --> H["RPent 技能调用
或 CaP-X 控制代码"]
  H --> E["机器人环境"]
  P --> R["记录代理
上下文 词元 对数概率"]
  E --> O["成功奖励 任务失败 无效状态"]
  R --> M["按回合匹配"]
  O --> M
  M --> G["同任务同初始状态分组
留一法优势"]
  G --> U["截断重要性采样
双裁剪策略更新"]
  U --> P
  I["基础设施无效"] -. "排除优化" .-> O
      

图中的闭环刻意不穿过机器人控制器与视觉语言动作执行器。强化学习只改变下一次模型请求的概率分布；底层技能、感知与代码运行环境仍由原框架负责。这种分工让方法可以较快接入现有机器人系统，但也把最终能力上限与执行框架本身绑定在一起。

实验设置

主实验使用 RPent 执行框架和 LIBERO-PRO 基准。该基准在四个 LIBERO 任务套件上施加位置交换与任务指令扰动，每种扰动包含十个任务、每个任务十个初始状态，共得到 800 个评估回合。训练与评估状态严格分开：教师演示和强化学习 rollout 使用状态 11 至 44，状态 45 至 49 仅用于检查点和任务选择，评估使用状态 1 至 10。状态 0 只用于按原系统设置构造任务记忆。

学生模型为 Qwen3.5-9B，教师为 Qwen3.8-27B。学生在强化学习 rollout 与最终评估中均不访问外部记忆。为了检查分布外稳健性，作者还在 10,030 个 LIBERO-Plus 配置上评估原始、监督微调和强化学习检查点，且这些评估没有额外训练。

第二个框架 CaP-X 让规划器生成可执行控制代码。作者沿用其任务选择，在 Object、Goal、Spatial 三个套件的位置交换与任务扰动上共使用 60 个任务，并按照 CaP-X 强化学习实验设置保留特权状态。教师、基线、监督模型和强化学习模型使用相同执行接口，因而比较的是规划器差异，而不是控制接口差异。

RPent 强化学习前六轮共采集 2,304 个回合，选中 26,052 条响应，执行 206 次优化器更新。每回合最多 100 次规划交互或 7,200 秒；CaP-X 单个响应最多 32,768 个词元。采样温度为 1.0，RPent 评估还使用 top-p 0.95、top-k 20 和 1.5 的存在惩罚。这些数字来自正文附录与公开仓库配置，可用于核对训练规模。

主要结果：监督微调贡献主体增益，强化学习继续补齐

在 LIBERO-PRO 上，原始 9B 规划器成功率为 18.1%。监督微调把它提高到 65.1%，强化学习又提高到 71.0%。因而 52.9 个百分点的总增益中，主体来自成功教师轨迹监督，强化学习额外贡献 5.9 个百分点。该结果与常见“强化学习会从很弱起点直接探索成功”的叙事不同，更接近先在分布内学会框架用法，再用结果差异修正策略。

训练后的 9B 模型超过不带记忆的 27B 模型 57.9%，也接近带记忆的 27B 教师 74.0%，差距为 3.0 个百分点。它还与 Codex GPT-5.5 加外部记忆的 72.1% 处于同一水平。作者明确指出，带记忆系统比较的是完整系统能力，不能把这一差距直接解释为“学生已经学会同等记忆机制”。

在 800 个配对回合上，强化学习解决了 121 个监督模型失败而自己成功的回合，也在 74 个监督模型成功的回合中失败，精确符号检验 $p=0.001$。胜负数并不完全对称，说明增益不是由少量任务偶然波动造成；但 74 个回退也表明强化学习改变了策略覆盖范围，而不是在每次运行中单调提升。

LIBERO-Plus 的 10,030 个配置未见训练。原始模型、监督模型和强化模型的总体成功率依次为 19.2%、66.7% 和 72.2%。强化学习相对监督模型在七类扰动上全部提高，最小增益 2.2 个百分点来自物体布局，最大增益 7.0 个百分点来自光照。逐实例比较中，强化学习在 1,547 个实例上弥补监督失败，同时在 999 个实例上失去监督成功，净增 548 个成功实例。

跨执行框架验证：从技能调用到控制代码

CaP-X 的绝对成功率明显低于 RPent，原因是控制代码生成在 LIBERO-PRO 上本身更难，而且教师只在 60 个任务中的 26 个任务产生成功样本。尽管如此，监督微调仍把 9B 模型的成功率从 2.7% 提升到 18.7%，强化学习再提升到 28.5%，超过产生监督样本的 27B 教师 20.3%。

增益集中在两个 Object 套件，强化学习把 39.0% 至 49.0% 的成功率提高到 67.0% 至 72.0%。Goal 与 Spatial 仍然偏低，因为教师在这些任务上很少成功，监督样本不足；但强化学习不依赖新的教师标签，使用的 35 个训练任务中有 9 个没有教师数据。它还能改善这些任务，说明成功 rollout 的组内比较确实提供了教师监督之外的信息。

这组实验对“通用后训练管线”的证明比单一基准更有说服力。两类框架输出的动作表示、回合长度和过滤条件都不同，训练器却不需要改动核心策略目标，只需接入记录代理和五字段适配器。不过，60 个任务中有 25 个完全未参与训练，Goal 与 Spatial 的样本仍然稀少，因此跨任务泛化能力还不能由总体 28.5% 单独证明。

消融：重写教师响应比直接屏蔽更有效

RPent 教师使用外部记忆，学生没有该模块。最直接的做法是把依赖记忆的教师响应从监督集中屏蔽，只学习剩余响应。本文提出第二种做法：删除记忆上下文后，重写教师推理并筛选合格响应，同时保持工具参数不变。屏蔽策略得到 27,110 个目标轮次，重写筛选得到 40,047 个目标轮次。

训练一轮后，屏蔽策略把成功率从 18.1% 提升到 55.2%，重写筛选达到 64.6%。由于数据量不同，作者还比较相近更新步数：屏蔽策略在第 424 步达到 55.2%，重写筛选在第 438 步达到 60.2%。这说明后者不仅通过更多训练步数获益，在相近优化预算下也已有优势。

图 3：两种监督食谱在 LIBERO-PRO 上的学习曲线。摘要级曲线保留 18.1% 原始点、424 步 55.2%、438 步 60.2%、563 步选择点 65.1% 与一轮终点 64.6%。

更重要的是，作者明确承认这一比较并没有隔离“重写”本身的贡献。重写筛选同时增加了监督覆盖量，也改变了响应文字内容和可学习数据分布；屏蔽策略则保留较少但未改写的教师响应。因此 9.4 个百分点的终局差距不能全部归因于重写质量，若要拆开覆盖量与改写内容的影响，还需要匹配轮次数、匹配任务分布和相同步数下的额外控制实验。

公开代码透露出的实现边界

本次精读核对了公开仓库中的记录代理、回合构建、损失函数与 RPent 适配器。记录代理会把图像转换为内容哈希引用，避免在每个请求中重复保存大图，同时保存提示词元、输出词元、采样对数概率和工具定义。回合构建器会检查有效标志、记录完整性和策略版本，再按组计算优势。

适配器除了区分任务失败与基础设施失败，还会过滤成功之后的额外交互，避免一次已经完成任务的回合继续产生无关响应并污染训练目标。这种“后成功过滤”解释了为何训练样本是模型调用而不是完整聊天转录：同一回合中，只有真正参与通向结果的调用才具有可靠信用分配。

复现时最容易忽略的不是网络结构，而是上下文一致性。记录代理、聊天模板、图像引用、工具序列化和适配器必须共同保证训练前向看到的提示词元与采样时相同。仓库专门提供提示词门禁检查，说明作者把这一点视为算法正确性的必要条件，而不是可选的日志校验。

论文贡献与研究意义

第一项贡献是把编码智能体中已经较成熟的后训练范式明确迁移到机器人规划层，并将“只训练规划器”与“训练执行策略”区分开。第二项贡献是给出跨执行框架的模型调用级抽象，让技能调用与控制代码生成共享强化学习管线。第三项贡献是提供了两个基准、两种框架、监督与强化学习两阶段以及滚动数据规模较完整的实证结果。

从系统设计角度看，论文最有价值的部分是把机器人智能体的学习接口从动作空间上移到工具调用空间。这样既避免重新训练高成本视觉语言动作执行器，也能让规划器把执行失败转化为下一轮恢复策略。对于已有机器人框架的团队，这种改造路径比重新搭建端到端策略更接近可部署工程。

从研究角度看，结果也划出了新的比较基线。9B 开放模型经过规划器后训练可以达到 71.0%，接近带外部记忆的强闭源编码智能体。后续工作若只比较不同基础模型或只增加记忆模块，将需要解释为何没有利用机器人交互本身更新规划器。

局限分析

第一项明确局限来自监督消融。作者在正文中写明，重写筛选与屏蔽策略同时改变响应内容与监督覆盖量，所以该实验不能单独识别重写的贡献。若要把结论表述为“重写质量优于屏蔽”，还需要控制目标轮次、优化步数和任务覆盖的后续实验。这也是本文最需要谨慎引用的一组结论。

第二项限制是成功奖励过于稀疏。方法只把回合最终成败用作奖励，没有对接近成功、减少碰撞、正确调用工具或代码局部执行成功给予稠密反馈。对于需要几十步、偶然性较高或基础设施噪声较大的任务，同组六次尝试可能全部失败，优势为零，规划器无法从“差一点成功”的轨迹学习。

第三项限制是适配器仍需人工接入。所谓跨框架通用，只覆盖已经能够通过代理发送模型请求、报告五个回合字段并可分组采样的框架；新框架仍要开发适配器，并确保任务标识、初始状态、尝试编号和有效性定义一致。它降低了算法重复开发，却没有消除系统集成成本。

第四项限制来自评估环境。主结果集中在 LIBERO-PRO、LIBERO-Plus 和 CaP-X 的仿真操作任务，尚未展示真实机器人上的成功率、恢复失败次数或安全违规。现有数值足以支持“规划器后训练可改善基准表现”的结论，但不足以推断真实世界中长期运行、物体多样性和人机共处条件下的可靠性。

第五项限制是监督能力受教师成功分布影响。CaP-X 的 Goal 与 Spatial 任务之所以结果较低，是因为教师只解决了少数任务，SFT 数据覆盖有限。强化学习能超过教师的部分仍建立在成功 rollout 可被观察到的前提上；如果框架或任务对 9B 学生几乎从不产生成功，二值奖励与组内相对优势都无法提供足够信号。

第六项限制是当前公开资产与论文承诺并不完全一致。代码、项目页与训练检查点已经公开，但本次检索时没有取得论文所述的教师轨迹。没有完整教师数据会限制数据重写、筛选阈值和训练样本规模的独立复现，也使后续研究较难在相同监督集上扩展比较。

结论

AgenticRoboRL 说明，机器人智能体的能力提升不一定必须从底层策略开始。冻结感知、运动和视觉语言动作执行器，只在模型调用边界记录多轮交互，用成功轨迹初始化规划器，再用任务结果优化同一规划器，就能在技能调用和控制代码生成两类框架上获得实质增益。

最值得记住的不是单一 71.0% 数字，而是方法把“执行框架保持不变、学习接口统一到模型调用”这一系统边界说明白了。它同时暴露出稀疏奖励、教师覆盖和真实世界验证三个后续方向。下一步若能把更可靠的过程信号、跨任务成功探索与真实机器人长期评估结合起来，这类规划器后训练方法才可能从基准突破走向持续部署。

原文与复现入口

论文全文可从 arXiv 2610.28589 获取。官方实现位于 L-CodingSpace/AgenticRoboRL，项目页提供结果摘要与媒体材料，公开检查点位于 Hugging Face 的 AgenticRoboRL-Qwen3.5-9B 仓库。