OpenRUA：统一 Harness 让开放模型用机器人

让机器人使用智能体走向开放模型

来源：Democratizing Robot-Use Agents: A Unified Harness with Open Models，OpenRUA Team，2026 年 11 月 3 日。

机器人操作正在出现一条不同于端到端视觉语言动作模型的技术路线：不重新训练一个专用机器人策略，而是让具备通用推理能力的模型读取任务、调用工具、观察执行结果，再决定下一步动作。这类系统通常被称为机器人使用智能体，也就是 robot-use agent。它借用前沿模型的规划、分解和失败恢复能力，把语言与视觉理解转化为真实世界中的连续操作。

问题在于，目前效果最好的模型大多来自闭源 API。研究者拿不到权重，无法直接通过机器人经验继续训练；大规模交互还要承担接口成本，模型缓存和推理优化也受供应商限制。开放权重模型提供了另一条路，却经常在空间理解和长程智能体行为上落后。项目团队认为，在把失败归结为模型能力之前，先要回答一个更基础的问题：如果一个统一、可靠、不过度依赖特权信息的 harness 足够有效，开放模型今天究竟能把机器人用得多好？

OpenRUA 的 uni-robot-agent 就是围绕这个问题构建的统一 harness。它把模型、机器人、任务和仿真环境放进同一套工具接口，并保留观测、调用与反馈之间的对应关系，为后续跨环境训练积累经验。论文的核心结论很直接：结构化的信息、可靠的工具和能说明执行结果的反馈，可以显著提升通用模型对机器人的使用能力。在 RoboDojo 仿真评测中，Qwen3.8-Flash-Next 使用这套 harness 达到 31.39 分和 25.00% 成功率，超过论文引用的 Astra–RoboProbe 28.97 分；在 19 项真实双臂桌面任务上，Qwen 零样本达到 53.50 分，Astra 达到 80.50 分。

这些结果说明开放模型可以被组织成有效的机器人操作智能体，但它们还不是“通用机器人已经解决”的证据。真实机器人评测范围是桌面双臂操作，OpenRUA 在这一组中额外使用 D405 深度，两个对比模型只使用 RGB。更关键的是，README 明确说明公开版本目前只提供仿真集成，ARX One 和 Franka 的真机连接流程仍标记为即将推出。因此，论文完成了真机实验，但读者暂时不能按公开安装说明直接复现真实机器人部署。

先看结果：同一模型，harness 决定可用性

这篇工作最值得注意的地方，不是某个单独分数，而是同一模型更换 harness 后出现的巨大差异。项目页给出的对照显示，Qwen3.8-Flash-Next 从 RoboProbe 的 1.90 分提升到 uni-robot-agent 的 31.39 分，增加 29.49 分，而且主设置没有使用深度。随后接入 Astra 时，RoboDojo 分数又提高到 51.90。模型能力当然仍然重要，但接口能否给出可执行动作、稳定证据和足够准确的上下文，本身就是系统能力的一部分。

RoboDojo 配置	Score	成功率	说明
Qwen3.8-Flash-Next + GAP（Hybrid）	21.01	16.11%	Qwen 基线中最强的默认配置，GAP 集成 π₀.₅。
Qwen3.8-Flash-Next + uni-robot-agent	31.39	25.00%	主设置：RGB、标定、本体感觉和机器人描述，不使用深度。
DeepSeek-V4.1-Flash + uni-robot-agent	27.11	21.39%	用于验证结果不只出现在一个开放权重模型家族。
GPT-6 Astra + uni-robot-agent	51.90	46.67%	相同 252 个 episode 的主实验结果。
Astra–RoboProbe	28.97	未在同一主表中给出	论文引用的已发布结果，保留其原有评测协议。

表中最需要谨慎阅读的是最后一行。Astra–RoboProbe 是另一个 harness 下的已发布参考，不是本项目重新训练或重跑得到的同条件对照。各基线保留各自协议，因此不同行适合描述能力轮廓，不能直接当作严格控制变量后的因果比较。即便如此，Qwen 在同一模型上的大幅变化仍说明：只讨论“模型够不够强”会漏掉一半问题。

五层架构：模型与机器人之间的可替换边界

uni-robot-agent 把一次工具调用拆成五层。最上方是智能体层，负责模型交互、消息历史和上下文管理；编排层负责调度请求、执行并发控制和工具分发；共享工具层提供运动、感知、技能和 episode 操作；服务层管理仿真器、相机、动作模型等运行时资源；最下方是具体后端，包括 RoboDojo、其他仿真器、机器人适配器和模型实现。

这五层不是简单的软件分层。它们决定了研究者在做新实验时究竟要改什么。更换模型不会强迫重写机器人控制；新增一个环境只需要实现后端的原生接口，再由适配器把统一动作翻译过去；替换工具或加入动作模型时，智能体层的交互记录仍能保持相近格式。对一个准备做跨环境训练的系统来说，这种边界比单个 benchmark 分数更有长期价值。

统一接口既要表达动作，也要表达反馈

共享工具不是把所有机器人压成一种硬件，而是规定一组共同的操作语义。环境描述会告诉智能体有哪些机械臂、相机和可选能力；运动工具接收目标位姿、坐标单位和可选夹爪开度；感知工具返回图像、标定结果或测量值；episode 工具负责保存轨迹和判断任务何时结束。底层适配器再把这些请求转换为机器人或仿真器的原生命令。

统一接口的价值在于，同一个任务可以跨不同机械臂配置和目标对象表达。例如“把红色积木放到蓝色积木上”可以被分解为定位两个物体、抓取并对齐、释放和检查；“双臂交接物体”可以被拆成呈现物体、稳定第二抓取、转移和释放。执行这些步骤的工具名、参数单位与结果结构保持一致，模型不必为每个环境重新学习一套完全不同的协议。

这一点也连接到了智能体训练。AgentGym 等工作把多环境轨迹整理成共同交互格式，再用筛选后的示范做监督微调；Agent Lightning 则把调用记录和执行环境分开，为后续策略优化提取输入、输出和奖励。uni-robot-agent 当前的主要贡献还不是训练算法，而是先把“观测、工具调用和反馈”绑定为一致记录，并让不同环境产生可以合并的经验。数据选择、学习目标和奖励设计仍是开放问题，论文也明确把训练留作后续工作。

推理与执行可以形成两级流水线

机器人系统常见的时间浪费，是智能体提交一个动作后只能等待机器人完成。uni-robot-agent 把工具调用分成两类。立即调用会等待结果；后台调用在启动任务后立刻返回 job handle，模型可以继续处理不需要该结果的工作，之后再凭句柄读取完成状态。只控制同一条机械臂的调用仍按提交顺序排队，避免两个动作同时争抢同一资源；读取已有快照之类的独立操作则可以与运动重叠。

如果新反馈改变了计划，智能体可以调用 flush_queue，取消指定资源上尚未开始的动作，只保留正在执行的步骤，然后提交修正后的目标。这形成了推理与执行之间的流水线。论文在一组选定任务中观察到，流水线运行缩短了 4.8% 到 73.7% 的时间；但每个配置只有一个 episode，而且 API 延迟、资源竞争和动作序列变化都会影响总时长，所以不能把全部缩短都归因于调度机制。

不使用特权输入，系统还能走多远

机器人评测很容易让智能体“作弊”：直接给它仿真器中的物体三维坐标、场景标注、任务验证器反馈或互联网搜索能力，成功率自然会高，但真实机器人无法获得同样的信息。uni-robot-agent 的主要设置只允许 RGB 图像、相机标定、机器人本体感觉、机器人描述和任务指令。深度图、物体 CAD、隐藏场景注释、验证器结果和外部网页访问都被排除。

这也约束了工具本身。定位工具不能偷偷读取标准答案，必须从允许的观测中计算坐标。例如智能体可以移动相机，在两幅图像中找到对应点，再用标定参数做多视图三角化。机器人位姿和执行结果可以返回，但任务验证器的成功判断只能用于评测，不能进入智能体上下文。

研究团队还人工检查了模型是否访问禁止信息，并补充了少量任务规则。RoboDojo 中有些指令会遗漏或模糊描述要求，例如每个红灯需要按几次，以及搭塔时积木和底板的具体排列。补充文本只说明任务规则，不提供评分细则或验证器逻辑。这种处理提醒我们，所谓“零样本”不等于智能体可以凭空猜出 benchmark 的隐含约定；任务规范本身必须清楚，否则评测的是谜语阅读能力。

六个设计选择让下一步动作不离开物理状态

真实操作中常见三类证据问题：图像已经过期、动作状态不确定、成功结果缺少可见证据。harness 用六个机制把这些风险压低。

1. 不可变快照。图像、标定和机器人状态被绑定到同一个快照。机器人移动后，如果智能体把旧图像的像素和新的相机位姿混在一起，定位坐标就会系统性地偏移。
2. 请求身份与去重。网络超时或回复丢失不代表动作没有执行。每次请求都有身份，执行记录可以拒绝重复提交；完成状态不确定时，系统会阻塞后续动作并恢复记录，无法确认的请求保持明确的“不确定”状态。
3. 运动与夹爪联合控制。如果移动和夹爪命令完全分开，机械臂运行中不能调整开口。统一运动工具允许目标位姿和可选夹爪开度一起提交，让两者协同执行。
4. 按测量位姿迭代运动。固定步数可能过早停止，也可能在不可达目标上持续浪费动作。工具根据实测位姿生成中间目标，每一步检查是否到达、卡住或超过执行上限。
5. 解释结果而不是只返回成功。到达指定位姿不代表抓住物体。位姿误差、停止原因和动作后图像共同说明发生了什么，智能体据此微调动作或更换策略。
6. 上下文压缩。旧图像会被批量替换为文本占位符，保留最近视图和稳定的提示前缀，方便复用缓存。空间仍不够时，系统删除较早的完整交互，但保持调用与结果成对，并保护关键指令和尚未完成的调用。

这些机制看似工程细节，却直接决定智能体能不能从环境中恢复。一个模型可能在第一次抓取失败后仍有机会修正，但如果系统丢掉动作结果、允许重复执行，或让旧图像继续参与定位，失败就会被放大成不可诊断的状态错误。

RoboDojo：开放模型的能力轮廓

仿真评测使用 RoboDojo 的 42 个任务，覆盖泛化、精度、长程执行、记忆和开放词汇指令跟随五个维度。主配置对每个任务使用三个随机种子，每个种子两种布局，共 252 个 episode。Score 会为部分完成的目标给分，成功率只统计完整完成的 episode。每个 episode 最长运行三小时，因为四小时运行中的总体成绩大多在第三小时附近进入平台期。

Qwen3.8-Flash-Next 与 uni-robot-agent 组合得到 31.39 分和 25.00% 成功率，明显高于同一模型使用 GAP Hybrid 的 21.01 分和 16.11%。DeepSeek-V4.1-Flash 达到 27.11 分和 21.39%，说明结果并非只存在于 Qwen 的一个模型版本。Astra 则达到 51.90 分和 46.67%，在前沿闭源模型上验证了同一 harness 的上限。

不同模型的能力形状并不相同。Qwen 和 DeepSeek 在记忆和开放词汇任务上相对较好，在精度和长程执行上较弱。小米机器人一号与 OpenWAM-α 在长程任务上分别达到 38.39 和 34.93，却在记忆任务上只有 7.81 和 10.41。当前基础模型还没有在五个维度上同时均衡，精确操作与长时规划仍是主要短板。

少样本会改变排名，评测方差需要正面报告

论文另做了一个启用深度的 Qwen 采样分析：54 个任务变体，每个 50 次 rollout，共 2700 个 episode。完整池的 Score 为 34.59。若每个变体随机抽取 6 次，重复抽样得到的 Score 均值为 34.59，中心 95% 范围为 30.65 到 38.51；如果直接取按通过状态和布局编号排序的前 6 次，则得到 36.55，比完整池高 1.96 分。

这个检查不是说主结果 31.39 的置信区间为 30.65 到 38.51。两者使用不同的数据池和设置。它真正说明的是，单个小样本子集可能在平均值上碰巧接近总体，也可能因为样本顺序呈现出明显偏差。机器人 agent 的计算成本很高，很多论文不得不用较少 episode；因此同时公开样本量、采样规则和方差，比只报一个最好看的成功率更可信。

真实机器人：19 项任务上的零样本操作

真实评测在物理双臂桌面平台上进行，共 19 个评测条目。五个维度各占 20 分，分别是空间理解、物体泛化、指令跟随、组合泛化和未见任务。任务评分会奖励已完成目标，也会在规则允许时给抓取、插入等中间进度部分分。

OpenRUA 用 Astra 和 Qwen 直接零样本驱动 harness，没有在这些真实任务上做任务专用训练。对比对象包括在同一平台上用示范数据微调的 π₀.₅，以及通过公开 API 零样本运行的 Dream-1。这里必须保留一个关键口径：OpenRUA 的两个智能体使用 Intel RealSense D405 相机深度，π₀.₅ 和 Dream-1 只使用 RGB。因此结果证明系统在真实场景中有效，却不是完全同输入条件下的模型排名。

真实机器人配置	总分（100）	任务特训	输入口径
GPT-6 Astra + uni-robot-agent	80.50	零样本	RGB、深度、标定、本体感觉与机器人描述
Qwen3.8-Flash-Next + uni-robot-agent	53.50	零样本	RGB、深度、标定、本体感觉与机器人描述
π₀.₅	47.75	每项任务使用 10 小时机器人数据微调	RGB
Dream-1	43.50	零样本	RGB

Astra 在组合泛化维度拿到 20/20，但两个 OpenRUA 智能体在未见任务维度都只有 8/20。这说明通用模型能把已知技能重新组合到新桌面目标上，却仍难以处理真正超出分布的任务结构。真实评测的样本覆盖也比仿真小，不能据此推断开放家庭、移动操作或长时工业流程中的可靠性。

能力瓶颈：四个环节反复出错

论文检查了 13 个模型的轨迹，把失败归为四类。它们不是替代 benchmark 分数的单一指标，而是帮助定位未来训练应该改善什么。

视觉理解

早期 Flash 和 Plus 模型会认错物体或动作结果，例如把零读成九，或者把倒扣的杯子判为正面朝上。人工审查中，这类错误出现在 12.2% 到 23.8% 的轨迹里。Qwen3.8-27B 降到 3.2%，Qwen3.8-Flash 和 GPT-5.6 Sol 在已审查轨迹中没有出现此类错误。视觉识别是操作循环的入口，一旦物体状态读错，后面的几何计算再精确也会指向错误目标。

跨视角空间 grounding

智能体需要从不同视角找到同一个物体点，再进行三角化。如果图像点不一致，重投影误差会变大，工具只能拒绝结果。即使在比较中表现最好的 GPT-6.1 Sol，也有 31.5% 的三角化调用无法通过检查。屏幕上的二维点击定位与真实三维空间中的点对应并不是同一种能力，这也是通用 grounding benchmark 不能完全预测机器人表现的原因。

几何代码

机器人位姿计算涉及坐标系方向、旋转矩阵、四元数约定和单位转换。早期 Flash 与 Plus 模型会反转变换或混用四元数约定，确认错误影响其执行计算的 47.3% 到 81.8%。到 Qwen3.8-Flash、DeepSeek、GPT-5.6 Sol 和 GPT-6.1 Sol，错误率分别降到 8.2%、1.5%、0.7% 和已观察样本中的零。模型能写出语法正确的代码，并不等于代码符合机器人几何约定。

具身推理

计算出一个可达位姿，也不代表这个位姿适合抓取。论文重点审查拾取放置任务，并让 GPT-6 Astra 判断提议的抓取是否物理合理。GLM 在 26.2% 的已审查任务中没有修正不合适的抓取，反复保持错误的腕部方向。较新的 Qwen 和 GPT 模型错误更少，但 Astra 在更复杂的双臂协调中仍会失败。这里的“具身推理”不是抽象常识，而是把物体形状、夹爪结构、接触方式和后续运动一起纳入决策。

这些失败与通用能力也有相关性。在六个模型、42 个 RoboDojo 任务的分析中，ERQA 与机器人使用分数的 Pearson 相关系数为 0.97，MMMU-Pro 为 0.93，ScreenSpot-Pro 为 0.69，LiveCodeBench v6 为 0.75。相关性并不证明任何一个 benchmark 导致机器人能力，但方向很清楚：具身推理、多模态理解、空间定位和代码表达都会参与同一个操作循环。

深度与标定究竟带来多少帮助

论文在主设置之外单独比较三种输入：RGB 加深度和标定、RGB 加标定、只有 RGB。所有条件都保留机器人本体感觉。有深度时，智能体可以直接把像素转换为三维位置；只有标定时，可以移动相机并三角化，但必须自己找到跨视角对应点；两者都没有时，只能从图像推断空间关系，再依靠动作反馈逐步修正。

这一组消融不是主表的直接复现。Qwen 在三个随机种子和两种布局下使用 252 个 episode，Astra 因评测成本只使用一个种子和一种布局，共 42 个 episode。因此表中的 55.83 是 Astra 的深度消融设置，不等于它在 252 episode 主实验中的 51.90。

模型与输入	Qwen Score（252 episodes）	Astra Score（42 episodes）
RGB + 深度 + 标定	35.89	55.83
RGB + 标定，无深度	31.39	55.04
只有 RGB	9.13	31.29

去掉深度后，Astra 保留 98.6% 的分数，Qwen 保留 87.5%。这说明 Astra 更擅长从移动相机和多视图图像中恢复空间信息。再把标定也去掉后，两者分别下降到 31.29 和 9.13。Astra 在纯 RGB 条件下完成 42 项中的 10 项，覆盖范围仍比 Qwen 更广。

论文附录还分析了两个没有深度、没有预定义技能却成功完成的 Qwen episode。在一个案例中，模型自己编写几何代码，通过多个视角三角化试管位置；另一个案例用图像证据测试候选桌面高度。这样的行为说明，标定与代码工具可以把 RGB 定位重新建立起来，但代价是更多推理步骤和更高失败风险。

技能库有用，但不是主要来源

为了确认结果是否依赖手工编写的任务流程，团队移除了 Qwen 对机器人技能库和技能编写工具的访问，只保留任务指令、环境描述和标准工具。没有技能库时，Qwen 得到 30.31 分和 24.58% 成功率；有技能库时是 31.39 分和 25.00%。分数保留 96.6%，成功率只差 0.42 个百分点。

这并不表示技能没有价值，而是说明预定义技能不是这套 harness 成立的先决条件。对于语言模型智能体，明确的文字规则可以传递一部分通常靠示范表达的要求；但示范仍然更适合传递难以写清的接触细节。设计 benchmark 时，需要区分“智能体会推理并执行”与“测试给了它一条接近答案的任务专用脚本”。

成本、token 与时间不是同一个效率指标

一个适合收集机器人经验的 harness，必须让重复交互在经济上可行。论文用同样的 252 episode 主实验队列统计 token、API 参考价格和实际耗时，发现三种资源的排序并不一致。

模型	RoboDojo Score	平均 token / episode	参考 API 成本 / episode	首次达到 25 分的时间
GPT-6 Astra	51.90	16.78M	$21.29	约 42.6 分钟
Qwen3.8-Flash-Next	31.39	37.67M	$1.09	约 95.5 分钟
DeepSeek-V4.1-Flash	27.11	48.76M	$0.94	约 99.2 分钟

Astra 用更少 token 得到更高分，但 API 成本远高于开放模型。Qwen 比 DeepSeek token 更省，分数更高，价格只略高。若看首次达到 25 分所需的累计 token，Astra、Qwen 和 DeepSeek 分别约为 740 万、2350 万和 4990 万；换成时间则分别是 42.6、95.5 和 99.2 分钟。Qwen 相对 DeepSeek 的 token 优势没有转化为接近比例的时间优势，因为工具执行、API 延迟和机器人动作本身仍占很大比重。

这组数字也解释了为什么开放权重模型重要。这里的成本使用公开 API 参考价，不代表本地部署真实总成本；本地自托管还要算 GPU、运维和闲置时间。但至少从交互规模看，每次 episode 约 1 美元与超过 20 美元之间，会直接决定研究者能不能收集数千条经验、做多轮消融，或把失败轨迹保留下来用于训练。

公开版本现在能做什么

项目以 MIT 许可证发布，PyPI 包名为 uni-robot-agent，提供 Codex 和 Claude Code 两种智能体运行时。基础使用方式是 Python 3.11 环境加 Linux GPU 主机，安装后运行 uni-robot-agent setup --integration robodojo，再通过兼容 Responses 接口的模型端点和 API Key 启动任务。命令行工具支持直接控制与混合动作模型，本地 dashboard 可以查看相机流、工具调用、执行时序和任务结果；保存后的 episode 也能回放。

仿真集成目前包括 RoboDojo、RoboUse 和 RoboLab。RoboUse 连接 LIBERO、RoboCasa、MetaWorld、RoboSuite、ManiSkill、Tabletop、Fetch、Kitchen 等环境中的选定任务；RoboLab 则在单独准备的 Isaac Sim 与 Isaac Lab 运行时中处理单 DROID 任务。Python SDK 可以直接对已经运行的环境发起会话，并用 Session.tools 编写自定义策略。对想研究工具调用、上下文反馈和跨环境轨迹格式的团队来说，公开仿真部分已经足够做大量实验。

真实机器人则处在另一阶段。论文中的真机结果来自 ARX One 平台，但 README 明确写着 ARX One 与 Franka 都“coming soon”，当前公开包不包含受支持的实体机器人连接流程。不能把论文的真机评测等同于用户现在可以安装即用。真机部署还涉及安全限位、实时控制、相机外参、夹爪标定、急停和故障恢复，这些都不是某个 benchmark 分数能够替代的。

这项工作真正改变了什么

第一，它把“模型能力”和“harness 能力”拆开讨论。对机器人智能体来说，模型输出只是循环中的一步；观测是否一致、动作是否幂等、执行结果是否可解释、上下文是否保留了正确证据，都会改变最终成功率。uni-robot-agent 用统一工具和反馈格式把这些工程条件变成可以比较、可以替换的系统组件。

第二，它给出了开放权重模型在机器人使用任务上的现实基线。Qwen3.8-Flash-Next 在无深度、无验证器反馈的主设置下达到 31.39 分，真实机器人零样本达到 53.50 分。这个结果还不能与专用 VLA 的广泛部署能力画等号，但足以说明开放模型不是只能做演示级玩具，它们已经能通过合适接口完成多步桌面操作。

第三，它把下一轮训练目标指向四个具体能力：看懂场景、跨视角定位、正确计算几何、选择物理上合理的交互。相比笼统增加机器人数据，这些目标更容易转化为任务设计、奖励信号和评测维度。统一交互记录则为将来把这些失败和修正拿来做监督或强化学习提供了基础。

同时，结论必须保留边界。RoboDojo 是受控仿真，真实评测是 19 项桌面双臂任务；OpenRUA 在真机对比中使用深度，而基线使用 RGB；部分基线保留各自发布协议；流水线加速只有五个单 episode 配置。论文展示的是一条有希望的研究路线和一套可用基础设施，不是已经完成的通用机器人系统。

结论

uni-robot-agent 的核心贡献不是把某个模型包装成机器人产品，而是证明通用模型要进入物理世界，需要一个能维持状态、协调动作、返回证据并允许替换组件的 harness。Astra 在仿真和真机上都取得高分，Qwen 则展示了开放权重模型在低成本条件下的可用性。深度消融、技能消融和采样分析进一步说明，系统性能来自模型、信息、工具与反馈的共同作用。

下一步最有价值的工作，是把跨环境交互记录真正用于训练开放模型，并让真机连接、精细操作和长程恢复达到与仿真研究同等的可复现程度。当前公开包已经为仿真研究和智能体基础设施提供了起点；对需要实体机器人的读者，最重要的等待项不是再高一个 benchmark 分数，而是受支持、可验证、带安全边界的真机接入流程。

资料与代码

• 原文：Democratizing Robot-Use Agents: A Unified Harness with Open Models
• 论文：arXiv:2611.01560
• 项目主页：uni-robot-agent.com
• 代码与文档：Open-RUA/uni-robot-agent