RobotWorld：跨形态机器人使用基准

论文信息：《RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments》，作者为 Zhiqin Yang、Chenxin Li、Xiaomeng Hu、Yibin Liu、Weidong Huang 等共 33 人。论文链接：arXiv:2610.10409。官方代码仓库：robotworldai/robotworld。本次核查的仓库提交为 9e39068f49b5486fa39993982da2591a27a85f78。

一句话总结：RobotWorld 用 84 项跨五类机器人形态的可执行任务评测多模态智能体，发现局部感知与控制能力已经存在，但它们仍很难稳定组合成完整任务。

这篇论文真正测量的不是“模型会不会谈机器人”，而是它能否在有限交互预算内，持续保留目标状态、修正无效动作，并把动作推进到检查器认可的真实结果。

1. 研究背景：数字智能体为何不能直接等同于机器人使用者

通用智能体已经能够写程序、操作浏览器、调用工具，并在多步数字任务中根据反馈修正计划。这些能力容易让人产生一个自然推断：只要再提供一个机器人接口，同一个模型就应当可以把视觉观察和语言目标转化为物理动作。RobotWorld 的出发点正是检验这个推断。它把“机器人使用”定义为一组完整能力：理解指令和接口、读取当前观察、进行必要的离线计算、发出有界动作、解释执行反馈，并判断任务是否真的完成。

现有具身评测往往集中在固定机械臂、单一场景或短程抓取。这样的设置能够比较策略，却不容易回答跨形态问题：同一个模型在桌面插入、移动操作、四足恢复、车辆驾驶和无人机稳定中，是否会出现一致的强弱分布？此外，传统策略评测通常以动作序列或奖励为中心，而通用智能体更常以工具调用、代码分析和自然语言推理工作。若评测只看平均奖励，会掩盖“模型生成了合理子程序，但最后没有改变物体状态”这类机器人使用失败。

论文因而把任务结果与执行轨迹放在一起分析。任务结果告诉我们是否完成，轨迹揭示完成或失败是怎样发生的：模型是否在错误位姿后重新配置机械臂，是否把瓶子碰倒后仍继续追逐错误的抓取目标，是否把局部稳定误判为持续稳定，是否在辅助分析中耗尽预算却从未发出机器人动作。这种“结果加过程”的证据链比单个成功视频更有解释力，也比单纯排行榜更能指出下一代智能体需要补上的能力。

RobotWorld 收集了 84 项任务，来自 20 个源项目，覆盖操作、移动操作、移动控制、驾驶和空中控制。任务并非按源仿真器简单计数，而是被统一到明确的观察、动作、控制器辅助、预算和检查器契约中。直接机器人动作是主要接口，环境侧代码控制在论文评测中关闭；智能体仍可使用隔离工作区进行图像检查、几何估计、数值计算和控制程序编写。这样的设计既保留了通用智能体使用工具的优势，又避免模型通过直接调用仿真内部代码绕过机器人接口。

论文的核心问题可以拆成三层。第一层是结果层：在相同预算与检查标准下，各模型完成了多少任务。第二层是机制层：成功和失败分别依赖哪些反馈、计算与状态保持行为。第三层是设计层：这些观察对训练、评测协议和智能体系统提供什么可执行方向。RobotWorld 的贡献不只是一个更难的榜单，而是试图把“能力看起来存在”与“能力能够在物理任务中可靠使用”区分开。

2. 预备知识：什么构成一项机器人使用任务

本文将任务视为契约，而不是一句自然语言指令。任务包含环境、初始化分布、目标、观察接口、动作接口、控制器辅助、交互预算和检查器。形式化地，第 $i$ 项任务写为：

$$\mathcal{T}_{i}=(\mathcal{E}_{i},\rho_{i},g_{i},O_{i},A_{i},C_{i},B_{i},V_{i})$$

其中，$\mathcal{E}_{i}$ 是仿真环境，$\rho_{i}$ 规定初始条件，$g_{i}$ 是目标，$O_{i}$、$A_{i}$ 和 $C_{i}$ 分别定义可观察信息、可执行动作与原生控制器辅助。$B_{i}$ 约束交互，$V_{i}$ 是对执行轨迹进行判断的检查器。这个定义的重要性在于：两个界面都返回“动作成功”，并不代表控制难度相同。机械臂可能由轨迹规划器辅助，车辆可能保留原生转向控制器，四足机器人可能依赖平衡策略；这些都属于任务契约的一部分。

在第 $k$ 个交互轮次，智能体根据目标、接口文档 $D_{i}$ 和允许保留的历史 $h_{k}$ 产生响应：

$$z_{k}\sim\pi_{\theta}(\cdot\mid g_{i},D_{i},h_{k})$$

这里的响应既可能是机器人执行请求，也可能是工作区中的代码、图像读取或文本判断。模型中唯一没有变化的是参数 $\theta$：评测期间不更新权重，改变的是对话历史、工作区文件以及环境返回的新观察。设第 $k$ 次请求实际执行了 $d_{k}$ 个原生控制步，累计控制步为：

$$n_{k+1}=n_{k}+d_{k}$$

文本推理、图像检查和离线计算令 $d_{k}=0$。一个控制步可能包含多个物理子步，因此控制步、请求次数和真实耗时不是同一个量。论文同时记录这三类资源，并把连续无动作轮次纳入独立预算，避免智能体无限分析而不接触机器人。这个看似朴素的会计规则很关键：否则“分析很多、动作很少”的失败会被错误地解释为物理执行困难。

成功也不是智能体自报完成。任务检查器只读取与目标相关的仿真状态和事件，并允许不同动作策略在满足同一物理关系时成功。位置、朝向、关节开度、接触、释放、速度、路径历史、事件顺序与持续时间都可能参与判断。模型可以查看自己的接口反馈，但不能读取检查器私有状态或参考解。

3. 方法：统一协议没有抹平机器人差异

RobotWorld 的第一项设计是统一交互外壳。模型看到任务说明、接口文档、相机图像、允许的机器人状态和执行反馈，然后通过机器人工具发出有界命令。命令执行后，系统返回新的观察、实际完成步数和错误信息。分析工具运行在隔离工作区中，可以处理提供的图像和文件，但不能读取仿真内部状态，也不能推进物理时间。推理与离线分析期间物理暂停，机器人执行期间物理继续。

图 1：论文 Figure 3 的系统框架。任务契约连接观察、分析工作区、机器人工具和独立评估器；直接动作按有界段执行，环境侧代码控制默认关闭。

第二项设计是直接动作与可选代码控制的区分。直接动作始终可用，模型每次请求一个带步数上限的目标或动作值；可选代码控制则在启用后允许生成程序在每次控制步读取新状态并更新动作，但程序和模型都不获得检查器内部信息。论文的五模型评测关闭了环境侧代码控制，因此主要考察模型对直接机器人请求的组织能力。工作区代码分析仍然存在，这一设置把“离线计算”和“闭环内自动控制”明确拆开。

第三项设计是任务特定的观察与辅助控制。所有任务共享协议，但不共享等价动作空间。固定机械臂可能有绝对笛卡尔目标、夹爪状态和逆运动学工具；移动操作机器人可能使用归一化底座与机械臂增量；车辆接口包含速度和转向；无人机需要推力、姿态或旋翼级命令。有些环境提供运动规划器，有些依赖低层伺服，有些保留学到的平衡策略。论文明确把这些差异写进控制契约，而不是用一个“机器人工具”名称掩盖。

图 2：论文 Figure 4 的交互循环。物理执行与任务评估走独立路径；机器人反馈推动下一轮决策，评估器根据状态和事件决定成功。

这个循环与普通 VLA 策略的差别在于，模型不是直接从图像回归动作，而是作为一个有工具、有记忆、有长时程规划的执行主体工作。它可以写图像分割程序、拟合相机投影、计算关节变换、建立简化动力学控制器，再把结果转化为机器人命令。RobotWorld 因此测试的是一种“代理式机器人使用”能力：局部算法由通用模型自行组织，外部环境只保证接口和结果判断。

第四项设计是显式预算。每项任务都有控制步上限，同时有不动作事件约束。在 83 项任务中，连续非动作事件上限是 15，总非动作事件上限随任务为 30、60 或 120；排球一对一采用 20 和 150。已经完成的机器人执行会重置连续计数，API 重试不消耗该预算。这样既允许必要的观察和计算，又不让大量空转请求无限延续。

第五项设计是独立、可执行的成功检查。论文把完成证据分成几何、物体状态、接触与运动、持续性、事件顺序以及路径安全等类别。例如，放置杯子不能只看机械臂到达目标附近，还要看杯子是否由桌面支撑、夹爪是否释放；持续悬停不是某一帧误差足够小，而是多个边界连续共同满足一段时间；反向停车必须同时满足进入历史、最终位姿和边界约束。由此，一条看似漂亮的最终画面并不能替代轨迹证据。

统一协议的价值在于可比较，边界也必须诚实说明。由于控制器辅助、观察通道和动作语义不同，RobotWorld 不能把跨域分数解释为同一低层控制能力的纯粹测量。它比较的是模型与各自任务契约组合后的机器人使用表现。论文反复强调这一点，并在讨论中把控制器协助差异列为作者自述局限。

下图概括了论文特有的评测路径：智能体在观察、计算和动作之间循环，检查器在旁路读取物理状态与事件；当预算到达、任务终止或成功条件满足时，记录最终结果和资源使用。

flowchart TB
  A["任务契约
环境 初始条件 目标"] --> B["观察与接口文档"]
  B --> C["多模态智能体"]
  C -->|分析请求| D["隔离工作区
图像 标定 数值计算"]
  C -->|机器人请求| E["有界直接动作"]
  D --> C
  E --> F["原生控制器与物理推进"]
  F --> G["新观察
完成步数 错误反馈"]
  G --> C
  F --> H["独立状态事件检查器"]
  H --> I["成功 失败 预算裁决"]
  I --> J["结果与完整轨迹记录"]
  

4. 基准构成：84 项任务覆盖什么，又没有覆盖什么

84 项任务中，固定基座操作有 38 项，移动操作 20 项，移动控制 11 项，驾驶 11 项，空中控制 4 项。操作与移动操作合计占 69.0%，所以总体成功率天然更受操作类任务影响。论文没有把这一比例隐藏起来，而是在解释总榜时要求同时查看分域结果。这个细节很重要：一个模型若在操作上多解几题，总分会显著变化；在空中控制上解三题，则可能在仅四题的小集合中达到 75%，却只给总体增加三点六项左右。

图 3：生产文件 fig5 对应论文 Figure 6。内圈是五个主域，外圈是主要任务类型；每项任务只计数一次，比例以全部 84 项为分母。

任务来源保留了源仿真器的物理、资产和原生语义，但论文重新整理了指令、初始化、动作接口、预算和成功条件。只有当目标或物理约束发生变化时，变体才被当作独立任务；单纯接口别名或动作模式不增加计数。任务选择覆盖空间目标、受限接触、多子目标、平衡跟踪和带时间约束的交互。这五个需求标签彼此重叠，一项任务可以同时是空间、接触和多阶段任务。

操作任务包括插入、放置、倾倒、多阶段整理和动态物体交互。移动操作包含 RoboCasa 与 BEHAVIOR-1K 的室内流程，机器人同时拥有移动底座和机械臂，但成功并不要求底座在每个任务中都移动。例如，抽屉关闭主要由机械臂完成，却仍归入移动操作，因为任务暴露的是移动平台与手臂组合接口。移动控制则包含足式运动、全身恢复、托盘携带和球类互动。驾驶域强调路线、漂移、移动闸门和停车；空中域只有四项，重点是载荷稳定、倒立摆跟踪和重复球接触。

图 4：论文 Figure 2 的基准总览。不同场景共享智能体交互协议，但仍由各自仿真环境执行物理任务；轨迹分析用于识别能力、失败机制与模型差异。

覆盖并不均匀。操作任务占主导，多个任务来自同一源项目，某些机器人类型只有少量代表任务。论文将有限且不均的覆盖列为局限，同时说明任务来源组不等于不同机器人形态数量。因此，结果适合描述“这个评测套件上的机器人使用”，不能直接外推为真实世界所有机器人任务的代表性抽样。尤其应避免用总榜中的一个百分点差，宣称某模型具有普遍的物理智能优势。

5. 实验设置：五个模型，一次保留回合

论文评测 GPT-6 Astra、Claude Opus 5.5、Kimi K3、DeepSeek V4.1 Flash 和 Gemini 3.8 Flash，每个模型执行全部 84 项任务。每个模型与任务组合保留一个计分回合，共 420 条计分记录。所有模型使用相同任务初始化、控制步上限和成功规则。模型看到当前观察以及最多四个较早观察，较早观察每隔两个观察轮次采样。推理期间物理暂停，机器人执行期间物理继续。

任务按等权方式汇总。对任务集合 $\mathcal{G}$，模型 $m$ 的成功率为：

其中，$\xi_{i,m}$ 是模型在第 $i$ 项任务上的实际轨迹，$S_{i}$ 是任务检查器给出的 0 或 1 结果。论文不平均原生奖励或部分得分，也不把尚未完成的任务算作部分成功。由于每个模型任务对只有一个回合，这些数字描述当前快照，不提供重复试验方差。

资源指标包括墙钟耗时、机器人请求数和全部工具调用数。全部调用由机器人请求、shell 调用和显式图像查看组成；机器人反馈里已经附带的图像不会再次计作图像查看。论文还统计控制步、shell 调用和图像查看的中位数及四分位距，并明确说明这些统计包含失败轨迹。因此，较短耗时可能是高效成功，也可能是很快失败，不能单凭资源排名推断效率。

论文对历史记录进行了预算裁决。某些回放视频在评分边界之后仍然继续；后续出现的成功不能回溯改写边界处结果。21 条记录经过裁决，其中 9 条原先缺少布尔成功值而被保留为失败，12 条保留历史布尔值；在这 12 条中，有 3 条历史成功因发生在更早的预算边界之外而被改判为失败。这个处理体现了一个评测原则：成功必须在规定交互预算内发生。

6. 主结果：最高成功率仍只有 19.0%

GPT-6 Astra 完成 16/84 项任务，成功率 19.0%，排名第一。Claude Opus 5.5 完成 13 项，成功率 15.5%。Kimi K3 完成 2 项，DeepSeek V4.1 Flash 和 Gemini 3.8 Flash 各完成 1 项。即使是第一名，也在 84 项任务中留下 68 项未完成。这个结果不是“某一模型在少数困难题上略逊”，而是所有模型都远未达到稳定机器人使用。

图 5：论文 Figure 1 的排行榜。左侧为 84 项任务总体成功率，右侧按任务域显示成功计数；所有模型每个任务只保留一个预算内结果。

模型	操作	移动操作	移动控制	驾驶	空中	总体
Astra	9/38	4/20	0/11	2/11	1/4	16/84（19.0%）
Opus 5.5	7/38	0/20	1/11	2/11	3/4	13/84（15.5%）
Kimi K3	0/38	1/20	0/11	1/11	0/4	2/84（2.4%）
DeepSeek V4.1 Flash	0/38	0/20	0/11	0/11	1/4	1/84（1.2%）
Gemini 3.8 Flash	1/38	0/20	0/11	0/11	0/4	1/84（1.2%）

模型成功集合并不完全重合。Astra 与 Opus 5.5 共同完成 8 项；Astra 另有 8 项成功，Opus 另有 5 项成功。五个模型合计只覆盖 21/84 项任务，仍有 63 项无人完成。Kimi、DeepSeek 和 Gemini 的成功都落在 Astra 与 Opus 的并集内，因此并未扩大总覆盖。这个 25.0% 的并集率说明，即使事后选择一个“最强模型”，仍然有大量任务无法解决；它也不是一个可执行的选择器策略。

分域结果给出了不同的强弱图景。Astra 在操作上完成 9/38，在移动操作上完成 4/20；Opus 5.5 分别完成 7/38 和 0/20。Astra 的移动操作优势是其总分领先的重要来源，58 项操作与移动操作合计中，Astra 为 13/58，Opus 为 7/58。另一个方向是动态与空中任务：Opus 完成 3/4 空中任务和唯一一项移动控制成功，而 Astra 在移动控制上为 0/11。总榜优势不能因此被理解成每个物理需求上的全面优势。

论文进一步按重叠需求标签做探索性分组。Astra 在空间任务上完成 13/45，对 Opus 的 6/45；在受限接触任务上完成 6/41，对 Opus 的 1/41。Opus 在连续平衡与跟踪上完成 4/20，对 Astra 的 1/20；在带时间约束的交互中完成 4/7，对 Astra 的 2/7。作者推测，Astra 更擅长把视觉观察直接转化为空间动作，而 Opus 更常把几何和物理关系表达为程序，从预测和时序上获益。这只是根据轨迹提出的解释，不是受控消融。

需求组（可重叠）	Astra	Opus 5.5	结果解释
空间目标	13/45	6/45	Astra 在位置、朝向、路径与放置关系上更强
受限接触	6/41	1/41	差异集中在插入、悬挂、倾倒与关节操作
连续平衡与跟踪	1/20	4/20	Opus 更善于维持需要持续调节的动态状态
带时间约束的交互	2/7	4/7	移动目标、拦截和时机条件更有利于 Opus

移动控制与驾驶仍然大面积失败。Astra 和 Opus 都完成庭院路线与发夹弯驾驶，各为 2/11；Kimi 完成庭院路线，为 1/11。其余九项驾驶任务无人完成，十一项移动控制中有十项无人完成。不同五模型在这些域的任务并集分别只有 1/11 和 2/11。这些结果把困难定位到具体任务簇：不是所有“动态控制”都同样难，也不是一个模型在动态环境中成功一次就能稳定复现同类能力。

7. 资源成本：成功、调用次数与费用并不同步

总资源使用进一步否定了“想得更久、调用更多就会更强”的简单解释。Astra 的累计估算费用为 9,912.80 美元，明显高于 Opus 5.5 的 2,916.43 美元，但其 token 总量只有 941M，低于 Opus 的 1.63B。Kimi 使用约 2.00B token、估算费用 624.09 美元、累计 163.8 小时，却只完成两项。不同供应商的 token 定义、缓存计价和单价不同，因此 token 与美元不能当成同一预算单位，更不能据此做因果归因。

模型	Token	估算费用（美元）	累计耗时（小时）	中位回合耗时（分钟）	中位机器人请求
Astra	941M	9,912.80	54.6	30.9	58
Opus 5.5	1.63B	2,916.43	140.3	54.0	37
Kimi K3	2.00B	624.09	163.8	67.6	42.5
DeepSeek V4.1 Flash	907M	34.49	35.7	16.0	22
Gemini 3.8 Flash	303M	66.68	28.7	12.8	11

资源的中位数也展示出不同策略。Astra 的中位墙钟耗时为 30.9 分钟，却发出 58 次机器人请求；Opus 的中位耗时为 54.0 分钟，机器人请求为 37 次；Kimi 耗时长、请求较多但成功率低。全量日志中，Opus 的记录包含 2,095 次 shell 调用和 568 次显式图像查看，Astra 分别为 1,435 和 56。Opus 更频繁使用外部计算与主动读图，但这并不能单独解释其总成功率，因为同样的调用也可能服务于已经注定失败的轨迹。

共享成功任务的条件内比较更有信息。Astra 与 Opus 都完成八项任务时，Astra 在其中七项使用更少工具调用，在六项使用更少控制步。搬运与抓取任务中，Astra 为 23 次工具调用、270 个控制步，Opus 为 46 次调用、268 个控制步；两者在第一块堆叠完成时的物理进度几乎相同，但信息收集成本相差一倍。水果摆放任务中，Astra 使用 22 次调用和 284 步，Opus 使用 58 次和 419 步。相反，立方体放置中 Astra 的工具调用更少，却因首次抓取滑落而使用了更多控制步。

共享成功任务	Astra 工具调用 / 控制步	Opus 工具调用 / 控制步	观察
第一块堆叠至放置并撤离	23 / 270	46 / 268	物理进度接近，分析成本差异明显
立方体放到碗左侧	24 / 286	31 / 239	Astra 调用少，但抓取恢复消耗更多物理步
三枚水果摆盘	22 / 284	58 / 419	Opus 额外的检查、解接触与调整同时增加两类成本

这些配对样本说明，工具成本与物理执行成本不是同义词。一次机器人请求可以覆盖很长的动作段，也可能在一步后终止；离线计算不推进物理，却能改变之后的请求；一次成功可能需要 284 步，也可能需要 286 步。真正的效率评估必须同时给出最终结果、动作步数、信息获取和失败条件。论文没有把这些数字合成一个单一“效率分数”，而是保留多维资源画像，这是更诚实的处理。

8. 轨迹分析：局部能力如何组合，又在哪里断裂

论文对成功轨迹的观察首先表明，多模态智能体确实能构造复杂的感知与控制流程。它们可以进行颜色分割、相机投影拟合、空间估计、关节计算、近似动力学建模和控制器生成。Astra 在有序堆叠中先依据图像完成抓取，直到第 204 步才引入相机拟合；它使用视觉估计先行动，再用几何计算细化。Opus 则在移动前编写颜色分割程序，通过采样机械臂运动拟合相机几何，再计算目标。两条路径不同，却都能达到第一块放置与撤离的相近物理里程碑。

反馈修正也能形成真实的闭环。Astra 在充电器插入任务中，于步骤 196 尝试转动空闲手臂的腕部相机，规划器拒绝该命令。模型随后在步骤 207 下调空闲手臂，再于步骤 230 重试旋转并成功执行；最终插入与归位条件在步骤 323 满足。这里的反馈不只是文本道歉，而是改变了后续可执行配置。论文谨慎说明，这不能证明“降低手臂”是成功的唯一原因，但提供了从拒绝到重配置再到同动作重试的局部证据链。

动态任务要求更强的持续性。Opus 在无人机载荷悬停中结合离线线性二次调节器计算与反复状态反馈。它最终让载荷误差、速度、摆角和无人机倾角四个边界同时连续满足 2.15 秒，超过检查器要求的 2 秒。Astra 在倒立摆跟踪中最终尖端误差只有 2.45 厘米，看似接近目标，但稳定区间只有 0.565 秒，而终止段需要 1 秒；此前的轨迹还违反过 20 厘米跟踪边界。最终一帧好看，并不等于时序条件成立。

无人机颠球更清楚地展示“持续接触控制”而非一次性动作。Astra 与 Opus 都做了离线动力学计算，也在约第 143 步前完成三次有效接触。Astra 在第 188 步因球高度过低终止，最终为 3 次有效、1 次高度合格接触；Opus 持续到 800 步，达到 15 次有效、14 次高度合格接触。两者每次动作的中位执行步数都是 3，因此差异不能简单归因于动作段更短。Opus 会根据击球前后状态调整推力、姿态和位置，形成连续调节。

失败轨迹同样有信息。Kimi 在倒杯任务的第一步接近就将瓶子碰倒，随后的闭合报告承认没有抓住。它多次调整接近方向与腕部角度，直到第 240 步才切换到右臂，但最终请求仍在重新定位，任务在 400 步上限失败。这里的失败不是模型宣称已经倒水，而是它不断修正抓取却没有恢复关键的物体状态。监控到反馈、改变动作和达到任务目标之间存在很长距离。

另一类失败是准备替代执行。Kimi 在切菜任务中的 69 次正步数请求全部用于观察、导航或绕过家具，直到 2,000 步结束都没有出现切菜命令。由于任务从未进入操作阶段，这不能证明模型不会切菜，只能证明它没有在预算内到达可执行工作区。DeepSeek 的灶台导航更极端：模型认为不需要继续移动后，最后 105 个控制步全部使用零底座速度，任务仍未完成。继续调用工具并不等于继续任务导向的纠错。

完成判断是第三类断点。Kimi 在扫除任务第 861 步把任务描述为完成，之后 139 个控制步和 69 次请求只改变空手臂的高度，没有重新回到扫除目标。Opus 在悬挂杯子失败后正确判断剩余 35 步可能不足以重新抓取和悬挂，于是把机械臂归位；这是对不可行性的判断，而不是虚假成功。两种行为提示评测必须区分“智能体自称完成”“任务已终止”和“模型判断预算不足以恢复”三种状态。

恢复还必须及时。Astra 的人形乒乓球任务在 3.58 秒因底座高度低于 0.50 米而失败，之前的平衡修正没有阻止最终倒下。它能够识别局部状态、生成动作，却没有在约束被破坏之前形成有效恢复。RobotWorld 把这些情形放在同一证据框架中，使研究者能看到不同失败究竟发生在物体状态保持、工作区到达、时序协调、完成判断还是预算管理。

9. 代码与论文方法的对应关系

官方仓库已经公开，但必须区分“有代码”与“论文结果可完整复现”。README 说明当前源码快照注册 84 项任务和 20 个集成；注册不代表每项任务都有经过验证的成功物理轨迹。默认批量协议每项任务执行三次，而论文每个模型任务对只保留一个计分回合。环境侧代码控制默认关闭，推理期间暂停仿真。L40S 48GB 是参考部署机，不是全部任务的兼容性保证。仓库当时尚未选定顶层许可证，第三方代码和资产继续遵循各自许可。这些状态应直接呈现给读者，不能把开源仓库写成完整复现包。

论文中的持续成功条件可以在 environment/evaluation/world_success/profiles.py 中找到具体对应。例如，四足推挤恢复要求最终 2 秒内同时满足目标误差不超过 0.25 米、水平速度不超过 0.10 米每秒、倾角不超过 20 度；无人机载荷悬停要求载荷误差、载荷速度、摆角和无人机倾角四项在最后 2 秒内共同成立。

add('go2_push', 'quadruped_push_recovery', 1000, 50,
    hold('S01', 2, *target(.25, .10, 20)))

add('omnidrones', 'drone_payload_hover', 500, 62,
    hold('S01', 2,
         ('payload_error', '<=', .15),
         ('payload_speed', '<=', .20),
         ('swing', '<=', radians(10)),
         ('drone_tilt', '<=', radians(15))))

第二个明确对应是 environment/evaluation/world_success/monitor.py 的失败关闭式时序检查。它要求控制 tick 连续，测量值有限；某一 tick 破坏 hold 条件时，持续时间会从下一次满足重新计算；固定窗口中的违反不会被后续恢复抹掉；原生失败优先于最终成功。代码注释还明确说明，检查器看到的是采样点，不是完整连续物理轨迹。

if type(step) is not int or step != self.last_step + 1:
    raise ValueError(f'Expected contiguous tick {self.last_step + 1}, got {step}')

if rule['operator'] == 'hold':
    row['samples'] += 1
    if ok:
        if row['since'] is None:
            row['since'] = t
    else:
        row['since'] = None
        if row['first_violation'] is None:
            row['first_violation'] = t
    row['passed'] = ok and t - row['since'] >= rule['seconds'] - 1e-10

这些源码与论文的论点一致：成功检查依赖可执行、可审计的物理条件，而不是智能体的完成叙述。与此同时，代码仓库不是论文五模型排行榜的逐条复现。模型提供商、推理参数、历史采样、工具权限、控制器协助和预算裁决都参与结果形成；仓库只提供任务与执行基础设施。文章因此把代码状态写成“公开可检查，但论文结果并非随仓库一键复现”。

10. 局限：作者承认的边界与独立判断

作者明确承认控制器协助程度因任务而异。机械臂环境可能提供逆运动学或轨迹规划，移动机器人可能依赖原生平衡控制器，车辆和无人机也有各自的低层控制。统一工具协议只能统一交互外观，不能使动作空间和运动生成难度完全等价。这会影响跨域比较，也意味着模型总分有一部分来自不同控制契约的组合，而不是同一个低层能力。

作者还指出，推理期间暂停物理会移除真实世界中的时间压力。真实机器人必须在推理延迟下继续运动，或者主动采取安全保持；传感器噪声、通信抖动、接触模型误差和执行器摩擦也会改变问题。仿真中离线计算几秒钟的代价，在硬件上可能要机器人保持稳定、等待或退回安全状态。论文把这些作为从仿真到部署的开放测试，而不是可以用当前成功率直接跨越的细节。

覆盖有限且不均是另一项作者自述局限。84 项任务虽然跨域，但操作与移动操作占 69%，许多任务继承自同一源项目；部分类别只有少量代表题。公开任务、代码和演示还可能出现在模型训练数据中。论文无法排除任务熟悉度差异，也没有用全新隐藏场景重新估计泛化。因此，这里的结果是所选测试套件上的强证据，不是所有机器人使用的无偏样本。

从独立评测角度看，每个模型任务对只有一个保留回合，最重要的限制是没有重复试验方差。Astra 与 Opus 相差三项任务，在 84 项样本上可以描述快照排序，却无法估计同一模型重新运行时的波动。某些模型还可能因一次随机初始化、一次工具拒绝或一次预算边界改变结果。要断言稳定的模型差异，需要相同任务的多次配对回合、置信区间和失败类型重复率。

另一个独立限制是模型、供应商、推理框架、工具权限和任务时间并不受统一受控实验完全隔离。Kimi 的 token 与费用总量还是从 57 条有效记录外推到 84 项，其他模型为 84 条记录。费用使用列表价估算，不是实际账单。Opus 使用更多 shell 调用和显式图像查看，Astra 的机器人请求更密集；无法仅凭这些相关性断定某种策略导致更高成功率。论文对此保持保守，但读者仍容易把排行榜误解为模型能力的单变量估计。

最后，当前检查器再严谨，也只评价被编码的物理关系。抓取稳定、液体是否真正倒出、接触力是否安全、路径是否在实际硬件上可执行，可能由更细的传感器与动态约束决定。RobotWorld 代表了可执行检查的重要一步，但成功条件的设计本身仍会影响哪些模型受益。未来若增加隐藏初始化、对抗扰动、重复回合和真实硬件迁移，评测结论会更接近可靠机器人使用。

11. 结论与展望

RobotWorld 的主要发现可以概括为一条能力链：通用模型已经具备局部视觉、计算和工具使用能力，却不能在整条物理任务链中稳定保持状态、发现无效动作、及时恢复并正确判断完成。最高模型只完成 19.0%，五个模型合计仍有 63 项无人解决。不同模型呈现互补优势：Astra 更偏空间和受限接触，Opus 更偏连续平衡和时序交互。总榜因此应作为能力画像的入口，而不是单一物理智能分数。

对机器人智能体设计而言，最直接的优先级不是再增加一次离线分析，而是让感知与计算始终绑定到任务状态和动作后果。模型需要在每次执行后检查关键物体关系是否仍然成立，需要把失败反馈转换成改变策略的动作，需要把时序约束作为持续目标而不是最终画面，还需要识别“继续动作”与“继续纠错”的区别。这些要求比扩大上下文或增加工具调用更接近可靠机器人使用。

对评测设计而言，下一步应增加重复回合、隐藏初始化和跨模型配对分析，并在保持接口公平的同时报告控制器辅助。还应在真实硬件和实时推理条件下复测最有代表性的任务，以区分仿真可解性与物理可部署性。RobotWorld 已经提供了一个可追踪的公共基座：它把成绩、轨迹、检查器和失败机制放在同一框架中，使后续改进可以被具体验证，而不只是换成另一个更高分的演示视频。

金句：机器人使用不是把若干聪明步骤拼在一起的加法，而是让每一步都保住上一步成果、并在预算内把物理状态推进到目标。