Skip to content
←返回论文库

PAPER DEEP DIVE

Agentic Robotics人工智能具身智能

构想智能体机器人:机器人系统的新时代

论文将具身智能体机器人的决策核心定义为“基础模型 + 具身执行外壳”的 Embodied S2,其中外壳负责上下文、工具、规划、记忆与验证。文章把模型能力与闭环系统表现分开评测,以延迟、成本和持续运行世界中的安全性约束系统结论,并用 L1 至 L4 的逐步扩展责任衡量从局部技能到长期角色的进展。它是一份概念框架与研究路线图,而不是已统一实现并验证的完整系统。

英文标题:Envisioning Agentic Robotics: A New Era of Robotic Systems
作者:Grid Robotics、Qingfeng Lan、Duo Li、Siyao Li、Yiheng Lyu、Shijian Lu、Zhenghao Qi、Shizun Wang、Xinchao Wang、Ming Yang、Zhiqin Yang、Zuhao Yang、Tao Yu
论文:arXiv:2611.18359
项目页:Agentic Robotics Roadmap
代码状态:官方项目页在提交 03da248 中提供 content.js 与 evaluation-data.js,用于展示路线图和评测资料;未提供可运行的机器人模型、训练代码或完整系统实现。因此,本文属于框架与研究路线文章,不能把页面中的方法结构误读为已经开源并统一验证的系统。

一句话总结

论文把智能体机器人的决策核心定义为“基础模型加具身执行外壳”的 Embodied S2,并提出分别评价模型能力与闭环系统表现、再用 L1 至 L4 衡量可委托责任的研究路线。

1. 研究背景:从专用策略走向可验证的物理智能体

传统机器人系统通常把感知、规划和控制拆成人工设计的模块。深度学习之后,仿真强化学习产生了敏捷运动与全身控制,视觉语言动作模型又把视觉、语言和动作放进统一策略。问题在于,这些策略往往绑定任务、场景或本体。场景变化、指令变化或机器人更换之后,原本很高的任务成功率可能迅速下降。扩大数据规模是解决泛化的一条路径,但数据采集受物理世界速度、接触信息稀缺与真机重置成本限制。

论文把另一条路径放在前台:不再要求一个策略直接记住所有动作,而是让通用基础模型在运行时理解目标、选择技能、调用工具、检查结果并修正计划。这个转变不是单纯给聊天模型接一条机械臂,而是把“意图、行动、证据、再决策”组织成闭环。基础模型提供世界知识与语义推理,外围运行时负责把推理变成有边界、可观察、可取消、可验证的物理调用。

论文写作的直接背景是 GPT-6 Astra 等前沿模型进入机器人评测。短时间内,基础模型配合不同执行外壳,在若干仿真基准上达到或超过专用策略。但实验结果非常分散:仅 RoboDojo 的 42 个任务,Astra 的报道成功率就从 22% 到 85% 不等,差异来自工具库、动作接口、任务提示、预算和评测协议。作者因此认为,社区缺少三样东西:智能体机器人的共同定义、能区分模型与系统的评测方法,以及从单步动作走向长期责任的研究阶梯。

这篇文章的贡献不是提出一个新网络,而是整理概念边界。它把系统分成 S2、S1、S0 三种功能角色,把 Embodied S2 具体化为“基础模型加具身外壳”,并给出可测试的识别标准。随后,它把八项能力、九个评测维度、四个责任层级与空间范围连接起来。读者应把它看成领域路线图:价值主要在问题定义、实验解释与评价规范,而不是一个已经证明可跨域部署的完整系统。

2. 参考架构:S2、S1、S0 与实时事件监视器

S2 负责解释用户意图、在目标和约束下决定下一步、编排能力,并根据证据判断上一步是否达到目标。S1 提供可调用技能,包括视觉语言动作策略、导航策略、运动规划、感知模块,以及 S2 临时写出的程序。S0 是本体相关接口与实时控制层,负责人形机器人的全身平衡、四足机器人的步态、机械臂的逆运动学与轨迹跟踪。三个层级按功能划分,而不是按模型数量划分;同一个模型可以承担多个角色,一个角色也可以由多个模块共同完成。

Agentic robotics reference architecture

图 3:Embodied S2 由基础模型和包含上下文、工具、规划、记忆、验证五部分的具身外壳组成;实时事件监视器可以绕过慢速推理,直接触发 S0 的保护动作。

参考架构中有一个容易被忽略的外部组件:实时事件监视器。它以较高频率观察用户、机器人和场景,例如用户突然说“停”、机器人碰撞后异常运动、有人进入工作区。事件可能改变任务时,监视器中断 S2;事件需要立即处置时,它可以依据预先定义的安全规则直接让 S0 停止或减速。该设计承认基础模型和外壳都可能失效,因此不能把安全只寄托在语言判断上。

论文允许三条执行路径共存。第一条是分层编排,S2 调用 S1 技能,S1 生成控制目标交给 S0。第二条是直接控制,S2 通过受限动作接口把目标交给 S0,但 S0 仍保持自己的实时闭环。第三条是代码即策略,S2 生成程序,由运行时解释器暂时扮演 S1。三条路径不是互斥架构,一个任务可以先用感知工具定位,再让 VLA 抓取,最后用一段代码循环执行多个稳定子步骤。

Three execution paths in agentic robotics

图 4:分层编排、直接控制与代码即策略三种路径。S2 可以改变动作抽象层级,但不应被直接放进毫秒级实时控制环。

S2 的识别标准也不是“名字叫 System 2”。论文要求一个组件同时做两类可外部识别的事情:决定如何继续,包括下一个子目标、调用哪个技能、传什么参数,或者选择继续、重试、重规划、询问、停止;以及决定结果是否成立,即依据证据判断子目标或完整任务是否完成。只输出计划而不检查效果的规划器只实现部分 S2;只给成功概率的成功检测器也不构成 S2。双系统 VLA 的上层若只输出潜在表示,除非替换实验证明其决策含义,否则作者不把它归为 S2。

这一定义强调意图而不是固定任务字符串。用户说“把客厅收拾好”,真正目标可能是满足某种家庭规范,而不是执行一个预设动作序列。系统可能需要澄清、推断偏好、改变原计划,甚至在证据不足时拒绝行动。论文把责任放在 S2,把动作级细节授权给 S1 与 S0,但没有要求所有决策都由大模型生成。经典规划器、行为树或混合系统只要满足功能标准,也可以成为 S2 的实现。

3. 智能体闭环:从意图到经过验证的结果

一次闭环从解释意图开始。外壳把用户请求、世界状态、任务进度、身体状态、技能说明与历史记录组装成有界上下文。基础模型提出计划,选择外部工具、S1 技能或受限 S0 接口。能力执行后,系统不能只看“函数返回成功”,而要观察现场、控制器状态与证据,回答四个不同问题:请求是否被接受,执行是否终止,预期物理效果是否成立,用户意图是否得到满足。

Agentic loop from intent to verified outcome

图 5:智能体循环把解释、规划、调用、执行、观察和验证连接起来;任意阶段都可能被实时事件监视器打断。

四个问题不能合并成一个“成功”布尔值。请求被接受不代表动作执行完;动作执行完不代表杯子已经被夹稳;杯子被夹稳也不代表它被放到了用户指定的餐桌位置。论文用“拿红杯子”说明这种差异:夹爪命令可以正常结束,但腕部相机显示杯子仍在架子上,这属于执行已终止而物理效果失败。系统应重新观察遮挡、改变抓取点,而不是无意义地重复同一调用。

如果用户中途改口“不是红杯子,是蓝杯子”,监视器需要中断推理,外壳需要取消正在执行的抓取,并确认机器人已经进入可继续动作的保持状态。取消请求、取消被接受、运动真正停止是三个状态,不能把取消接口的返回当作机器人已停止。超时同样不是“动作没有发生”的证据;若动作实际已经完成,盲目重试可能造成第二次抓取或移动。

据此,论文强调执行契约。每次物理调用都应有明确的单位、参考系、前置条件、预期效果、资源限制、超时语义、取消行为与结束状态。一次调用还需要观察快照、调用记录与证据包,使失败可以追溯。论文给出的生命周期是“提出、准入、派发、执行、确认终止、验证效果、提交进度”,并为拒绝、失败、取消和未知结果保留分支。这个结构把“命令结束”和“任务完成”分开。

持久状态跨越一个 episode 和一个 session。episode 是一次任务,session 是连续使用期。外壳在当前任务里记录对象身份、步骤与尝试;跨任务和跨 session 时,还要保存环境、用户偏好与身体状态。记忆不能把一次观察当成永久事实。物体被移动后,旧记录会失效,因此每条记忆应保留获得时间、来源与修订方式。

4. Embodied S2 的形式边界与五个可读表达式

论文正文只有式 (1) 被正式编号。为了让架构边界更清楚,下面保留该式,并把论文中的定义、上下文组成、验证问题和固定时延约束改写为四个直接形式化表达。后四式是本文对该文命题的结构化转写,不是论文另行编号的新定理。

第一,Embodied S2 不是单独的基础模型,而是模型与外壳的组合。设基础模型为 F,外壳为 H,五个核心部件分别是上下文管理 C、工具接口 T、规划 P、记忆 M 与验证 V:

$$ \mathrm{EmbodiedS2}=\langle F,H\rangle,\qquad H=\langle C,T,P,M,V\rangle $$

这个表达式表达的是功能边界。基础模型从外壳提供的上下文里产生决策;外壳决定模型看见什么、能调用什么、如何执行、保留什么以及如何判断结果。安全门、预算控制和自我改进是建立在这五个核心部件之上的增强项,不应被误解为模型天然具备的能力。

第二,上下文至少包含世界、用户和身体三类状态:

$$ c_t=\langle W_t,U_t,B_t\rangle $$

其中 W 记录对象、地点、关系及其观察时间,U 记录偏好、习惯和承诺,B 记录几何、运动学、标定、当前状态、可用技能和 S0 接口。三者变化频率不同,隐私和失效规则也不同。身体说明使同一个 S2 有可能理解此前未见过的机器人,但前提是接口和限制有明确描述。

第三,论文式 (1) 定义观察年龄:

$$ \Delta t_{\mathrm{obs}}=t_{\mathrm{effect}}-t_{\mathrm{capture}} $$

t_capture 是决策所依赖观察的采集时刻,t_effect 是该动作真正产生效果的时点。差值包含感知、通信、排队和执行延迟,因此比单纯的模型推理时间更接近物理响应。若传感器、计算设备和执行器不在同一硬件上,两端时间必须用同步时钟测量。

第四,图 8 用周期与频率互换来比较不同层级的时间尺度:

$$ \Delta t=\frac{1}{f},\qquad f=\frac{1}{\Delta t} $$

据此,S0 的 50 Hz 至 1 kHz 对应每次 20 ms 至 1 ms;S1 控制技能约为 5 Hz 至 200 Hz;S2 是事件驱动而非周期控制,论文把动态操作目标放在约 0.1 s 至 1 s 的一次决策量级。这个目标不是所有任务的硬要求,但揭示了基础模型数十秒一次调用与实时控制之间的量级差距。

第五,验证证据需要覆盖四个问题。记接受、终止、物理效果和意图满足分别为 a、r、e、i,则完整验证可以写成:

$$ v_t=\langle a_t,r_t,e_t,i_t\rangle,\qquad a_t,r_t,e_t,i_t\in\{0,1\},\qquad V_t=a_t\land r_t\land e_t\land i_t $$

这里的关键不在形式,而在要求系统分别采集证据。工具返回可支持接受或终止判断,控制器状态可支持终止判断,传感器与任务检查器支持物理效果判断,用户意图则需要更完整的验收标准。若缺少独立证据,模型容易过早宣称完成,视觉语言裁判也可能在模糊画面上偏向成功。

第六,物理世界把“更强能力换更长思考”改成带截止时间的优化。论文称之为 capped scaling:在固定决策预算内提高决策质量,而不是无限增加推理 token:

$$ \max_{\pi\in\Pi}J(\pi)\quad\mathrm{s.t.}\quad L(\pi)\leq L_{\max},\; C(\pi)\leq C_{\max} $$

其中 J 表示任务收益,L 与 C 表示时延和计算成本上限。该式仍是论文文字目标的直接转写。它解释了为什么“答案更对但来得太晚”依然没有价值:物体可能已经滑落,行人可能已经进入路径,动作窗口已经关闭。

5. 具身外壳为什么决定系统表现

论文列出八项能力:知识、理解、推理、工具使用、记忆、跨本体、安全和效率。知识、理解与推理主要来自基础模型;工具使用、记忆、跨本体、安全与效率则同时依赖模型和外壳。这个分配意味着,用同一基础模型换一个上下文组织、工具库、验证器或记忆机制,系统表现可能发生很大变化,不能把完整系统分数直接归给模型本身。

Core abilities of Embodied S2

图 6:Embodied S2 的八项核心能力。作者把外壳视为能力形成的一部分,而不是模型外面的普通适配层。

记忆问题尤其具体。论文引用的一项估计指出,128K token 上下文只能容纳约三分钟的高密度多模态记忆。若把整个 episode 都留在上下文中,冻结的 Astra 在 RoboMME 的 800 个测试 episode 上达到 92.1%,但每次模型调用平均 18.3 秒,而且调用时模拟器暂停。这说明长上下文可以替代部分工程记忆,却难以独立支撑时敏任务。跨 session 后,外壳仍要检索、更新和废弃上下文之外的信息。

工具不是一组没有副作用的函数。抓取技能可能在成功夹住杯子的同时挡住后续插入,感知工具可能返回坐标系不一致的位姿,逆运动学求解成功也不保证路径无碰撞。因此工具接口必须暴露单位、参考系、前置条件、失败语义和资源限制。论文把调用记录与证据包纳入契约,是为了让迟到的结果、重试和跨技能交接能够被审计。

论文给出三类反馈环:S1 与 S0 内部的感知运动环,S2 依据结果选择下一子目标的规划环,以及下一次运行前修订技能、提示、上下文规则、工具或权重的演化环。把三者混在一起,会让人误以为一个固定程序能通过感觉反馈完成长期学习,或误以为一个冻结模型完全不会改进。外壳本身是代码与数据,可以被智能体修改;这类修改同样需要留出任务、回归检查和版本回滚。

安全必须放在模型之外。专用安全门可以在动作派发前检查请求,工具接口可以拒绝越权能力,S1 和 S0 可以执行力与速度硬限制,事件监视器可以触发保护性停止。模型负责识别风险、预测后果和选择谨慎策略,但安全不能只靠模型判断。论文中的 RT-Safe 结果表明,当世界持续运行、模型思考变慢,碰撞风险会显著上升。

6. 评测框架:模型级与系统级必须分开

论文提出两层评测。模型级评测让基础模型在没有工具、通常单轮的条件下回答,测量知识、理解与部分推理和安全能力。系统级评测让模型通过外壳调用 S1、S0 和外部工具,测量闭环推理、工具使用、记忆、跨本体、安全执行、效率与成本。两层结果互补:只看系统成功率无法判断失败来自模型、接口、外壳还是控制器;只看模型问答又无法证明物理任务能够完成。

九维框架包含八项能力和成本,共细分为 53 个子维度,其中 29 个与具身性直接相关或强烈依赖具身性。维度不应加总成单一分数。知识、理解、推理回答“模型会什么”;工具、记忆、跨本体回答“系统通过外壳实现了什么”;安全约束所有维度;效率与成本描述资源消耗。最终的用户意图满足是端到端结果,而不是与九维并列的第十项能力。

评测协议需要固定动作抽象、披露观察契约、使用独立验证器、报告置信区间,并区分暂停世界与持续运行。论文特别要求报告观察年龄、错过截止时间的比例、每次调用成本以及人机接管次数。若两个系统使用不同工具库、特权对象状态、任务提示或步数预算,即使基准名称相同,也不能直接排名。

评测问题模型级看什么系统级看什么不能混淆的原因
空间理解多视角关系、参考系、可操作性移动后定位、抓取与放置是否成功问答正确不等于动作可行
规划给定能力集选择可行子目标执行失败后能否诊断并恢复闭环反馈改变原本计划
工具使用是否选对接口与参数真实工具返回、延迟和副作用文本工具描述缺少物理噪声
安全是否识别危险并提出拒绝是否能在动作前、中、后真正止损文字拒绝与机器人拒绝差距很大
效率token 数、推理时间观察年龄、动作时延、总任务成本模型延迟不是完整响应延迟

论文给出当前公开结果的快照。它明确说明这些数据来自不同设置,其中一些模拟器在模型思考时暂停,因此表中数字不能用于跨论文排名。它们更适合显示三类趋势:在较窄仿真套件上,通用模型加外壳可以接近或超过专用策略;在开放式或探索型基准上,成功率仍然很低;接口、验证器和世界时钟会显著改变结果。

基准或实验公开结果应如何解读
RoboMMEAstra 达 92.1%;单次运行;800 个 episode;平均 18.3 秒/次;模拟器暂停长上下文记忆可行,但没有证明实时性
RoboDojo-Sim直接接口 22.48%;官方评测配合工具为 46.9%同一模型受工具与协议强烈影响
RoboLab-120直接控制 66.3%;agentic session 为 74.8%会话编排提高表现,但设置并非受控跨模型比较
LIBERO-PRO用动作原语、分割、π0.5 与代码组合达到 94.0%较窄扰动套件上的系统集成结果
HumanCLAW识别目标 64.9%,完整任务 16.8%识别能力远不能保证全身闭环完成
RobotWorld19.0%;63 个任务五款模型均未解决开放式任务与物理动作仍是瓶颈
AbstainEQA最佳前沿模型 42.79%,人类 91.17%模型难以识别证据不足
EmbodiedSkillBench原生接口 92%,仅技能 61%,按需选技能 85%工具抽象与模型能力必须匹配
RoboHarm文本拒绝 72%,真机动作拒绝 18%安全判断从文字迁移到动作时会衰减

时间数据给出的结论更直接。直接动作推理的一次调用约 18.56 秒;生成运动参考的一次调用平均 39.86 秒,30 秒行走需要 250 次调用,而且模拟器暂停。RT-Safe 最难路线中,Astra 每次决策约 7.7 秒;安全成功率在暂停世界为 19.8%,在持续运行世界降到 0.7%,碰撞增加 12.3 倍。一个 agentic Astra 策略在某个仿真基准上的 API 费用接近直接提示的 19 倍。这些结果共同说明,延迟、成本和风险都是系统变量。

外壳的贡献也有可测例子。相同 Astra 规划器、动作原语和调用预算下,用 Python 单元组织调用比普通工具调用把成功率从 63.1% 提高到 71.7%。EmbodiedSkillBench 中,选择性使用技能对 Astra 没有提高成功率,却减少 14.1% token 和 11.9% 时间。工具不只增加上限,也可能因接口不匹配压低强模型的表现。

7. 从数字智能体迁移什么,重建什么

数字智能体的成功依赖四个有利条件:状态与动作接口近似模型原生格式,结果可自动验证,训练数据充足,环境可复制和重置。软件任务同时满足这些条件,所以编译器和测试能把每次尝试变成快速反馈。机器人削弱全部四项:状态来自局部、噪声、遮挡和延迟传感器;结果需要现场观察;灵巧操作没有互联网级数据;真实环境复制与重置昂贵。

论文认为,闭环验证、工具契约、显式上下文、执行与判断分离、可复用技能这五项原则仍然可以迁移。需要重建的是物理接口、校准验证器、跨任务记忆、跨本体能力和运行治理。数字系统的退出码要变成带观察时间、终端状态、物理效果和证据来源的验证包;沙箱快照要变成安全门、权限、保护停机和可审计调用记录;文件记忆要变成可失效的世界、用户与身体状态。

物理世界还额外施加时间、不可逆性与身体变化。数字代理可以慢一分钟,机器人不能对一个已经变化的场景执行旧动作。代码错误可以回滚,碰撞和损坏不能。电机发热、电流饱和、电压下降与磨损会改变同一命令的效果。论文引用的一项硬件扰动实验显示,八种 VLA 在最严重设置下的汇总成功率从 93.2% 降到 50.9%。因此“策略权重没变”并不表示系统能力没变。

8. 研究路线:L1 至 L4 与空间范围

路线图不用“能完成多少种任务”衡量进展,而以机器人可被信任独立承担的责任范围衡量。L1 是原语,机器人执行局部技能并检查结果,例如拿起杯子。L2 是任务,机器人协调多个技能完成“倒咖啡并送到桌上”,处理失败直到满足验收标准。L3 是工作流,机器人协调相互依赖的任务,管理时间、优先级和共享资源,例如为四个人准备早餐。L4 是长期角色,机器人在连续任务和工作流之外维持一项约定责任,例如按照家庭日程与偏好管理每天早餐。

Ladder of delegable work from L1 to L4

图 1:责任阶梯。上层包含下层能力;持续时间只是示意,不能单独证明达到某一层。

Action policy and Embodied S2 paradigms

图 2:从直接映射任务与观察到动作的策略,转向由基础模型与具身外壳共同组织技能、工具、验证和适应。

空间范围是另一条独立坐标。工作单元在机器人可达与可视范围内;房间要求机器人移动底座并重新判断可达性;建筑超出一个视角,需要地图、地点记忆和搜索;场地包含多栋建筑和室外路线,还涉及其他人、机器人与区域交接。论文要求任何“达到某级责任”的主张都同时说明责任层级、空间范围、持续时间和复杂度。只在结构化实验室连续运行数天,不等于在开放环境中承担 L4 角色。

责任层级机器人独立承担的范围S2 的新负担当前证据判断
L1 原语执行并验证一个局部技能动作参数、接触与即时结果窄任务可靠度在上升
L2 任务协调技能完成完整任务分解、异常处理、完成验收非结构化环境已有可用演示
L3 工作流协调多个相互依赖的任务时间、优先级、资源与跨任务状态只有少量单公司演示或仿真链条
L4 角色跨天持续履行约定责任长期记忆、偏好、主动维护与责任边界开放环境尚无无人修复的可靠证据

论文由此提出四个研究方向:在物理截止时间内进行具身推理;跨任务与空间维持可验证状态;低成本适配新环境与新本体;从物理经验持续改进。四者相互依赖。若状态和验证不可信,长期学习会把错误经验固化;若新环境适配成本过高,工作流无法规模部署;若推理不能在期限内完成,再好的计划也无法安全落地。

作者把持续改进分成适应、持续改善与递归自我改进。适应改变当前任务的行为;持续改善保留经验证的工具、技能、记忆、外壳或权重,并证明后续任务收益;递归自我改进则改善“提出、选择和验证改动”的过程本身。当前证据尚不支持物理递归自我改进。一次改动通过现有测试也可能没有解决目标任务,因此必须报告留出任务收益、旧任务回归和模型、外壳、S1 三者的贡献。

9. 局限与独立判断

第一项作者自述限制是评测覆盖不足。多数基准只测工作单元或房间中的单任务和单 episode;建筑尺度主要出现在导航与记忆任务;场地尺度主要在驾驶、空中控制与城市导航。论文审阅范围内,没有基准测试共享资源和截止时间的多任务工作流,也没有跨天持续角色。也就是说,L3 与 L4 是研究目标,不是已被总体评测证明的现实能力。

第二项作者自述限制是仿真效度、连续时间比较、复杂任务验收与真机评测成本。复杂接触、形变、磨损和液体动力学难以完全保真;持续运行的世界不会重复同一轨迹,难以做严格配对比较;视觉语言裁判存在成功偏好;真实机器人多次试验昂贵,导致不少结论样本很少。作者因此不把 Table 8 当作跨论文排行榜,而只把它视为按证据强弱组织的快照。

独立来看,本文最大的价值是给系统边界和评测单位提供了共同语言,但框架本身还没有统一实现。项目页提供路线图与评测数据,不提供可以让第三方复现实验的 Embodied S2、工具协议或基准适配器。论文中的许多结果来自发布后两个月的预印本,作者没有重新运行。不同研究的工具库、提示、动作预算与暂停世界设置差异很大,因此“基础模型很强”或“外壳有增益”都只能作为局部证据。

另一个未完全解决的是因果归因。论文提出模型级与系统级双层评测、固定模型或固定工具等消融方式,这比单一成功率更合理;但真实系统中上下文、工具、验证器、控制器和安全门高度耦合。即使固定基础模型,外壳改动也可能同时改变工具选择、重试次数与观察频率。要把增益归到某个组件,需要接口级日志、统一证据格式、重复运行和留出场景。论文给出了方向,尚没有跨系统标准。

安全结论尤其不能从文本问答外推。RoboHarm 的文本拒绝率 72% 与真机动作拒绝率 18% 显示了明显落差。模型能说“不应做”不代表它能识别当前工具参数、接触后果和停止时机。真正可部署的系统应把权限、力速限制、保护停机和人工接管放在模型之外,并把安全成功率、误停率、响应时间和接管次数一起报告。

最后,L1 至 L4 是清晰的责任描述,却不是完整的能力度量。一个 L4 主张至少还依赖任务分布、环境开放程度、失败恢复、用户偏好、隐私、法规与人机协作。持续时间长也不等于责任层级高;在受控实验室连续运行 17 天只说明在受限领域维持了运行。论文承认这一点,后续研究需要把责任层级与空间、时间、复杂度组成多维验收,而不是用一个级别名称代替证据。

10. 结论

本文把智能体机器人从“让模型输出动作”重新定义为“让系统在物理约束下持续把意图转化为经过验证的结果”。基础模型提供开放世界知识与推理,具身外壳负责上下文、工具、规划、记忆、验证、安全、预算与演化。真正的难点不在单个函数调用,而在异步执行、过期观察、不能回滚的副作用、本体差异和长期责任。评测必须同时看模型与系统,并在真实世界时钟下报告成功、时延、成本、安全与人机接管。

这篇论文适合作为研究议程和工程检查表。它没有提供一个统一系统来证明全部主张,也没有解决 L3、L4 的验证问题;但它把容易混淆的“模型能力”“系统能力”“责任范围”拆开,为后续工作建立了可讨论的坐标。对机器人开发者而言,最重要的工程转向不是再写一个更长的提示,而是建立执行契约、独立验证、可失效记忆和可审计的安全边界。

机器人智能体的成熟,不由它能说出多少步计划决定,而由它能否在世界已经改变时,仍拿得出可验证的结果。

flowchart TD
    U[User intent] --> M[Real-time event monitor]
    U --> C[Context manager]
    C --> F[S2 foundation model]
    F --> P[Planner]
    P --> T[Tool interface]
    T --> L[Layered path: S2 to S1 to S0]
    T --> D[Direct path: S2 to permitted S0]
    T --> K[Code as policy]
    L --> X[Physical execution]
    D --> X
    K --> X
    X --> E[Observation and evidence bundle]
    E --> V{Four checks}
    V -->|request accepted| V
    V -->|execution terminated| V
    V -->|physical effect holds| V
    V -->|intent satisfied| V
    V -->|continue or recover| C
    V -->|clarify or stop| U
    M -->|interrupt and cancel| F
    M -->|protective stop| S[S0 local control]
    X --> S
    S --> E
  

相关论文

ASPIRE:面向机器人智能体的技能发现

ASPIRE:面向机器人智能体的技能发现

通过多模态执行轨迹诊断机器人程序失败,用进化搜索修复候选程序,并将验证过的修复沉淀为可跨任务、跨平台复用的技能库。

Runyu Lu, Yubo Wu, Ethan Kou · 534次阅读 · 2026年6月30日
ASPIREAgentic Robotics
2026年6月30日
AgenticRoboRL:将编码智能体后训练引入机器人智能体

AgenticRoboRL:将编码智能体后训练引入机器人智能体

机器人智能体通常由大模型规划器与执行框架协作完成操作任务,但已有系统多依赖强力的闭源模型,并未真正提升规划器自身能力。AgenticRoboRL 研究能否把编码智能体的后训练方法迁移到机器人规划器,并兼容调用视觉语言动作技能与生成控制代码两类执行机制。方法先用成功教师轨迹做监督微调,再通过记录代理保存多轮交互中的上下文、词元与对数概率,并由执行框架适配器关联任务结局,用任务成功作为终局奖励执行强化学习。仅训练规划器、冻结底层执行组件。基于 9B 规划器的实验在 LIBERO-PRO 上把成功率从 18.1% 提升到 71.0%,在 LIBERO-Plus 上从 19.2% 提升到 72.2%;在生成控制代码的 CaP-X 执行框架中由 2.7% 提升到 28.5%。

Xinxin Liu, Bingxin Xu, Wenrui Bao · 289次阅读 · 2026年10月20日
Agentic Robotics机器人操控
2026年10月20日
VBot Exo2Ego Policy:轻量数据采集与第三人称到第一人称视频生成

VBot Exo2Ego Policy:轻量数据采集与第三人称到第一人称视频生成

本文提出 VBot Exo2Ego Policy,一种把第三人称操作视频转换为指定操作者第一人称观测的视频生成模型,用于从丰富的真实世界素材扩展第一人称操作数据。作者同时设计轻量采集流程与移动应用,支持第一人称、第三人称以及同步双视角采集,并将单视角素材与带相机几何的配对数据结合起来。模型以预训练视频扩散 Transformer 为基础,引入相机射线几何条件、语义掩码和手部关键点辅助监督,以改善视角转换与手物交互保真度。训练时随机注入并逐步移除相机几何条件,使推理不依赖目标相机标定;针对互联网视频,再加入源视频感知与推理、可选人物参考和跨镜头适配,以识别目标操作者并跟踪跨剪切操作。

Tong Rao, Zhihao Zhang, Yuntian Wang · 39次阅读 · 2026年11月12日
具身智能First-Person Video
2026年11月12日
XBot-Omni:面向具身理解与交互的全模态模型

XBot-Omni:面向具身理解与交互的全模态模型

XBot-Omni 是面向具身理解与交互的全模态模型,采用 Thinker–Talker–Actor 三层架构。Thinker 统一处理文本、图像、音频和视频,Talker 以流式方式生成语音,Actor 直接利用二者的原生内部表示,同步生成身体动作与面部表情,并通过语义事件控制、语音—动作对齐和视觉指向训练,把场景理解转化为可执行的非语言表达。模型在七个基准上评估,在 Daily-Omni 达到 86.30%,在 ReTurn 达到 84.00%,语义动作质量显著高于已有动作生成方法;项目页目前只提供展示与视频,尚未发布公开模型代码。

Kerui Gu, Xing Fu, Shuoyang Sun · 90次阅读 · 2026年11月12日
具身智能Omni-Modal Model
2026年11月12日

本站含 CakeGrowth 联盟推广链接,我们可能从符合条件的购买中获得佣金。