Skip to content
←返回论文库

PAPER DEEP DIVE

人形机器人全身控制Generative Policy

METATRON:面向人形机器人的可提示全身执行层

METATRON 将生成式全身策略与可编程技能层结合,用稀疏身体目标、速度、风格和场景提示驱动单一冻结的 Unitree G1 策略,无需任务级重训。

论文:METATRON: A Promptable Whole-Body Execution Layer for Humanoids

作者:Chen Tessler、Yifeng Jiang、Alec Otto、Yi Shi、Umar Iqbal、Gal Chechik、Xue Bin Peng

发布时间:2026 年 10 月 27 日 arXiv:2610.38027v1

代码:已公开,NVlabs/ProtoMotions(Apache-2.0) 权重:nvidia/Metatron-v1

项目页:NVIDIA PAR — Metatron

一句话总结:METATRON 用大量动作数据训练一个可接受稀疏提示的生成式全身策略,再把“什么时候迈哪只脚、坐到哪里、跌倒后何时起身”等任务逻辑留给普通程序,从而让同一套 Unitree G1 权重跨越行走、恢复、遥操作、取物和坐家具等任务。

METATRON 用同一套冻结策略覆盖多种全身行为

图 1:论文主图。同一个冻结的 G1 执行策略通过不同稀疏提示覆盖行走、恢复、遥操作取物和家具交互。

一、研究背景:人形机器人不缺控制器,缺的是一层可复用的运动底座

人形机器人完成一个看似连续的日常任务,通常要串联多种控制器:走到桌边依赖运动控制,抓取杯子依赖操作策略,被人推一下依赖恢复策略,与人握手又需要柔顺控制。每种控制器都重复处理平衡、重心转移、接触约束和全身协同,复杂之处不只在于单个策略是否足够强,还在于不同策略之间的切换与状态交接。

论文把这一问题拆成“做什么”和“怎样协调身体”两层。前者是任务意图,后者是全身执行能力。作者认为,如果存在一个足够通用的执行层,那么开发者就不应为每个任务重新训练神经网络,而应编写能够逐步生成目标的程序。这个思路把任务设计从奖励工程和策略训练,转为可测试、可版本管理、可由编码智能体迭代的软件开发。

METATRON 建立在 MaskedMimic 的“掩码动作补全”思想上。训练阶段允许模型看到完整参考动作,部署阶段只给身体部位、未来时刻、速度、风格样例和场景几何等部分目标。模型需要在多个合法动作中选出一个协调解。这与传统轨迹跟踪不同:轨迹跟踪要求参考动作足够完整且精确,METATRON 则把稀疏目标视为约束,把平衡和接触细节交给策略自行补全。

论文的第二个背景是动作数据规模。动作捕捉库覆盖行走、舞蹈、体育和杂技,但不包含机器人摔倒后的各种尴尬姿态;场景交互数据包含坐家具、躺床等动作,却会因人体与机器人形态差异产生穿透和接触错误。作者因此同时使用动作捕捉、带场景约束的重定向数据和直接在仿真中生成的恢复数据,扩大了冻结策略可调用的动作范围。

第三个背景是编码智能体的出现。任务代码的最初版本通常很容易写,例如“给躯干一个位置目标并给双脚一个落脚目标”。真正耗时的是根据仿真中的抖动、迟疑、碰撞和失败案例反复调整规则。METATRON 让编码智能体建立测试场、分析动作片段、拟合紧凑的周期步态规则,并把候选程序放回仿真中评估。这里被自动优化的是程序参数,不是基础控制器的网络权重。

这套主张的边界也很清楚:METATRON 没有解决开放世界感知和长期规划。它假设任务系统能够给出目标,例如家具边界框位置、桌面上的杯子方位或人的握手意图。策略负责把目标变成稳定动作,但不负责发现目标、导航到目标或组织几分钟长的任务树。理解这一分工,是理解论文贡献和局限的前提。

二、预备知识:掩码动作补全、条件 VAE 与冻结教师

掩码动作补全把完整运动轨迹视为一个可以缺失字段的张量。某一步可能只知道躯干未来位置,不知道手和脚的朝向;也可能只知道未来 0.5 秒的速度,不知道最终到达点。训练时随机遮住一部分未来信息,模型必须从剩余约束和当前本体感觉中推断缺失部分。这种训练方式使模型天然适合“只给出粗略目标”的运行时接口。

条件变分自编码器用于表达“一个提示对应多种合理动作”。如果直接回归唯一动作,模型容易把多种互不兼容的运动平均成不自然的姿态。METATRON 让先验网络只依赖部署可获得的观测和提示,输出潜变量分布;训练时另有一个特权后验网络读取完整参考动作,提供更准确的潜变量。解码器从潜变量和当前状态生成关节目标。

冻结教师来自强化学习。每个专家使用完整参考动作和仿真器特权状态进行高密度跟踪训练,再由后验学生模仿专家动作。蒸馏完成后,教师、后验编码器和特权观测都不再需要。部署只运行先验、潜变量采样和动作解码器,因此机器人只需要关节、IMU 以及可选定位与场景几何,不需要动作捕捉真值。

动作空间采用 BeyondMimic 风格的关节目标偏移。G1 每个控制周期输出 29 个关节命令,控制频率为 50 Hz;仿真物理频率为 200 Hz,每个动作对应四个物理步。SOMA 角色使用 66 个动作输出,物理频率 120 Hz、控制频率 30 Hz。动作频率、关节顺序、缩放和 PD 增益都属于部署契约的一部分。

三、基础策略:从密集动作教师到稀疏提示学生

3.1 密集动作跟踪器先学习身体协调

第一阶段训练密集动作跟踪器。教师策略接收仿真器中的特权状态 $s_t^{\mathrm{trk}}$、完整未来参考 $y_t$ 和上一动作 $a_{t-1}$,输出高精度关节动作:

$$ a_t^{\mathrm{trk}}=\pi^{\mathrm{trk}}\left(s_t^{\mathrm{trk}},y_t,a_{t-1}\right). $$

这里的“密集”不是指只看当前帧,而是参考中包含多个未来时刻的身体位置、朝向和速度。跟踪奖励由多个指数误差项组成:

$$ r_t=\sum_k w_k\exp(-\lambda_k e_{k,t})-w_a\mathcal{R}_{\mathrm{act},t}+r_t^{\mathrm{extra}}. $$

$e_{k,t}$ 分别衡量身体位置、朝向和速度误差,$w_k$ 与 $\lambda_k$ 决定权重和敏感度,$\mathcal{R}_{\mathrm{act},t}$ 抑制相邻动作剧烈变化,$r_t^{\mathrm{extra}}$ 包含选定身体精度和特定本体约束。G1 教师重点跟踪躯干、双手和双脚五个全局目标,同时使用全身关节目标;它具备完整参考和仿真真值,却不是最终部署控制器。

3.2 提示不是自然语言文本,而是多流几何约束

运行时的 prompt 被定义为一个组合对象:

$$ g_t=\left(\mathcal{C}_t^w,\mathcal{C}_t^\ell,u_t,\xi_t,b_t\right). $$

$\mathcal{C}_t^w$ 是世界坐标中的身体位置或朝向约束,每项带有预计到达时间;$\mathcal{C}_t^\ell$ 是相对目标躯干和朝向定义的规范姿态;$u_t$ 是朝向坐标系中的平面速度;$\xi_t$ 是一小组风格参考帧;$b_t$ 是场景物体的包围盒。每个流都有独立掩码,零值可见目标和完全未指定目标不是同一件事。

世界目标适合“手在两点五秒后到达杯子”这类任务,规范姿态目标适合“保持蹲姿但不必站到某个绝对坐标”。风格流只提供若干无序姿态帧和可选速度,不做时间对齐,因此同样一组蹲行样例可以搭配不同目的地。场景物体被压缩成最多两个有向包围盒的八个角点,网络无需直接处理点云或图像。

这一接口的关键价值不是“可以输入很多字段”,而是“可以只输入少数字段”。任务程序不必生成完整参考动作,只需要画出目标的大致草图。模型会在约束之间补齐重心转移、落脚节奏和手臂协调。论文反复强调,目标是粗粒度的,不是从机器人当前状态出发的精确偏移。

3.3 用球面潜变量表示动作选择

给定当前观测 $o_t$、上一动作 $a_{t-1}$ 和提示 $g_t$,令 $x_t=(o_t,a_{t-1})$。先验与特权后验分别建模为:

$$ p_\theta(\tilde z_t\mid x_t,g_t)=\mathcal{N}\left(\mu_t,\operatorname{diag}(\sigma_t^2)\right), $$ $$ q_\phi(\tilde z_t\mid x_t,g_t,s_t,y_t)=\mathcal{N}\left(\mu_t+\Delta\mu_t,\operatorname{diag}({\sigma_t'}^2)\right). $$

先验由六层 Transformer 处理当前状态、历史、全球目标、规范目标、风格和速度 token;后验只在训练时读取完整仿真状态和参考动作。采样后,潜变量被归一化到单位球面:

$$ z_t=\frac{\tilde z_t}{\lVert\tilde z_t\rVert_2}. $$

球面几何限制了潜变量尺度,避免生成式模型仅靠放大潜变量幅度表达动作差异。解码器再把 $z_t$ 与当前传感器状态、上一动作结合,输出关节目标。部署路径不需要后验、完整参考或教师,因此不会把仿真特权信息泄漏到真实机器人。

3.4 蒸馏目标同时约束模仿、分布和时序

学生动作由后验路径解码得到 $a_t^q$,教师给出标签 $a_t^{\mathrm{trk}}$。总损失包括模仿、KL、单位范数、动态预测、表示时序一致和动作平滑:

$$ \begin{aligned} \mathcal{L}={}&\mathbb{E}\left[\ell(a_t^q,a_t^{\mathrm{trk}})+\beta_eD_{\mathrm{KL}}(q_\phi\|p_\theta)\right] +\lambda_\mu\mathbb{E}\left(\lVert\mu_t\rVert_2-1\right)^2\\ &+\lambda_{\mathrm{dyn}}\mathbb{E}\left[\ell\left(F(h_t^q),\operatorname{sg}(d_{t+1})\right)\right] +\lambda_{\mathrm{tc}}\mathbb{E}\left[\ell\left(h_t^q,\operatorname{sg}(h_{t-1}^q)\right)\right]\\ &+\lambda_{\mathrm{act}}\mathbb{E}\left[\ell\left(a_t^q,\operatorname{sg}(a_{t-1}^q)\right)\right]. \end{aligned} $$

$\ell$ 是逐坐标均方误差,$\operatorname{sg}$ 表示停止梯度。KL 让部署先验靠近掌握完整信息的后验;动态项要求融合表示能够预测下一时刻条件;时序项抑制潜空间抖动;动作项抑制相邻控制命令剧烈变化。G1 的 KL 权重从 $10^{-4}$ 循环升到 $10^{-2}$,并在第 500 至 2000 个训练轮次之间反复退火。

3.5 教师标签覆盖学生自己走出的状态

普通离线蒸馏只用教师轨迹上的状态,学生一旦进入未见过状态就会继续偏离。METATRON 在每个回合以 90% 概率让后验学生执行动作、以 10% 概率让冻结教师执行动作,而教师无论谁在控制都给当前状态打标签。这样,训练集既包含专家状态,也包含学生犯错后到达的状态,更接近部署时的误差分布。

每个回合固定一个高斯噪声向量,先验和后验共享该噪声,只让均值和方差随观测变化。这样潜变量既有回合级随机性,又能对当前状态作出连续响应。论文还使用相邻时间步监督,但显式排除 episode reset 两端的配对,避免把重置造成的瞬移当作动作连续性。

这一训练设计解释了为什么同一个学生能够同时接受密集姿态、稀疏点、速度和风格等差别很大的提示。教师提供了局部动作质量,掩码提供了接口多样性,球形 VAE 提供了解空间覆盖,而 on-policy 标签处理了学生分布偏移。

四、训练数据:三类数据分别补足能力、接触与恢复

G1 学生蒸馏四个教师分组:BONES 动作捕捉、AMASS+LAFAN、合成恢复和 SAMP 场景交互。四组训练权重约为 0.6、0.2、0.1、0.1。BONES 与 AMASS+LAFAN 提供丰富的日常动作和动态动作;恢复组补足摔倒后起身;SAMP 组补足坐家具、躺床等身体与场景接触。

动作捕捉重定向主要处理关键点对齐、关节限制、平滑性和脚地接触。场景交互不能只做运动学重定向,因为人体和家具之间的接触若被破坏,机器人可能穿进沙发或为避免穿透而扭曲姿态。作者采用两阶段优化,第二阶段加入场景碰撞成本和关节锚定惩罚,更倾向于移动根节点而不是大幅改写关节构型。

家具用有向表面点云表示,按每条动作过滤内部表面。碰撞项惩罚穿透深度,但不惩罚接触本身,所以人体可以真正坐在表面,而不是悬空保持几厘米间距。论文承诺发布重定向后的 SAMP 数据,但当前公开模型包不包含训练动作、恢复片段、机器人网格或家具资产。

恢复片段不是简单复制人体摔倒视频,而是在每个仿真本体上使用扩展 HIL 策略生成。采集器从随机地面姿态出发,运行五秒恢复,接受最终受限身体位置误差小于 0.25 米的片段。这个筛选只验证终点跟踪,并不验证持续平衡、接触质量或真实硬件安全性,因此后续还需要仿真和实机双重筛选。

五、技能层:普通程序如何为冻结策略“画草图”

flowchart LR
    A[BONES mocap] --> E1[FSQ PPO expert]
    B[AMASS and LAFAN] --> E2[FSQ PPO expert]
    C[Synthetic recovery] --> E3[Recovery expert]
    D[SAMP scene clips] --> E4[Scene expert]
    E1 --> T[Masked on-policy distillation]
    E2 --> T
    E3 --> T
    E4 --> T
    T --> P[Six-layer prior transformer]
    P --> Z[64D spherical latent]
    Z --> Q[Action decoder]
    Q --> F[Frozen G1 policy]
    S[Skill code and state machines] --> G[Prompt streams and masks]
    G --> P
    F --> R[Joint targets at 50 Hz]

技能是带状态函数或有限状态机,每个控制周期构造提示,并在适当时候切换目标。技能不输出关节,也不规划完整轨迹。它只描述未来几个关键时刻的身体目标,例如躯干位置、朝向、双脚落点、手部目标、速度、风格和场景框。METATRON 负责把这些离散意图变成平衡动作。

METATRON 的技能由编码智能体根据任务规格和动作片段迭代

图 2:论文 Fig. 3 的技能开发流程。编码智能体不是重训策略,而是建立评测场、修改程序、读取失败案例并拟合规则。

5.1 步态规则把速度命令变成五个未来落脚目标

只给平面速度时,策略有时会产生高频小碎步,既浪费能量,也不利于迁移到真实机器人。作者让编码智能体分析动作捕捉片段,拟合一个随速度变化的周期落脚草图:

$$ \mathbf{p}_i(\tau)=\mathbf{b}_i+ \begin{bmatrix} A(v)\cos\alpha\cos\phi_i\\ W\left(s_i|\sin\alpha|+|\cos\alpha|\sin\alpha\cos\phi_i\right)\\ H\max(0,-\sin\phi_i) \end{bmatrix}. $$

$v$ 是速度,$\alpha$ 是移动方向与机器人朝向的夹角,$\phi_i=\phi_t+2\pi f(v)\tau+\delta_i$ 是左右脚反相相位。公开附录给出 $A(v)=0.75(0.13+0.065v)$、$f(v)=\min(2,0.83+0.93v)$、$W=0.12$ 米和 $H=0.08$ 米。速度越高,步幅和步频同时增加,而不是让机器人用更快的小碎步追赶目标。

技能在 0.1 至 0.5 秒的五个未来时刻输出落脚目标,再由策略生成关节命令与接触。前进、侧移和转向不是三个分类模式,而是同一个规则在不同 $\alpha$ 下的连续结果。公开部署代码还加入了静止支撑、横步变宽和零速保持,说明论文中的简洁公式在实际工程里需要更细的边界处理。

5.2 坐家具只需要三个粗目标

给定座位包围盒后,技能生成一个高于座面且略靠后的躯干目标,以及两个在前沿外、保持站姿宽度的脚目标。所有未来槽位都接收这三个静态点,不要求中间路径。策略自行决定转身、迈步和重心下降顺序。起身时,程序把躯干目标从坐姿高度沿一条直线抬高并持续向前移动,脚部不再规定步态。

这种写法揭示了技能层的价值:开发者描述“最终坐到何处”,不需要手工编排 100 帧坐姿。对于家具形状变化,技能从小规模坐姿交互基准中拟合参数规则;策略没有变化。代价是系统仍假设家具框已经由外部感知提供,并且机器人已被放到家具附近。

5.3 恢复状态机通过提示切换实现起身

恢复技能持续比较躯干相对最低身体点的高度。低于约 $0.65H$ 时暂停原任务提示,改为请求直立姿态;高于 $0.90H$ 时恢复原任务。进入恢复后,模拟角色使用全身规范直立姿态;真机 G1 只约束躯干高度,平面位置、朝向和四肢留给策略。这种双阈值状态机避免高度在边界附近反复触发。

首个恢复目标的到达时间随高度差变化:

$$ \tau_0(h)=\operatorname{clip}\left(\frac{H-h}{v_{\mathrm{rise}}},0.25\,\mathrm{s},1\,\mathrm{s}\right). $$

$v_{\mathrm{rise}}=0.8$ 米每秒只是设定提示到达时间,不是强制机器人以该速度竖直移动。后续五个槽位每 0.25 秒增加一次,最多延伸到两秒。高度差越大,策略获得更多调整时间;机器人接近站立时,目标时间收紧。

5.4 柔顺交互来自“不约束”而不是新增控制器

握手和被人引导手臂时,技能把移动速度设为零,只约束躯干高度和朝向,完全不给手臂目标。若系统要求完整姿态跟踪,人被抬起的手臂会被视为误差,控制器会试图把它拉回;METATRON 的稀疏提示把外部手臂运动看成允许的变化,因此无需单独柔顺控制器也能保持站姿。这是“少给目标”反而改变控制语义的直接例子。

六、实验:单控制器覆盖多种任务,但量化证据集中在两类基准

6.1 实验设置与硬件部署

G1 在 Isaac Lab 中训练,部署端把基础策略编译为 TensorRT 与 CUDA graph,在带 RTX 5090 的笔记本上运行。传感器采集到关节命令发送的实测处理延迟为 1.3 毫秒,但这不是整个 20 毫秒控制周期,也不能替代实时系统抖动测试。机器人通过以太网连接计算设备,Xbox 手柄提供速度和朝向,PICO 头显提供手部目标。

所有实机演示使用先验均值、零采样噪声的确定性推理。模式切换只改变目标观测和掩码,网络权重与传感器处理保持不变。实机覆盖前进、后退、侧移、转身、遥操作取苹果、坐沙发再起身,以及从仰躺、俯躺、坐倒和异常姿态恢复。

同一 G1 冻结控制器执行爬行风格移动

图 3:论文 Fig. 5 中的 G1 风格控制面板。位置目标与五帧无序爬行姿态组合,时间顺序仍由策略补全。

6.2 全身到达实验:提升主要来自“会移动身体”

到达实验使用 54 个腕部目标,覆盖 0.35 至 1.8 米三档距离、0.55 至 1.35 米三档高度和左右手。目标满足条件是腕部进入 10 厘米并保持,同时机器人仍直立。所有成功方法的手臂精度接近,真正区分它们的是能否通过迈步、弯腰和配重到达目标。

方法到达率误差保持直立
METATRON83%5.9 cm100%
ARDY + SONIC39%6.4 cm82%
GRU + IK + SONIC28%5.6 cm81%
GRU + SONIC0%—87%

这组结果说明“手到目标”不是纯逆运动学问题。高位目标需要身体反向配重,低位目标需要屈髋和改变支撑,固定站立高度的参考生成器会先制造不可达姿态。ARDY 通过分类器无引导满足手目标,腕部会在多次重规划间来回抖动;METATRON 把目标直接作为条件输入,在策略内部一并处理脚步和躯干。

6.3 推力恢复实验:完整控制链的差异很大

机器人以 1 米每秒向前行走时,在躯干施加持续 100 毫秒、方向覆盖八个方位的力脉冲,八秒后仍直立算成功。比较对象是两个参考生成器加同一个 SONIC 密集跟踪器。这里的 METATRON 版本刻意不训练合成恢复数据,以隔离控制接口与完整流水线差异。

方法200 N400 N600 N800 N1000 N
METATRON100%100%62%75%75%
ARDY + SONIC100%100%17%0%0%
GRU + SONIC100%75%25%0%0%

作者明确指出,600 至 1000 牛之间成功率非单调,不能解释为“力越大反而越稳”。有效结论是 METATRON 在 800 和 1000 牛仍保持 75%,而两条参考跟踪流水线在 600 牛以上已经为零。由于比较的是完整流水线,实验不能单独证明提示接口、蒸馏方式或训练数据哪一项造成差异。

真实 Unitree G1 从仰躺姿态恢复

图 4:论文 Fig. 7 的真实恢复过程帧。合成恢复数据扩展了动作捕捉中稀少的倒地构型。

6.4 消融实验:恢复数据与辅助损失改善中小推力表现

消融使用平面路点目标,不给技能生成的脚目标和高度约束,在前五秒内每 1 至 2 秒施加一次水平推力。十秒内进入目标 0.5 米、相对躯干高度不低于 0.45 米、倾斜不超过 60 度才算成功,每组力和方法运行 500 回合。

方法0 N200 N400 N600 N800 N
METATRON97.4%94.8%33.0%7.4%6.2%
Global only87.6%87.8%38.2%9.6%6.2%
Mocap only92.0%84.8%31.8%6.4%5.0%
No aux.81.6%78.8%29.2%5.4%4.6%
MaskedMimic+98.2%90.0%27.8%4.2%4.6%
HOVER+66.8%71.0%30.0%3.0%1.2%

完整模型在零推力时略低于 MaskedMimic+,但在每一个非零推力下观测成功率更高;它在 0 至 200 牛相对于无恢复数据和无辅助损失的增益最大。Global only 在 400 至 600 牛反而更高,但两者置信区间重叠,作者没有把差异解释为确定优势。所有方法在 600 至 800 牛都低于 10%,强扰动仍是未解决区间。

6.5 SOMA 与新技能展示的是组合能力,不是统计泛化

SOMA 角色使用相似配方训练另一套策略,在仿真中奔跑、滑下台阶、摔落后恢复,再爬墙。技能在不同阶段只提供速度、朝向、骨盆高度和临时脚目标。爬墙时只给“越过台沿的骨盆位置和朝向”,手脚接触点由策略自行产生。这证明同一方法可迁移到不同本体和更动态场景,但它属于展示性案例,没有像 G1 一样给出多随机种子成功率。

SOMA 奔跑滑落恢复和攀爬轨迹

图 5:论文 Fig. 6 的 SOMA 运动序列。状态机切换速度、骨盆和攀爬目标,冻结策略补齐接触与恢复。

真实 G1 在沙发旁执行场景交互

图 6:论文 Fig. 5 的坐家具实机画面。外部系统提供沙发的粗几何,技能生成躯干与双脚目标。

七、代码与论文的对应关系

官方仓库把 METATRON 放在 ProtoMotions v3 下,提供 G1 和 SOMA 的教师、学生训练入口、预训练 G1 权重下载脚本、MuJoCo 推理配置、TensorRT 导出和原生 C++ 部署参考。源码是 Apache-2.0,预训练模型使用 NVIDIA Open Model License。论文中的四个 G1 专家是研究训练配方;公开的基础学生实验入口当前主要给出单教师配方,而预训练 G1 SAMP 策略单独由模型包提供,这一差异在复现时需要明确。

7.1 五个未来槽位与多流提示

学生环境配置直接对应论文的稀疏接口。下面的源码把未来步骤数设为 5,并为全球目标、规范目标、速度、风格和场景分别建立观测组件:

control = MaskedMimicControlConfig(
    num_masked_future_steps=NUM_FUTURE_STEPS,
    sparse_target_condition_probability=0.5,
    local_target_condition_probability=0.5,
    anchor_pose_submasking=True,
    style=MaskedMimicStyleConfig(
        visible_frame_count_probabilities=(0.50, 0.15, 0.15, 0.10, 0.07, 0.03)
    ),
    velocity_command=MaskedMimicVelocityCommandConfig(horizon_seconds=0.5),
)

来源:examples/experiments/metatron/g1_student.py:193-204。代码还明确区分当前状态、历史、全球 token、规范 token、风格 token 和速度 token,并由六层、四头、1024 维 Transformer 融合。论文没有把“prompt”包装成语言模型输入,它实际是一组数值张量和显式掩码。

7.2 球形潜变量与部署先验

配置层显式选择球面 latent、64 维、单位均值惩罚和循环 KL:

vae=MaskedMimicVAEConfig(
    vae_latent_dim=64,
    latent_geometry=LatentGeometry.SPHERE,
    prior_mean_unit_norm_coeff=0.001,
    kld_schedule=KLDScheduleConfig(
        start_epoch=500, end_epoch=2000, cyclical=True
    ),
)

来源:examples/experiments/metatron/g1_student.py:511-527。模型前向时先运行 prior 并解码动作,只有训练路径继续运行特权 encoder;部署入口 forward_deployable 只调用 prior 和解码器。导出封装进一步把噪声设为零,只保留确定性先验路径,来源 deployment/metatron_policy.py:15-35。

原生 C++ 恢复实现比论文的高层描述更复杂:它分为 prone、seated、ramp、settle 多个阶段,并通过姿态朝向、膝角和手部位移判断是否使用参考恢复片段,来源 deployment/native/src/metatron_v1_recovery.cpp:170-223。这说明论文展示的是方法骨架,真实部署还包含安全阈值、刻意的低姿判断和阶段稳定时间。复现实验不能只照搬正文的一条高度阈值。

八、局限与风险:能力在训练覆盖范围内成立

作者明确承认,动作库决定能力边界。提示不足或风格帧偶然混入时,模型可能选择错误动作;例如从静止突然要求 2 米每秒,常会触发前滚。部署端因此用指数移动平均逐步抬高速度目标。这个例子说明“冻结策略加程序”并非没有调参,程序仍要理解策略的动作偏好和安全包络。

任务系统仍负责目标选择与长期规划。坐沙发实验把机器人预先放到家具附近,并直接提供座位包围盒;系统没有自主发现沙发、导航接近、估计障碍或规划多步任务。恢复也主要验证若干初始构型,缺少跨地面材质、执行器老化、负载变化和重复跌倒的大样本可靠性统计。

实机证据以定性展示为主,尤其步态改善、柔顺握手和家具交互没有像到达与推力实验那样给出多条件置信区间。论文中的定量实验主要在 MuJoCo,硬件部署虽然真实,但样本量、失败模式和接触安全数据不足。不能把 83% 仿真到达率直接外推为开放环境成功率。

从独立审阅角度,还有三点需要关注。第一,世界坐标目标需要定位,绝对高度目标还需要地面配准,定位漂移会直接变成动作偏差。第二,场景输入依赖预先测量的物体框和位姿估计,对可变形物体、透明物体和多人环境尚未覆盖。第三,技能程序虽然有评测场,但“编码智能体自动拟合”仍需要人工定义成功指标;错误指标会得到看似通过、实际不安全的规则。

训练成本也不低。论文给出学生使用 20 张 GPU,教师另算;公开的消融是 8 张 A100、5000 次迭代。对普通机器人团队而言,下载预训练 G1 权重并训练轻量技能更现实,从头训练多专家基础策略仍是大规模基础设施任务。

九、讨论:这条路线的真正价值是接口演化

METATRON 最重要的贡献不是又一个动作跟踪器,而是把运动基础模型暴露为一组稳定、可组合、可解释的接口。任务工程师可以检查未来目标是否合理、掩码是否覆盖正确身体、状态机是否在正确条件下切换;这些都属于普通软件测试。神经网络内部仍难解释,但它被限制在“执行草图”的角色内。

这种分层也改变数据采集的价值。每新增一类动作,不必同步新增一个任务控制器,而是扩充动作教师与蒸馏数据,让冻结策略获得新的可组合能力。每新增一个任务,则优先尝试程序目标,只有动作库确实缺失时才回到数据采集和策略训练。团队因此可以分别衡量“动作覆盖不足”和“任务逻辑错误”。

下一步最关键的是补齐感知闭环。当前目标由手柄、头显、包围盒或预先路点提供。如果世界模型或视觉系统能够持续输出物体框、可站立区域和人体意图,METATRON 可以成为更完整的自主人形执行层。同时,技能层需要安全约束、可达性检查、目标平滑和失败回退,而不能只追求任务成功率。

另一条路线是让编码智能体生成更强的组合技能,例如把跑步、跳跃、抓取和恢复组织成状态图。论文已经展示程序迭代能改善步态与坐姿,但没有证明智能体可以自行发现任务、定义安全测试或从失败中归纳通用运动规律。技能层的上限仍取决于动作表示、仿真保真度和评测设计。

十、结论

METATRON 给出了一个清晰的人形机器人控制分工:动作教师提供高质量全身协同,生成式学生把完整参考压缩为可接受稀疏提示的能力,冻结策略负责执行,普通程序负责任务意图。球面潜变量、特权后验蒸馏、合成恢复和多流掩码共同支撑了这一分工。

实验结果证明单个冻结 G1 策略能覆盖多种控制模式和真实硬件任务,并在全身到达与推力恢复上超过所测试的参考跟踪流水线。与此同时,训练覆盖、感知、长期规划、硬件统计和强扰动仍是明显边界。它更像一套有说服力的系统架构和可复现工程底座,而不是已经解决通用人形自主性的终局。

金句:让基础策略学习如何协调身体,让程序负责说明想要什么;新任务才可能从“再训练一个控制器”变成“再写一个技能”。

相关论文

面向未知负载的人形机器人自适应全身MPC与最优姿态规划

面向未知负载的人形机器人自适应全身MPC与最优姿态规划

人形机器人搬运未知负载时,质量、质心和惯量突变会破坏全身平衡。论文把质心MPC、基于Capture Point误差的自适应模糊补偿和三重积分姿态过渡规划组合起来:MPC生成满足接触、摩擦与关节约束的参考运动;模糊控制器把修正力矩分配到支撑腿;规划器生成蹲下、起立与搬运的平滑可行轨迹。MuJoCo仿真和28自由度真实平台验证了7 kg与10 kg负载的稳定起落,以及7 kg负载行走搬运的鲁棒性。

Manh Cuong Nguyen, Duc Cuong Vu, Viet Anh Vu · 110次阅读 · 2026年10月9日
人形机器人全身控制
2026年10月9日
基于相位条件策略优化的多阶段机器人全身移动操作

基于相位条件策略优化的多阶段机器人全身移动操作

该论文扩展近端策略优化(PPO),用状态机定义任务阶段,并通过相位门控奖励、演员相位预测辅助任务、相位条件评论家和多相位重置课程训练单一长时程策略。方法在宇树 G1 与搭载机械臂的 Boston Dynamics Spot 上完成推箱、抬箱、搬运和轮胎滚动,通过执行器延迟随机化、摩擦课程与等效力矩约束解决接触密集型任务的仿真到现实迁移。

Simone Manni, Annika Wollschläger, Dario Bellicoso · 174次阅读 · 2026年10月26日
Whole-Body Loco-ManipulationPhase-Conditioned PPO
2026年10月26日
MorphMimic:面向多款人形机器人的形态条件世界模型与策略共享

MorphMimic:面向多款人形机器人的形态条件世界模型与策略共享

提出形态条件世界模型与共享策略,让 G1、X2 Ultra 和 T2 从共同动作空间与 12.9 万段动作中联合学习,并把统一控制器部署到真实 G1。

Lizhi Yang, Fengze Xie, Yuyang Wang · 247次阅读 · 2026年10月25日
人形机器人跨本体
2026年10月25日
Contact-UAN:以无监督执行器网络作为人形机器人控制的残差世界模型

Contact-UAN:以无监督执行器网络作为人形机器人控制的残差世界模型

Contact-UAN 把人形机器人执行器的仿真差距建模为叠加在关节目标上的残差动作,并用真实本体感觉轨迹训练这一模型。为避免残差学习去修补错误的回放初态,方法先从接触状态与站立脚位姿估计出与硬件接触力一致的仿真复位状态,再冻结该残差模型用于下游强化学习,部署时只保留任务策略。仅用 6.5 分钟真实行走数据,该方法在奔跑中降低约 20% 力矩、将力跟踪误差降低 42.8%,并支持柔顺控制、阻抗控制与动态跳跃。

Nolan Fey, Khai Nguyen, Yash Prabhu · 176次阅读 · 2026年10月13日
人形机器人Actuator Modeling
2026年10月13日

作为亚马逊联盟会员,我们可能从符合条件的购买中获得佣金。